對比Excel，輕鬆學習Python數據分析（簡體書）

集Python、Excel、數據分析為一體是本書的一大特色。本書圍繞整個數據分析的常規流程:工具熟悉-獲取數據-數據熟悉-數據處理-數據分析-分析結果進行Excel 和Python 對比實現，告訴你每一個過程中都會用到什麼？過程與過程之間有什麼聯繫。這樣一本書既可以作為系統學習數據分析流程操作的說明書，也可以作為一本數據分析師案頭必備的實操工具書，隨時備查。本書通過對比Excel 功能操作去學習Python 的實現代碼，而不是直接上來就學習Python代碼，大大降低了學習門檻，消除了讀者對代碼的恐懼心理。適合剛入行的數據分析師，也適合對Excel 比較熟練的數據分析師，或從事其他崗位想提高工作效率的職場人。

Python雖然是一門編程語言，但是在數據分析領域實現的功能和Excel的基本功能一樣，而Excel又是大家比較熟悉、容易上手的軟件，可以通過Excel數據分析去對比學習Python數據分析。本書將數據分析過程中涉及的每一個操作都對照講解，讓你從熟悉的Excel操作中去學習對應的Python實現，而不是直接學習Python代碼，大大降低了學習門檻，消除了大家對代碼的恐懼心理。這也是本書的一大特色，讓讀者可以像學Excel數據分析一樣，輕鬆學習Python數據分析。

序言
有幸收到張俊紅的做序邀請，我非常高興。
從PC 時代到移動互聯網時代一路走來，每個人都感受到了數據爆炸性的增長，以及其中蘊含的巨大價值。從PC 時代開始，我們用鍵盤、掃描儀等設備使信息數據化。在移動互聯網時代，智能手機通過攝像頭、GPS、陀螺儀等各種傳感器將我們的位置、行動軌跡、行為偏好，甚至情緒等信息數據化。截至2000 年，全人類存儲了大約12EB 的數據，要知道1PB=1024TB，1EB=1024PB。但是到了2011 年，一年所產生的數據就高達1.82ZB（注：1ZB=1024EB），數據已經變成了一種人造的“新能源”。
在商業領域，從信息到商品，從商品到服務，越來越多我們熟悉的事物被標準的數據所度量。無論是在線廣告的精准營銷，還是電子商務的個性化推薦，又或者是互聯網金融的人臉識別，互聯網的每一次效率提升都依賴于對傳統信息、物品，甚至人的數據化。
在使用數據進行效率變革及商業化的道路上，Excel 和Python 扮演了關鍵的角色，它們幫助數據分析師高效地從海量數據中發現問題，驗證假設，搭建模型，預測未來。作為一本數據分析的專業書籍，作者從數據采集、清洗、抽取，以及數據可視化等多個角度介紹了日常工作中數據分析的標準路徑。通過對比Excel 與Python 在數據處理過程中的操作步驟，詳細說明了Excel 與Python 間的差異，以及用Python 進行數據分析的方法。
雖與作者素未謀面，但是對於Python 在處理海量數據和建模上的高效性與便捷性，以及Python 在機器學習中的重要性，我們的觀點是一致的。同時我們也相信對於數據分析從業者來說，掌握一種用於數據處理的編程語言是非常必要的，而從Excel 到Python 的學習方法則是一條學好數據分析的“捷徑”。

王彥平
（網名“藍鯨”，電子書《從Excel 到Python――數據分析進階指南》《從Excel到R――數據分析進階指南》《從Excel 到SQL――數據分析進階指南》的作者）
2019 年1 月8 日

前言
為什麼要寫這本書
本書既是一本數據分析的書，也是一本Excel 數據分析的書，同時還是一本Python數據分析的書。在互聯網上，無論是搜索數據分析，還是搜索Excel 數據分析，亦或是搜索Python 數據分析，我們都可以找到很多相關的圖書。既然已經有這麼多同類題材的書了，為什麼我還要寫呢？因為在我準備寫這本書時，還沒有一本把數據分析、Excel 數據分析、Python 數據分析這三者結合在一起的書。
為什麼我要把它們結合在一起寫呢？那是因為，我認為這三者是一個數據分析師必備的技能，而且這三者本身也是一個有機統一體。數據分析讓你知道怎麼分析以及分析什麼；Excel 和Python 是你在分析過程中會用到的兩個工具。

為什麼要學習Python
既然Python 在數據分析領域是一個和Excel 類似的數據分析工具，二者實現的功能都一樣，為什麼還要學Python，把Excel 學好不就行了嗎？我認為學習Python 的主要原因有以下幾點。
1．在處理大量數據時，Python 的效率高於Excel
當數據量很小的時候，Excel 和Python 的處理速度基本上差不多，但是當數據量較大或者公式嵌套太多時，Excel 就會變得很慢，這個時候怎麼辦呢？我們可以使用Python，Python 對於海量數據的處理效果要明顯優於Excel。用Vlookup 函數做一個實驗，兩個大小均為23MB 的表（6 萬行數據），在未作任何處理、沒有任何公式嵌套之前，Excel 中直接在一個表中用Vlookup 函數獲取另一個表的數據需要20 秒（我的計算機性能參數是I7、8GB 內存、256GB 固態硬盤），配置稍微差點的計算機可能打開這個表都很難。但是用Python 實現上述過程只需要580 毫秒，即0.58 秒，是Excel效率的34 倍。
2．Python 可以輕鬆實現自動化
你可能會說Excel 的VBA 也可以自動化，但是VBA 主要還是基於Excel 內部的自動化，一些其他方面的自動化VBA 就做不了，比如你要針對本地某一文件夾下面的文件名進行批量修改，VBA 就不能實現，但是Python 可以。
3．Python 可用來做算法模型
雖然你是做數據分析的，但是一些基礎的算法模型還是有必要掌握的，Python 可以讓你在懂一些基礎的算法原理的情況下就能搭建一些模型，比如你可以使用聚類算法搭建一個模型去對用戶進行分類。
為什麼要對比Excel 學習Python
Python 雖然是一門編程語言，但是在數據分析領域實現的功能和Excel 的基本功能一樣，而Excel 又是大家比較熟悉、容易上手的軟件，所以可以通過Excel 數據分析去對比學習Python 數據分析。對於同一個功能，本書告訴你在Excel 中怎麼做，並告訴你對應到Python 中是什麼樣的代碼。例如數值替換，即把一個值替換成另一個值，對把“Excel”替換成“Python”這一要求，在Excel 中可以通過鼠標點選實現，如下圖所示。

在Python 中則通過具體的代碼實現，如下所示。
df.replace(“Excel”,”Python”) # 表示將表df 中的Excel 替換成Python

本書將數據分析過程中涉及的每一個操作都按這種方式對照講解，讓你從熟悉的Excel 操作中去學習對應的Python 實現，而不是直接學習Python 代碼，大大降低了學習門檻，消除了大家對代碼的恐懼心理。這也是本書的一大特色，也是我為什麼要寫本書的最主要原因，就是希望幫助你不再懼怕代碼，讓你可以像學Excel 數據分析一樣，輕鬆學習Python 數據分析。

本書的學習建議
要想完全掌握一項技能，你必須系統學習它，知道它的前因後果。本書不是孤立地講Excel 或者Python 中的操作，而是圍繞整個數據分析的常規流程：熟悉工具―明確目的―獲取數據―熟悉數據―處理數據―分析數據―得出結論―驗證結論―展示結論，告訴你每一個過程都會用到什麼操作，這些操作用Excel 和Python 分別怎麼實現。這樣一本書既是系統學習數據分析流程操作的說明書，也是數據分析師案頭必備的實操工具書。
大家在讀第一遍的時候不用記住所有函數，你是記不住的，即使你記住了，如果在工作中不用，那麼很快就會忘記。正確的學習方式應該是，先弄清楚一名數據分析師在日常工作中對工具都會有什麼需求（當然了，本書的順序是按照數據分析的常規分析流程來寫的），希望工具幫助你達到什麼樣的目的，羅列好需求以後，再去研究工具的使用方法。比如，要刪除重複值，就要明確用Excel 如何實現，用Python 又該如何實現，兩種工具在實現方式上有什麼異同，這樣對比次數多了以後，在遇到問題時，你自然而然就能用最快的速度選出最適合的工具了。數據分析一定是先有想法然後考慮如何用工具實現，而不是剛開始就陷入記憶工具的使用方法中。

本書寫了什麼
本書分為三篇。
入門篇：主要講數據分析的一些基礎知識，介紹數據分析是什麼，為什麼要做數據分析，數據分析究竟在分析什麼，以及數據分析的常規流程。
實踐篇：圍繞數據分析的整個流程，分別介紹每一個步驟中的操作，這些操作用Excel 如何實現，用Python 又如何實現。本篇內容主要包括：Python 環境配置、Python基礎知識、數據源的獲取、數據概覽、數據預處理、數值操作、數據運算、時間序列、數據分組、數據透視表、結果文件導出、數據可視化等。
進階篇：介紹幾個實戰案例，讓你體會一下在實際業務中如何使用Python。具體來說，進階篇的內容主要包括，利用Python 實現報表自動化、自動發送電子郵件，以及在不同業務場景中的案例分析。此外，還補充介紹了NumPy 數組的一些常用方法。

本書適合誰
本書主要適合以下人群。
Excel 已經用得熟練，想學習Python 來豐富自己技能的數據分析師。
剛入行對Excel 和Python 都不精通的數據分析師。
其他常用Excel 卻想通過學習Python 提高工作效率的人。

Python 雖然是一門編程語言，但是它並不難學，不僅不難學，而且很容易上手，這也是Python 深受廣大數據從業者喜愛的原因之一，因此大家在學習Python 之前首先在心裡告訴自己一句話，那就是Python 並沒有那麼難。

致謝
感謝我的父母，是他們給了我受教育的機會，才有了今天的我。
感謝我的公眾號的讀者朋友們，如果不是他們，那麼我可能不會堅持撰寫技術文章，更不會有這本書。
感謝慧敏讓我意識到寫書的意義，從而創作本書，感謝電子工業出版社為這本書忙碌的所有人。
感謝我的女朋友，在寫書的這段日子裡，我幾乎把所有的業餘時間全用在了寫作上，很少陪她，但她還是一直鼓勵我，支持我。

目錄
入門篇
第1 章 數據分析基礎 . 2
1.1 數據分析是什麼 2
1.2 為什麼要做數據分析 2
1.2.1 現狀分析 . 3
1.2.2 原因分析 . 3
1.2.3 預測分析 . 3
1.3 數據分析究竟在分析什麼 4
1.3.1 總體概覽指標 . 4
1.3.2 對比性指標 . 4
1.3.3 集中趨勢指標 . 4
1.3.4 離散程度指標 . 5
1.3.5 相關性指標 . 5
1.3.6 相關關係與因果關係 . 6
1.4 數據分析的常規流程 6
1.4.1 熟悉工具 . 6
1.4.2 明確目的 . 7
1.4.3 獲取數據 . 7
1.4.4 熟悉數據 . 7
1.4.5 處理數據 . 7
1.4.6 分析數據 . 8
1.4.7 得出結論 . 8
1.4.8 驗證結論 . 8
1.4.9 展示結論 . 8
1.5 數據分析工具：Excel 與Python .. 8

實踐篇
第2 章 熟悉鍋――Python 基礎知識 . 12
2.1 Python 是什麼 .. 12
2.2 Python 的下載與安裝 .. 13
2.2.1 安裝教程 ... 13
2.2.2 IDE 與IDLE . 17
2.3 介紹Jupyter Notebook 17
2.3.1 新建Jupyter Notebook 文件 17
2.3.2 運行你的第一段代碼 ... 19
2.3.3 重命名Jupyter Notebook 文件 19
2.3.4 保存Jupyter Notebook 文件 19
2.3.5 導入本地Jupyter Notebook 文件 20
2.3.6 Jupyter Notebook 與Markdown ... 21
2.3.7 為Jupyter Notebook 添加目錄 21
2.4 基本概念 .. 26
2.4.1 數 ... 26
2.4.2 變量 ... 26
2.4.3 標識符 ... 27
2.4.4 數據類型 ... 28
2.4.5 輸出與輸出格式設置 ... 28
2.4.6 縮進與注釋 ... 29
2.5 字符串 .. 30
2.5.1 字符串的概念 ... 30
2.5.2 字符串的連接 ... 30
2.5.3 字符串的複製 ... 30
2.5.4 獲取字符串的長度 ... 30
2.5.5 字符串查找 ... 31
2.5.6 字符串索引 ... 31
2.5.7 字符串分隔 ... 32
2.5.8 移除字符 ... 32
2.6 數據結構――列表 .. 33
2.6.1 列表的概念 ... 33
2.6.2 新建一個列表 ... 33
2.6.3 列表的複製 ... 34
2.6.4 列表的合併 ... 34
2.6.5 向列表中插入新元素 ... 34
2.6.6 獲取列表中值出現的次數 ... 35
2.6.7 獲取列表中值出現的位置 ... 35
2.6.8 獲取列表中指定位置的值 ... 36
2.6.9 刪除列表中的值 ... 36
2.6.10 對列表中的值進行排序 . 37
2.7 數據結構――字典 .. 37
2.7.1 字典的概念 ... 37
2.7.3 字典的keys()、values()和items()方法 ... 37
2.8 數據結構――元組 .. 38
2.8.1 元組的概念 ... 38
2.8.2 新建一個元組 ... 38
2.8.3 獲取元組的長度 ... 38
2.8.4 獲取元組內的元素 ... 39
2.8.5 元組與列表相互轉換 ... 39
2.8.6 zip()函數 ... 39
2.9 運算符 .. 40
2.9.1 算術運算符 ... 40
2.9.2 比較運算符 ... 40
2.9.3 邏輯運算符 ... 41
2.10 循環語句 41
2.10.1 for 循環 ... 41
2.10.2 while 循環 ... 42
2.11 條件語句 43
2.11.1 if 語句 . 43
2.11.2 else 語句 .. 44
2.11.3 elif 語句 .. 45
2.12 函數 46
2.12.1 普通函數 . 47
2.12.2 匿名函數 . 48
2.13 高級特性 49
2.13.1 列表生成式 . 49
2.13.2 map 函數 . 50
2.14 模塊 50

第3 章 Pandas 數據結構 . 51
3.1 Series 數據結構 ... 51
3.1.1 Series 是什麼 51
3.1.2 創建一個Series 52
3.1.3 利用index 方法獲取Series 的索引 53
3.1.4 利用values 方法獲取Series 的值 ... 53
3.2 DataFrame 表格型數據結構 ... 53
3.2.1 DataFrame 是什麼 53
3.2.2 創建一個DataFrame 54
3.2.3 獲取DataFrame 的行、列索引 ... 56
3.2.4 獲取DataFrame 的值 ... 56

第4 章 準備食材――獲取數據源 .. 57
4.1 導入外部數據 .. 57
4.1.1 導入.xlsx 文件 .. 57
4.1.2 導入.csv 文件 ... 60
4.1.3 導入.txt 文件 63
4.1.4 導入sql 文件 65
4.2 新建數據 .. 67
4.3 熟悉數據 .. 67
4.3.1 利用head 預覽前幾行 . 67
4.3.2 利用shape 獲取數據表的大小 68
4.3.3 利用info 獲取數據類型 .. 69
4.3.4 利用describe 獲取數值分佈情況 71

第5 章 淘米洗菜――數據預處理 .. 73
5.1 缺失值處理 .. 73
5.1.1 缺失值查看 ... 73
5.1.2 缺失值刪除 ... 75
5.1.3 缺失值填充 ... 77
5.2 重複值處理 .. 78
5.3 異常值的檢測與處理 .. 81
5.3.1 異常值檢測 ... 81
5.3.2 異常值處理 ... 82
5.4 數據類型轉換 .. 83
5.4.1 數據類型 ... 83
5.4.2 類型轉換 ... 84
5.5 索引設置 .. 86
5.5.1 為無索引表添加索引 ... 86
5.5.2 重新設置索引 ... 87
5.5.3 重命名索引 ... 88
5.5.4 重置索引 ... 89

第6 章 菜品挑選――數據選擇 . 91
6.1 列選擇 .. 91
6.1.1 選擇某一列/某幾列 .. 91
6.1.2 選擇連續的某幾列 ... 92
6.2 行選擇 .. 93
6.2.1 選擇某一行/某幾行 .. 93
6.2.2 選擇連續的某幾行 ... 94
6.2.3 選擇滿足條件的行 ... 95
6.3 行列同時選擇 .. 96
6.3.1 普通索引+普通索引選擇指定的行和列 . 97
6.3.2 位置索引+位置索引選擇指定的行和列 . 97
6.3.3 布爾索引+普通索引選擇指定的行和列 . 98
6.3.4 切片索引+切片索引選擇指定的行和列 . 98
6.3.5 切片索引+普通索引選擇指定的行和列 . 99

第7 章 切配菜品――數值操作 ... 100
7.1 數值替換 100
7.1.1 一對一替換 . 100
7.1.2 多對一替換 . 102
7.1.3 多對多替換 . 103
7.2 數值排序 104
7.2.1 按照一列數值進行排序 . 104
7.2.2 按照有缺失值的列進行排序 . 106
7.2.3 按照多列數值進行排序 . 106
7.3 數值排名 108
7.4 數值刪除 . 110
7.4.1 刪除列 .. 110
7.4.2 刪除行 .. 111
7.4.3 刪除特定行 .. 112
7.5 數值計數 . 113
7.6 唯一值獲取 . 114
7.7 數值查找 . 115
7.8 區間切分 . 116
7.9 插入新的行或列 . 119
7.10 行列互換 .. 120
7.11 索引重塑 .. 121
7.12 長寬表轉換 .. 122
7.12.1 寬表轉換為長表 ... 123
7.12.2 長表轉換為寬表 ... 125
7.13 apply()與applymap()函數 ... 126

第8 章 開始烹調――數據運算 ... 127
8.1 算術運算 127
8.2 比較運算 128
8.3 匯總運算 129
8.3.1 count 非空值計數 ... 129
8.3.2 sum 求和 . 130
8.3.3 mean 求均值 ... 130
8.3.4 max 求最大值 . 131
8.3.5 min 求最小值 . 132
8.3.6 median 求中位數 132
8.3.7 mode 求眾數 ... 133
8.3.8 var 求方差 ... 134
8.3.9 std 求標準差 ... 134
8.3.10 quantile 求分位數 . 135
8.4 相關性運算 136

第9 章 炒菜計時器――時間序列 138
9.1 獲取當前時刻的時間 138
9.1.1 返回當前時刻的日期和時間 . 138
9.1.2 分別返回當前時刻的年、月、日 . 138
9.1.3 返回當前時刻的周數 . 139
9.2 指定日期和時間的格式 140
9.3 字符串和時間格式相互轉換 141
9.3.1 將時間格式轉換為字符串格式 . 141
9.3.2 將字符串格式轉換為時間格式 . 141
9.4 時間索引 142
9.5 時間運算 145
9.5.1 兩個時間之差 . 145
9.5.2 時間偏移 . 145