數據科學技術與應用（簡體書）

本書內容涵蓋數據科學基礎知識，介紹了數據科學的工作流程，包括數據采集、數據整理和探索、數據可視化和數據建模預測等技術，並通過文本、圖像、語音等前沿應用，引入人工智能技術在數據科學領域應用的最新成果。全書設計收集了多個數據分析案例，採用Python及相關科學計算工具包介紹數據分析實現的方法，幫助讀者通過實際應用理解數據科學知識，掌握實踐技能，運用統計學、人工智能等技術解決實際問題。本書通俗易懂、實例豐富、技術先進，配備豐富的教學資源，可作為各類大專院校數據科學、大數據技術的入門教材，計算機基礎教學較高層次課程的教材，也可以作為數據科學實踐的技術參考書。

宋暉博士、教授，長期從事Web數據挖掘、機器學習和智能信息處理方面的研究和教學工作，主持完成多項數據挖掘、智能分析和信息系統的研發，在數據科學方向有深厚的理論基礎以及豐富的實踐經驗。

前 言
本書屬�上海市教育委員會組編的“高等學校‘互聯網+’應用能力培養規劃教材”。“互聯網+”的普及使社會進入數據時代，社會、經濟和生活逐漸被“數據化”，越來越多的政府、企業意識到數據正在成為組織最重要的資產，數據分析解讀的能力成為組織的核心競爭力。通過分析數據，改善實施計劃、過程和決策成為大學生應具備的基本技能。
本書面向新興的數據科學，綜合多學科背景，以實際應用案例驅動，圍繞數據科學工作流程各步驟的核心問題，介紹從數據中獲取知識的新思維方式、方法和技術。在傳統的數據統計分析方法基礎上，增加了基於人工智能機器學習的建模分析方法，通過圖像、文本、語音等典型人工智能數據應用領域實例，將數據科學的技術前沿引入計算機基礎教學，為大學生打開數據時代的創新之門。
本書結合編者多年來面向各專業大學生計算機教學的經驗，將數據科學中的相關理論知識深入淺出，娓娓道來，盡可能避免深奧的數學表達，通過圖表幫助讀者理解數據分析方法的基本思想。各章節設計和引入了大量貼近生活、專業學習的實際案例，提出問題，設計分析方案，解讀分析結果。本書採用Python實現數據分析過程，精心梳理了相關方法庫，整理了盡可能簡潔的核心函數集，使讀者專注解決問題的方案，減少程序開發的困擾。
通過閱讀和學習本書，使讀者具備從數據中發現知識，“用數據說話”的思維方式，掌握根據實際問題，提出數據分析方案獲取有效值分析結果的技能。
為了輔助教師開展教學，配合讀者學習，本書在每節後附有思考與練習，每章後提供了綜合練習題。電子工業出版社網站提供電子教案、教學和實驗案例，習題解答等。
本書由宋暉教授和劉曉強教授主編，王洪亞、杜明、李柏岩、徐波等教師參與了部分章節的編寫工作。岳萬琛、戴雲龍、劉栩彤和方智和等同學幫助整理了書稿的部分內容及製作教學資源，在此表示感謝。限於水平，不足之處在所難免，敬請讀者和同行批評指正。

目 錄
第1章 數據科學基礎 （1）
1.1 數據科學概述 （1）
1.1.1 數據的力量 （1）
1.1.2 數據科學的知識結構 （3）
1.1.3 數據科學的工作流程 （4）
1.1.4 數據科學與大數據 （5）
1.2 Python數據分析工具 （7）
1.2.1 科學計算集成環境Anaconda （7）
1.2.2 Python編譯環境 （7）
1.2.3 Jupyter Notebook （8）
1.3 Python語言基礎 （10）
1.3.1 常用數據類型 （10）
1.3.2 流程控制 （11）
1.3.3 函數和方法庫 （13）
綜合練習題 （14）
第2章 多維數據結構與運算 （15）
2.1　多維數組對象 （15）
2.1.1　一維數組對象 （16）
2.1.2 二維數組對象 （17）
2.1.3 創建多維數組的常用方法 （19）
2.2　多維數組運算 （21）
2.2.1　基本算術運算 （21）
2.2.2 函數和矩陣運算 （22）
2.2.3 隨機數組生成函數 （25）
2.3 案例：隨機遊走軌跡模擬 （26）
綜合練習題 （29）
第3章 數據匯總與統計 （30）
3.1 統計基本概念 （30）
3.1.1 統計的含義 （30）
3.1.2 常用統計量 （31）
3.2 pandas數據結構 （33）
3.2.1 Series對象 （33）
3.2.2 Series數據訪問 （34）
3.2.3 DataFrame對象 （37）
3.2.4 DataFrame 數據訪問 （37）
3.3 數據文件讀寫 （41）
3.3.1　讀寫CSV和TXT文件 （41）
3.3.2 讀取Excel文件 （44）
3.4 數據清洗 （45）
3.4.1　缺失數據處理 （46）
3.4.2 去除重複數據 （48）
3.5 數據規整化 （49）
3.5.1 數據合併 （49）
3.5.2 數據排序 （51）
3.6 統計分析 （53）
3.6.1　通用函數與運算 （53）
3.6.2 統計函數 （54）
3.6.3 相關性分析 （56）
3.6.4 案例：調查反饋表分析 （56）
綜合練習題 （59）
第4章 數據可視化 （60）
4.1 Python繪圖基礎 （60）
4.1.1 認識基本圖形 （60）
4.1.2 pandas快速繪圖 （61）
4.1.3 Matplotlib精細繪圖 （63）
4.2 可視化數據探索 （67）
4.2.1 繪製常用圖形 （67）
4.2.2 繪製數據地圖 （77）
綜合練習題 （81）
第5章 機器學習建模分析 （83）
5.1 機器學習概述 （83）
5.1.1 機器學習與人工智能 （83）
5.1.2 Python機器學習方法庫 （85）
5.2 回歸分析 （85）
5.2.1 回歸分析原理 （85）
5.2.2 回歸分析實現 （86）
5.2.3 回歸分析性能評估 （89）
5.3 分類分析 （91）
5.3.1 分類學習原理 （91）
5.3.2 決策樹 （93）
5.3.3 支持向量機 （96）
5.4 聚類分析 （100）
5.4.1 聚類任務 （100）
5.4.2 K-means算法 （101）
5.4.3 聚類方法的性能評估 （104）
5.5 神經網絡和深度學習 （106）
5.5.1 神經元與感知器 （106）
5.5.2 神經網絡 （107）
5.5.3 神經網絡分類實現 （108）
5.5.4 深度學習 （110）
綜合練習題 （111）
第6章 文本數據處理 （112）
6.1 文本處理概述 （112）
6.1.1 文本處理的常見任務 （112）
6.1.2 文本處理的基本步驟 （113）
6.2 中文文本處理 （115）
6.2.1 中文分詞 （115）
6.2.2 詞性標注 （116）
6.2.3 特徵提取 （117）
6.3 實例：垃圾郵件識別 （121）
6.3.1 數據來源 （121）
6.3.2 構建文本分類特徵訓練集 （122）
6.3.3 模型訓練和驗證 （123）
綜合練習題 （124）
第7章 圖像數據處理 （125）
7.1 數字圖像概述 （125）
7.1.1 數字圖像 （125）
7.1.2 數字圖像類型 （126）
7.1.3 數字圖像處理 （126）
7.2 Python圖像處理 （127）
7.2.1 Python圖像處理庫 （127）
7.2.2 圖像基本操作 （128）
7.3 案例：深度學習實現圖像分類 （130）
7.3.1 卷積神經網絡 （130）
7.3.2 深度學習庫Keras （131）
7.3.3 用Keras實現圖像分類 （133）
綜合練習題 （137）
第8章 時序數據與語音處理 （138）
8.1 時序數據概述 （138）
8.1.1 時序數據特性 （138）
8.1.2 時序數據特徵的提取 （139）
8.2 時序數據分析方法 （141）
8.2.1 時序數據分析過程 （141）
8.2.2 股票預測實例 （143）
8.3 語音識別實例 （147）
8.3.1 語音識別技術簡介 （147）
8.3.2 語音識別中的時序數據處理 （148）
8.3.3 語音識別的實例 （150）
綜合練習題 （151）
參考文獻 （152）