大數據實訓案例：電信用戶行為分析(Scala版)（簡體書）

本書詳細介紹了一個大數據應用案例――電信用戶行為分析，案例涉及數據預處理、數據存儲與管理、數據分析和數據可視化等流程，涵蓋Linux、MySQL、Hadoop、Spark、IntelliJ IDEA、Spring等系統和軟件的安裝與使用方法。案例採用的編程語言是Scala和Java。

林子雨（1978－），男，博士，廈門大學計算機科學系助理教授，廈門大學雲計算與大數據研究中心創始成員，廈門大學數據庫實驗室負責人，中國計算機學會數據庫專委會委員，中國計算機學會信息系統專委會委員。于2001年獲得福州大學水利水電專業學士學位，2005年獲得廈門大學計算機專業碩士學位，2009年獲得北京大學計算機專業博士學位。中國高校**“數字教師”提出者和建設者（http://www.cs.xmu.edu.cn/linziyu），2009年至今，“數字教師”大平臺累計向網絡免費發佈超過500萬字高價值的教學和科研資料，累計網絡訪問量超過500萬次。 主要研究方向為數據庫、數據倉庫、數據挖掘和大數據，發表期刊和會議學術論文多篇，並作為課題負責人主持了1項國家自然科學基金、1項福建省自然科學基金項目和1項福建省教改課題。曾作為志願者翻譯了Google Spanner、BigTable和《Architecture of a Database System》等大量英文學術資料，與廣大網友分享，深受歡迎。2013年開始在廈門大學開設大數據課程，並因在教學領域的突出貢獻和學生的認可，成為2013年度和2017年度廈門大學教學類獎教金獲得者。獲得2017年福建省精品在線開放課程、2018年廈門大學高等教育教學成果特等獎、2018年福建省高等教育教學成果二等獎。 主講課程：《大數據處理技術》。 個人主頁：http://www.cs.xmu.edu.cn/linziyu。 E-mail: ziyulin@xmu.edu.cn。 數據庫實驗室網站：http://dblab.xmu.edu.cn。 建設了高校大數據課程公共服務平臺（http://dblab.xmu.edu.cn/post/bigdata-teaching- platform/），成為全國高校大數據教學****。平臺為教師教學和學生學習大數據課程提供包括教學大綱、講義PPT、學習指南、備課指南、實驗指南、上機習題、授課視頻、技術資料等全方位、一站式免費服務，平臺年訪問量超過100萬次，同時提供面向高校的大數據實驗平臺建設方案和大數據課程師資培訓服務。

第1章 案例概述 1

1．1 案例目的 1

1．2 適用對象 1

1．3 時間安排 1

1．4 預備知識 2

1．5 硬件要求 2

1．6 軟件工具 2

1．7 數據集 3

1．8 案例任務 3

1．9 實驗步驟 4

1．10 在線資源 6

1．10．1 在線資源一覽表 6

1．10．2 下載專區 6

1．10．3 先修課程 7

1．10．4 大數據課程公共服務平臺 7

1．11 本章小結 8

第2章 大數據實驗環境搭建 9

2．1 Linux系統及相關軟件使用方法 9

2．1．1 Shell 10

2．1．2 root用戶 10

2．1．3 創建普通用戶 10

2．1．4 sudo命令 11

2．1．5 常用的Linux系統命令 11

2．1．6 文件解壓縮 12

2．1．7 常用的目錄 12

2．1．8 目錄的權限 13

2．1．9 更新APT 13

2．1．10 切換中英文輸入法 14

2．1．11 vim編輯器的安裝和使用方法 15

2．2 JDK的安裝 15

2．3 Scala的安裝 16

2．4 Hadoop的安裝和基本使用方法 17

2．4．1 安裝Hadoop前的準備工作 17

2．4．2 安裝Hadoop 19

2．4．3 HDFS操作常用Shell命令 22

2．5 Spark的安裝和基本使用方法 24

2．5．1 下載安裝文件 24

2．5．2 配置相關文件 25

2．5．3 Spark和Hadoop的交互 25

2．5．4 在spark-shell中運行代碼 26

2．6 MySQL數據庫的安裝和基本

使用方法 28

2．6．1 安裝MySQL 28

2．6．2 MySQL常用操作 31

2．7 安裝Tomcat 33

2．7．1 安裝方式的選擇 33

2．7．2 下載安裝文件 33

2．7．3 安裝和啟動Tomcat 34

2．8 本章小結 35

第3章 IntelliJ IDEA開發工具的

安裝和使用方法 36

3．1 下載和安裝IDEA 36

3．2 下載Scala插件安裝包 36

3．3 啟動IDEA 37

3．4 為IDEA安裝Scala插件 40

3．5 配置項目的JDK 44

3．6 使用IDEA開發WordCount程序 45

3．6．1 創建一個新項目WordCount 46

3．6．2 為WordCount項目添加Scala

框架支持 48

3．6．3 設置項目目錄 51

3．6．4 新建Scala代碼文件 53

3．6．5 配置pom．xml文件 55

3．6．6 更新Maven的依賴文件 57

3．6．7 運行WordCount程序 57

3．6．8 打包WordCount程序生成

JAR包 59

3．6．9 把JAR包提交到Spark中運行 63

3．7 本章小結 63

第4章 使用Spring、Spring

MVC和MyBatis開發

網頁應用 64

4．1 MVC模型 64

4．2 Spring框架 65

4．3 Spring MVC框架 66

4．3．1 網頁開發中的“請求-響應”

模型 66

4．3．2 採用Spring MVC框架後的

網頁請求處理過程 67

4．4 MyBatis 68

4．5 一個簡單的網頁應用開發實例 69

4．5．1 新建項目 69

4．5．2 配置pom．xml文件 71

4．5．3 設置項目目錄 74

4．5．4 編寫代碼文件 75

4．5．5 對項目文件進行編譯打包 77

4．5．6 把WebDemo．war發佈到

Tomcat中 81

4．5．7 實現Spring MVC和

Spring的整合 83

4．5．8 實現Spring、Spring MVC和

MyBatis三者的融合 86

4．5．9 把後端數據提交給網頁顯示 93

4．6 在IntelliJ IDEA中使用Tomcat

調試網頁程序 96

4．7 本章小結 104

第5章 使用ECharts製作

可視化圖表 105

5．1 ECharts簡介 105

5．2 ECharts圖表製作方法 105

5．2．1 下載ECharts 105

5．2．2 在HTML中引入ECharts 106

5．2．3 繪製一個簡單的圖表 106

5．2．4 導出圖片 107

5．3 可視化圖表製作實例 109

5．3．1 快速製作圖表方法 109

5．3．2 實例1：柱狀圖 110

5．3．3 實例2：餅狀圖 113

5．4 本章小結 117

第6章 電信用戶行為分析

實現過程 118

6．1 數據分析整體過程 118

6．2 本地數據集上傳到HDFS 119

6．2．1 數據集下載 119

6．2．2 把數據集上傳到HDFS 119

6．3 在MySQL中創建數據庫 120

6．3．1 啟動進入MySQL Shell環境 120

6．3．2 創建一個數據庫 120

6．3．3 創建一個數據匯總表 120

6．3．4 創建一個數據明細表 121

6．3．5 創建一個數據原始明細表 121

6．3．6 創建一個區域維表 121

6．3．7 創建一個渠道維表 121

6．3．8 創建一個請求類型維表 122

6．3．9 創建五個視圖 122

6．3．10 添加MySQL數據庫

驅動程序JAR包 123

6．4 開發Spark程序分析用戶行為 123

6．4．1 新建項目 124

6．4．2 設置依賴包 125

6．4．3 設置項目目錄 127

6．4．4 新建Scala代碼文件 127

6．4．5 配置pom．xml文件 133

6．4．6 在IDEA中運行程序 136

6．4．7 生成應用程序JAR包 138

6．4．8 使用spark-submit命令

運行程序 142

6．5 使用Spring MVC框架進行

數據可視化分析 144

6．5．1 新建項目 144

6．5．2 配置pom．xml文件 145

6．5．3 設置項目目錄 148

6．5．4 編寫代碼文件 150

6．5．5 生成應用程序JAR包 173



6．5．6 把網頁應用部署到Tomcat

服務器中 175

6．6 本章小結 178

參考文獻 179