Hive數據倉庫技術與應用（簡體書）

本書是大數據技術與應用專業校企合作系列教材之一，採用模塊化的編寫思路，內容包括Hive概述、環境準備、Hadoop搭建和配置、安裝Hive的基礎操作、HiveQL的數據定義、HiveQL語句、Hive綜合應用7個單元和25個教學任務。每個單元通過學習目標引出單元的教學核心內容，明確教學任務。每個任務的編寫分為任務目標、知識學習、任務實施、同步訓練4個環節。最後通過單元小結回顧每個單元的學習重點。
本書適合作為高職院校軟件技術、大數據技術及應用專業，以及計算機類相關專業的教材，也可以作為Hive愛好者的參考用書。

朱曉彥，安徽工業經濟職業技術學院；
方明清，珠海城市職業技術學院；
李強，珠海城市職業技術學院

本書採用模塊化的編寫思路，通過25個任務，介紹Hive的相關技術。每個任務分為任務目標、知識學習、任務實施、同步訓練4個環節。

單元1 Hive概述1
任務1.1 Hive的產生背景1
1 Hive的產生背景2
2 Hive的發展歷史和現狀4
3 Hive與Hadoop4

任務1.2 Hive的概念9
1 Hive的系統與部署架構9
2 Hive與RDBM對比12
3數據倉庫的理解12
4 Hive的數據模型15
5 HiveQL與數據存儲16
任務1.3 Hadoop生態與Hive20
1 Pig20
2 HBase21
單元小結25

單元2 環境準備26
任務2.1 VMware與SecureCRT Portable26
1 VMware簡介26
2 VMware的虛擬化27
任務2.2 JDK的配置37
1 JDK的簡介37
2 JDK的版本37
3上傳JDK的介質37
4 tar的解壓與壓縮37
任務2.3 免密登錄41
1 免密登錄用戶41
2免密登錄的優點42
單元小結46

單元3 Hadoop搭建和配置47
任務3.1 Hadoop搭建47
1上傳Hadoop的介質47
2解壓Hadoop壓縮包48
3配置Hadoop的環境變量48
4配置Hadoop環境變量48
5修改Hadoop的配置文件49
6啟動Hadoop服務51
7檢查Hadoop的成功52
任務3.2 Hadoop配置57
1 Hadoop簡介57
2 MapReduce綜述61
單元小結70

單元4 安裝Hive的基礎操作71
任務4.1 Hive的模式71
1本地模式72
2遠程模式72
3內嵌模式73
任務4.2 安裝Hive實驗88
1 Hive簡介88
2 Hive的定義88
3設計特徵88
4數據存儲89
任務4.3 Hive命令95
1創建表語句95
2加載數據96
3改變表98
4替換101
5刪除表102
6分區103
任務4.4 Hive命令行界面107
1 CLI選項107
2變量和屬性111
3在Hive內使用Hadoop的DFS命令112
任務4.5 數據類型和文件格式114
1基本數據類型114
2文件格式116
3壓縮編碼119
4集合數據類型121
任務4.6 Hive權限管理125
1開啟權限126
2權限操作128
任務4.7 Hive常用優化方法137
1控制Reducer數量137
2使用Map Join138
3使用distinct+union all 代替union139
4解決數據傾斜的通用方法140
單元小結141
單元5 HiveQL的數據定義143
任務5.1 HiveQL的數據定義143
1 HiveQL的數據定義143
2 HiveQL和SQL的區別146
任務5.2 Hive數據庫150
1 Hive的數據庫150
2修改數據庫屬性151
任務5.3 修改表157
1增加、修改和刪除表分區157
2表重命名157
3增加列157
4刪除或者替換列157
5修改表屬性158
6修改存儲屬性158
7修改表語句158
單元小結162
單元6 HiveQL語句163
任務6.1 SELECT、FROM語句的概念163
1使用正則表達式來指定列163
2使用列值進行計算165
3算術運算符165
4使用函數168
5 LIMIT語句169
6列的別名169
7 CASE、WHEN、THEN句式169
8嵌套SELECT語句172
任務6.2 GROUP BY178
任務6.3 抽樣查詢180
1數據塊抽樣180
2分桶表的輸入裁剪180
任務6.4 WHERE語句181
1謂語操作符182
2浮點數比較183
任務6.5 JOIN語句184
1 JOIN優化185
2 LEFT OUTER JOIN186
3 INNER JOIN187
4 FULL OUTER JOIN189
5 LEFT SEMIJOIN189
6 RIGHT OUTER JOIN190
7 OUTER JOIN190
8笛卡兒積JOIN191
9 mapsidejoin192
單元小結194
單元7 Hive綜合應用195
任務7.1 Hive和亞馬遜網絡服務系統(AWS)195
1彈性MapReduce的優點196
2注意事項196
3 EMR上的實例196
任務7.2 Hive綜合案例199
1 Hive操作演示199
2交易數據演示207
單元小結227
參考文獻228