大數據技術入門到商業實戰：Hadoop+Spark+Flink全解析（簡體書）

本書全面詳細地介紹了大數據生態系統中的主流技術。全書共10章，主要包括大數據生態系統概述、大數據采集技術、大數據存儲技術、大數據分析處理技術等內容，書中涵蓋了Hadoop、Hive、Hbase、Kafka、Spark、Flink等技術的原理和實踐，其中重點介紹了Hadoop技術、Spark技術及Flink技術。
本書詳細介紹了主流大數據技術框架的基本原理、環境搭建、操作使用和在典型行業中的具體應用，使讀者不僅能夠在宏觀上全面認知大數據生態系統，而且還能在微觀上深入理解大數據技術細節。
本書不僅適合大數據技術初學者閱讀，還可以幫助金融、電信、電商、能源、政府部門的大數據應用決策和技術人員，以及IT經理、CTO、CIO等快速學習大數據技術，並能作為大數據相關崗位培訓的教程。

以精煉的語言和經典實例，用圖文並茂的形式，向讀者生動展示大數據技術商業實戰開發

前言
●第1章初識大數據
1.1什麼是大數據
1.2大數據行業應用
1.3什麼是Hadoop
1.4Hadoop產生背景
1.5Hadoop的架構模塊介紹
1.6Hadoop在大數據、雲計算中的
位置和關係
1.7國內外Hadoop應用案例介紹
1.8Hadoop生態圈以及各組成部分
簡介
1.9本章小結
●第2章Hadoop之分布式文件系統
HDFS
2.1構建Hadoop集群
2.1.1集群簡介
2.1.2Hadoop集群部署
2.2Hadoop集群啟動和停止
2.2.1Hadoop集群啟動
2.2.2Hadoop集群停止
2.3HDFS的Shell命令行客戶端
操作
2.4HDFS的工作機制
2.4.1HDFS概述
2.4.2HDFS的重要特性
2.4.3HDFS寫數據流程
2.4.4HDFS讀數據流程
2.5NameNode和SecondaryNameNode
功能剖析
2.5.1NameNode與SecondaryNameNode
解析
2.5.2元數據的checkpoint的條件
2.5.3fsimage與edits詳解
2.5.4fsimage和edits文件信息查看
2.6DataNode的工作機制及存儲
2.6.1DataNode工作機制
2.6.2數據完整性保證
2.6.3DataNode掉線判斷時限參數
2.7HDFS的安全模式
2.8本章小結
●第3章Hadoop之分布式計算
MapReduce
3.1MapReduce概述
3.1.1MapReduce介紹
3.1.2為什麼要使用MapReduce
3.2MapReduce框架結構及核心
運行機制
3.3MapReduce編程規範和示例
編寫
3.3.1編程規範
3.3.2MapReduce編程入門之
單詞計數
3.4MapTask數量及切片機制
3.4.1MapTask個數
3.4.2如何控制MapTask的個數
3.4.3Map並行度的經驗之談
3.5ReduceTask並行度的決定
3.6MapReduce中的combiner
3.7MapReduce中的Shuffle
3.7.1Map端
3.7.2Reduce端
3.7.3Shuffle小結
3.8MapReduce與Yarn
3.8.1Yarn概述
3.8.2Yarn的重要概念
3.9MapReduce在Yarn上運行
流程
3.9.1job 提交過程
3.9.2job 初始化過程
3.9.3Task 任務分配
3.9.4Task 任務執行
3.9.5運行進度與狀態更新
3.9.6job 完成
3.10實戰項目1：基於MapReduce
實現用戶流量分析
3.10.1需求描述
3.10.2需求分析
3.10.3開發實現
3.10.4提交任務
3.11本章小結
●第4章分布式協調服務
Zookeeper
4.1Zookeeper簡介
4.1.1Zookeeper是什麼
4.1.2Zookeeper常用應用場景
4.2Zookeeper集群部署
4.2.1Zookeeper集群角色
4.2.2Zookeeper集群安裝
4.3Zookeeper核心工作機制
4.3.1Zookeeper特性
4.3.2Zookeeper數據結構
4.3.3節點類型
4.4Zookeeper的Shell命令行
操作
4.4.1客戶端連接
4.4.2命令行操作
4.5項目實戰2：基於Zookeeper
實現服務器上下線動態感知
4.5.1需求描述
4.5.2開發實現
4.6本章小結
●第5章分布式數據庫Hbase
5.1Hbase數據庫介紹
5.1.1Hbase簡介
5.1.2Hbase表的數據模型
5.2Hbase整體架構
5.3Hbase集群搭建
5.4Hbase的Shell命令演示
5.5Hbase的內部原理
5.5.1Hbase的存儲原理
5.5.2Hbase讀數據流程
5.5.3Hbase寫數據流程
5.6Hbase的Flush、compact
機制
5.6.1Flush觸發條件
5.6.2Flush的流程
5.6.3Compact合併機制
5.7Hbase表的預分區
5.8region合併
5.8.1region合併說明
5.8.2如何進行region合併
5.9Hbase表的rowkey設計
5.9.1rowkey長度原則
5.9.2rowkey散列原則
5.9.3rowkey唯一原則
5.10Hbase表的熱點
5.10.1表的熱點描述
5.10.2熱點問題解決
5.11項目實戰3：基於MapReduce
實現數據入庫Hbase表中
5.11.1需求描述
5.11.2開發實現
5.12本章小結
●第6章數據倉庫Hive
6.1Hive基本概念
6.1.1Hive簡介
6.1.2Hive與傳統數據庫對比
6.2Hive的架構原理
6.3Hive的數據類型
6.4Hive的安裝部署
6.5Hive的交互方式
6.5.1Hive交互Shell
6.5.2Hive JDBC服務
6.5.3Hive的命令
6.6Hive的DDL操作
6.6.1數據庫的DDL操作
6.6.2表的DDL操作
6.7Hive的分區表
6.8Hive的靜態分區和動態
分區
6.8.1靜態分區
6.8.2動態分區
6.9Hive的數據導入
6.10Hive數據導出
6.11項目實戰4：基於Hive分析
用戶搜索日誌數據
6.11.1需求描述
6.11.2數據格式
6.11.3開發實現
6.12本章小結
●第7章日誌採集框架Flume
7.1Flume介紹
7.1.1Flume概述
7.1.2Flume的優勢
7.1.3Flume的運行機制
7.1.4Flume採集系統結構圖
7.2Flume安裝部署
7.3Flume數據采集應用
7.3.1採集目錄到HDFS
7.3.2採集文件到HDFS
7.4項目實戰5：Flume之靜態攔
截器的使用
7.4.1案例場景
7.4.2場景分析
7.4.3數據流程處理分析
7.4.4開發實現
7.5本章小結
●第8章分布式消息系統Kafka
8.1Kafka概述
8.1.1Kafka定義
8.1.2Kafka的特性
8.1.3Kafka集群架構和角色
8.2Kafka集群安裝部署
8.3Kafka命令行的管理使用
8.4Kafka生產者和消費者的API
代碼開發
8.4.1生產者代碼開發
8.4.2消費者代碼開發
8.5Kafka分區策略
8.6為什麼Kafka速度那麼快
8.7Kafka的文件存儲機制
8.7.1文件存儲概述
8.7.2Segment文件
8.7.3Kafka如何快速查詢數據
8.7.4Kafka高效文件存儲
設計特點
8.8consumer消費原理
8.8.1consumer與topic關係
8.8.2Offset管理
8.8.3coordinator工作機制
8.9項目實戰6: Kafka整合
Flume
8.9.1需求描述
8.9.2需求分析
8.9.3需求實現
8.10本章小