Hadoop實戰（簡體書）

《Hadoop實戰》是一本系統且極具實踐指導意義的hadoop工具書和參考書。內容全面，對hadoop整個技術體系進行了全面的講解，不僅包括hdfs和mapreduce這兩大核心內容，而且還包括hive、hbase、mahout、pig、zookeeper、avro、chukwa等與hadoop相關的子項目的內容。實戰性強，為各個知識點精心設計了大量經典的小案例，易于理解，可操作性強。
全書一共18章：第1章全面介紹了hadoop的概念、優勢、項目結構、體系結構，以及它與分布式計算的關系；第2章詳細講解了hadoop集群的安裝和配置，以及常用的日志分析技巧；第3章分析了hadoop在yahoo！、ebay、facebook和百度的應用案例，以及hadoop平臺上海量數據的排序；第4-7章深入地講解了mapreduce計算模型、mapreduce應用的開發方法、mapreduce的工作機制，同時還列出了多個mapreduce的應用案例，涉及單詞計數、數據去重、排序、單表關聯和多表關聯等內容；第8-11章全面地闡述了hadoop的i/o操作、hdfs的原理與基本操作，以及hadoop的各種管理操作，如集群的維護等；第12-17章詳細而系統地講解了hive、hbase、mahout、pig、zookeeper、avro、chukwa等所有與hadoop相關的子項目的原理及使用，以及這些子項目與hadoop的整合使用；第18章以實例的方式講解了常用hadoop插件的使用和hadoop插件的開發。
《Hadoop實戰》既適合沒有hadoop基礎的初學者系統地學習，又適合有一定hadoop基礎但是缺乏實踐經驗的讀者實踐和參考。

陸嘉恒，中國人民大學副教授，新加坡國立大學博士，美國加利福尼亞大學爾灣分校(University of California, Irvine) 博士後。專注于云計算及其相關技術的研究，對Hadoop有較深入的研究，積累了豐富的實踐經驗。對分布式計算和海量數據處理有深刻的認識，主持并完成了多個國家863和自然科學基金項目的研究與實施。2009年入選新世紀優秀人才，2010年入選北京科技新星。主持《云計算概論》課程獲教育部-IBM精品課程稱號。

《Hadoop實戰》內容全面，涵蓋Hadoop技術本身和Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa等所有與Hadoop相關的子項目，實戰性強，為各個知識點精心設計了大量經典的小案例，易于理解，可操作性強。
當越來越多的人涌向互聯網時，不僅互聯網應用的種類和形態在不斷發生變化，而且互聯網上的信息量也在以我們無法想象的速度迅猛增長。如今，無論是傳統企業，還是互聯網企業都越來越重視對所有與企業相關的各種數據的分析和利用。對海量數據的處理能力已成為現代企業的核心競爭力之一。
云計算技術的出現為海量數據的處理提供了良好的解決方案。Hadoop是云計算技術的開源實現，具有高容錯、跨平臺等優勢，用戶可以利用Hadoop輕松地組織計算機資源來搭建自己的分布式云計算平臺，從而充分地利用集群的計算和存儲能力，完成對海量數據的處理。
《Hadoop實戰》對Hadoop的整個技術體系進行了全面的講解，不僅包括HDFS和MapReduce這兩大核心內容，而且還包括Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa等與Hadoop相關的子項目的內容。《Hadoop實戰》“以理論為基礎、以實踐為重點”，希望能為大家奉上一場Hadoop的盛宴。如果你想使用Hadoop，或正在使用Hadoop，《Hadoop實戰》將會給你絕佳的指導。

前言
第1章Hadoop簡介
1.1 什么是Hadoop
1.1.1 Hadoop概述
1.1.2 Hadoop的歷史
1.1.3 Hadoop的功能與作用
1.1.4 Hadoop的優勢
1.1.5 Hadoop的應用現狀和發展趨勢
1.2 Hadoop項目及其結構
1.3 Hadoop的體系結構
1.3.1 HDFS的體系結構
1.3.2 MapReduce的體系結構
1.4 Hadoop與分布式開發
1.5 Hadoop計算模型-MapReduce
1.6 Hadoop的數據管理
1.6.1 HDFS的數據管理
1.6.2 HBase的數據管理
1.6.3 Hive的數據管理
1.7 小結
第2章Hadoop的安裝與配置
2.1 在Linux上安裝與配置Hadoop
2.1.1 安裝JDKl.6
2.1.2 配置SSH免密碼登錄
2.1.3 安裝并運行Hadoop
2.2 在Windows上安裝與配置Hadoop
2.2.1 安裝Cygwin
2.2.2 配置環境變量
2.2.3 安裝和啟動sshd服務
2.2.4 配置SSH免密碼登錄
2.3 安裝和配置Hadoop集群
2.3.1 網絡拓撲
2.3.2 定義集群拓撲
2.3.3 建立和安裝Cluster
2.4 日志分析及幾個小技巧
2.5 小結
第3章Hadoop應用案例分析
3.1 Hadoop在Yahoo！的應用
3.2 Hadoop在eBay的應用
3.3 Hadoop在百度的應用
3.4 Hadoop在Facebook的應用
3.5 Hadoop平臺上的海量數據排序
3.6 小結
第4章 MapReduce計算模型
4.1 為什么要用MapReduce
……
第5章 開發MapReduce應用程序
第6章 MapReduce應用實例
第7章 MapReduce工作機制
第8章 Hadoop I/O操作
第9章 HDFS詳解
第10章 Hadoop的管理
第11章 Hive詳解
第12章 HBase詳解
第13章 Mahout詳解
第14章 Pig詳解
第15章 ZooKeeper詳解
第16章 Avro詳解
第17章 Chukwa詳解
第18章 Hadoop的常用插件與開發

2.3 安裝和配置Hadoop集群
2.3.1 網絡拓撲
通常來說，一個Hadoop的集群體系結構由兩層網絡拓撲組成，如圖2-1所示。結合實際的應用來看，每個機架中會有30～40臺機器，這些機器共享一個1GB帶寬的網絡交換機。在所有的機架之上還有一個核心交換機或路由器，通常來說其網絡交換能力為1GB或更高。可以很明顯地看出，同一個機架中機器節點之間的帶寬資源肯定要比不同機架中機器節點間豐富。這也是Hadoop隨後設計數據讀寫分發策略要考慮的一個重要因素。
2.3.2 定義集群拓撲
在實際應用中，為了使Hadoop集群獲得更高的性能，讀者需要配置集群使Hadoop能夠感知其所在的網絡拓撲結構。當然如果集群中機器數量很少，而且它們存在于一個機架中，那么就不用做太多額外的工作，而當集群中存在多個機架時，就要使Hadoop清晰地知道每臺機器所在的機架。隨後，在處理Map Reduce任務時，Hadoop會優先選擇在機架內部進行數據傳輸，而不是在機架間，這樣就可以更充分地使用網絡帶寬資源。同時，HDFS可以更加智能地部署數據副本，并在性能和可靠性間尋找到最優的平衡。