大數據處理與存儲技術（簡體書）

本書歸納和總結了主流數據庫軟件和常用數據處理I具的常見問題與應用技巧, 為大數據技術與傳統數據存儲和轉換技術相結合提供了技術參考, 為促進大數據技術的發展, 為數據庫和ETL開發人員、運維人員提供了技術支撐。本書分為3篇, 共5章, 主要內容包括Oracle數據庫應用、MySQL數據庫應用、Informatica PowerCenter工具應用、Ktle工具應用、數據庫調優與ETL工具應用技巧。本書分別從數據存儲軟件、數據抽取與清洗軟件等方面, 向讀者展示了Oracle、MySQL、Iformatica和Kettle的常見問題、優化與提升的技巧。

第一篇 數據庫軟件篇

第1章 Oracle數據庫應用 2

1.1 Oracle簡介 ·3

1.1.1 產品歷史 3

1.1.2 支撐的平臺 4

1.1.3 數據庫特點 4

1.2 安裝配置 5

1.2.1 安裝環境 5

1.2.2 系統配置 5

1.2.3 Oracle安裝 ·8

1.3 數據庫函數 20

1.3.1 常用函數 20

1.3.2 數字函數 21

1.3.3 預定義函數 22

1.3.4 字符函數 23

1.3.5 日期函數 26

1.4 常用查詢命令 29

1.5 常見問題參考 47

1.5.1 事務處理 47

1.5.2 索引 49

1.5.3 觸發器 53



大數據處理與存儲技術

1.5.4 存儲過程 53

1.5.5 參數設置 55

1.5.6 消息號 82

1.5.7 表級操作 86

1.5.8 鎖操作 92

1.5.9 歸檔的開啟與關閉 93

1.5.10 數據的導入與導出 94

1.5.11 其他 94

第2章 MySQL數據庫應用102

2.1 MySQL簡介 ·103

2.1.1 產品歷史 103

2.1.2 應用環境 104

2.1.3 數據庫特點 105

2.2 安裝配置 106

2.3 數據庫函數 107

2.3.1 數學函數 107

2.3.2 字符串函數 110

2.3.3 日期函數 114

2.3.4 條件判斷函數 118

2.3.5 系統信息函數 119

2.3.6 加密函數 120

2.3.7 其他函數 121

2.4 常見問題參考 122

2.4.1 數據庫創建 122

2.4.2 數據庫刪除 123

2.4.3 數據庫連接 123

2.4.4 數據表操作 125

2.4.5 索引操作 127

2.4.6 其他 127



目 錄

VII

第二篇 ETL工具篇

第3章 Informatica PowerCenter工具應用 132

3.1 Informatica簡介 ·133

3.2 安裝配置 133

3.2.1 準備安裝環境 133

3.2.2 Informatica軟件安裝 ·137

3.3 常見問題參考 144

3.3.1 軟件安裝 144

3.3.2 軟件啟動 144

3.3.3 目標庫表 145

3.3.4 數據庫連接 147

3.3.5 組件應用 148

3.3.6 其他 149

第4章 Kettle工具應用 150

4.1 Kettle簡介 151

4.2 安裝配置 151

4.3 常見問題 152

4.3.1 連接資源庫報錯 152

4.3.2 日誌級別設置 ·153

4.3.3 時間格式問題 153

4.3.4 打開資源庫後頁面空白 153

4.3.5 Kettle連接Oracle報錯 ·153

第三篇 高級調優篇

第5章 數據庫調優與ETL工具應用技巧 156

5.1 Oracle調優 157

5.1.1 最大限度使用索引 157



大數據處理與存儲技術

5.1.2 SQL優化 162

5.1.3 hint用法 ·170

5.2 MySQL調優 ·175

5.2.1 最大限度使用索引 175

5.2.2 優化提升 179

5.3 Informatica應用技巧 194

5.3.1 元數據解析 194

5.3.2 資料庫操作 209

附錄A Oracle錯誤信息表 ·213

附錄B MySQL錯誤信息表 ·287

附錄C PowerCenter錯誤信息表 ·310