高性能計算：現代系統與應用實踐（簡體書）

本書由戈登·貝爾獎獲得者及其團隊撰寫，為高性能計算的入門讀者構建了多路徑的學習曲線，夯實基礎的同時注重培養實踐技能。書中首先介紹基礎知識，包括執行模型、體系結構、性能度量、商品集群等；接著講解吞吐量計算、共享內存計算、消息傳遞計算和加速GPU計算，圍繞這些模型的概念、細節及編程實踐展開討論；然後引導讀者構建重要的程序，涵蓋並行算法、庫、可視化及性能優化等；最後，考慮真實系統環境，討論了操作系統、大容量存儲、文件系統及MapReduce算法等。

托馬斯‧斯特林，被譽為Beowulf集群之父。現為印第安納大學教授，CREST主管。目前致力於開發新一代E級性能的計算系統和應用。

戈登·貝爾獎獲得者及其團隊撰寫，全面涵蓋超算領域的重要基礎知識和實踐技能，打造多路徑的高效學習曲線

譯者序

序言

前言

致謝

第1章 緒論 1

1.1 高性能計算學科 2

1.1.1 定義 3

1.1.2 應用程序 3

1.1.3 性能和指標 3

1.1.4 高性能計算系統 4

1.1.5 超算問題 6

1.1.6 應用編程 7

1.2 超算對科學、社會和安全的影響 8

1.2.1 促進欺詐檢測和市場數據分析 8

1.2.2 發現、管理和分配石油和天然氣 8

1.2.3 加快製造業的創新 9

1.2.4 個性化醫藥和藥物發現 9

1.2.5 預測自然災害和瞭解氣候變化 10

1.3 超級計算機剖析 11

1.4 計算機性能 13

1.4.1 性能 13

1.4.2 峰值性能 13

1.4.3 持續性能 14

1.4.4 可擴展性 15

1.4.5 性能退化 15

1.4.6 性能提升 17

1.5 超級計算機簡史 17

1.5.1 第一個階段―利用機械技術的自動計算機 18

1.5.2 第二個階段―真空管時代的馮·諾依曼架構 19

1.5.3 第三個階段―指令級並行 23

1.5.4 第四個階段―向量處理和積分 24

1.5.5 第五個階段―單指令多數據陣列 27

1.5.6 第六個階段―順序處理器的通信和超大規模集成電路 27

1.5.7 第七個階段―多核和千萬億次 30

1.5.8 新數字時代和超越摩爾定律 30

1.6 作為學生的指南和工具 31

1.7 本章小結及成果 32

1.8 練習 33

參考文獻 34

第2章 HPC架構：系統和技術 35

2.1 引言 35

2.2 HPC架構的關鍵特性 36

2.2.1 速度 36

2.2.2 並行性 36

2.2.3 效率 37

2.2.4 功率 37

2.2.5 可靠性 38

2.2.6 可編程性 38

2.3 並行架構家族―弗林分類法 39

2.4 支持技術 41

2.4.1 技術階段 41

2.4.2 技術的角色 44

2.4.3 數字邏輯 45

2.4.4 存儲技術 47

2.5 馮·諾依曼順序處理器 50

2.6 向量和流水線 52

2.6.1 流水線並行 53

2.6.2 向量處理 55

2.7 單指令多數據陣列 56

2.7.1 單指令多數據架構 56

2.7.2 阿姆達定律 57

2.8 多處理器 59

2.8.1 共享內存多處理器 60

2.8.2 大規模並行處理器 62

2.8.3 商品集群系統 62

2.9 異構計算機結構 63

2.10 本章小結及成果 64

2.11 練習 65

參考文獻 67

第3章 商品集群 68

3.1 引言 68

3.1.1 商品集群的定義 68

3.1.2 集群的動機和理由 69

3.1.3 集群元素 70

3.1.4 對500強名單的影響 70

3.1.5 簡史 71

3.1.6 章節指南 73

3.2 Beowulf集群項目 74

3.3 硬件架構 76

3.3.1 節點 76

3.3.2 系統區域網絡 77

3.3.3 輔助存儲 78

3.3.4 商業系統摘要 78

3.4 編程接口 78

3.4.1 高性能計算程序設計語言 78

3.4.2 並行編程模式 80

3.5 軟件環境 80

3.5.1 操作系統 80

3.5.2 資源管理 82

3.5.3 調試器 83

3.5.4 性能分析 84

3.5.5 可視化 85

3.6 基本使用方法 86

3.6.1 登錄 86

3.6.2 用戶空間和目錄系統 87

3.6.3 包的配置和構建 92

3.6.4 編譯器和編譯 93

3.6.5 運行應用程序 94

3.7 本章小結及成果 94

3.8 練習95

參考文獻 95

第4章 基準測試程序 97

4.1 引言 97

4.2 HPC基準測試程序的關鍵屬性 100

4.3 標準的HPC社區的基準測試程序 101

4.4 高度並行計算的Linpack 102

4.5 HPC挑戰基準測試套件 104

4.6 高性能共軛梯度 106

4.7 NAS並行基準測試程序 110

4.8 Graph500 111

4.9 小型應用作為基準測試程序 115

4.10 本章小結及成果 116

4.11 練習 117

參考文獻 118

第5章 資源管理的基礎 119

5.1 資源管理 119

5.2 SLURM的基礎 123

5.2.1 架構概述 123

5.2.2 工作負載的組織 124

5.2.3 SLURM調度 125

5.2.4 SLURM命令概要 127

5.2.5 SLURM作業腳本 141

5.2.6 SLURM速查表 146

5.3 便攜式批量系統基礎 147

5.3.1 PBS概述 147

5.3.2 PBS架構 148

5.3.3 PBS命令概要 148

5.3.4 PBS作業腳本 158

5.3.5 PBS速查表 160

5.4 本章小結及成果 161

5.5 練習 162

參考文獻 163

第6章 對稱多處理器架構 164

6.1 引言 164

6.2 架構概覽 165

6.3 阿姆達定律 168

6.4 處理器核心的架構 171

6.4.1 執行流水線 172

6.4.2 指令級並行 173

6.4.3 分支預測 173

6.4.4 直通 174

6.4.5 保留站 174

6.4.6 多線程 174

6.5 存儲層次 175

6.5.1 數據重用和局部性 175

6.5.2 存儲層次結構 176

6.5.3 存儲系統的性能 178

6.6 PCI總線 180

6.7 外部I/O接口 184

6.7.1 網絡接口控制器 184

6.7.2 串行高級技術附件 185

6.7.3 JTAG 187

6.7.4 通用串行總線 189

6.8 本章小結及成果 190

6.9 練習 191

參考文獻 192

第7章 OpenMP的基礎 194

7.1 引言 194

7.2 OpenMP編程模型概覽 195

7.2.1 線程並行 195

7.2.2 線程變量 197

7.2.3 運行時庫與環境變量 197

7.3 並行線程和循環 199

7.3.1 並行線程 199

7.3.2 私有 200

7.3.3 並行“for”語句 200

7.3.4 塊 206

7.4 同步 208

7.4.1 臨界同步指令 208

7.4.2 master指令 209

7.4.3 barr