結構化並行程序設計：高效計算模式（簡體書）

本書由Intel的三位並行計算專家聯合撰寫，注重實踐方法而非理論闡釋，從問題分析伊始便引入並行思維，而非基於串行的思維定式。全書囊括了並行程序設計中通用且實用的編程模式，圍繞IntelTBB和CilkPlus兩個主要模型給出了大量示例，幫助讀者學會編寫高效的、結構化的、可維護的程序。本書可作為高年級本科生和研究生並行計算課程的理論教材或實驗參考資料，也可供從事並行編程的程序員參考。

邁克爾‧麥庫樂，Intel公司軟件架構師，滑鐵盧大學兼職副教授。

目 錄
Structured Parallel Programming: Patterns for Efficient Computation
譯者序
前言
寫在前面
第1章　導論 1
1.1　並行思維 2
1.2　性能 3
1.3　動機：無處不在的並行 6
1.3.1　硬件發展推進並行化 6
1.3.2　並行化的歷史趨勢 8
1.3.3　顯式並行編程的需求 12
1.4　基於模式的結構化編程 15
1.5　並行編程模型 16
1.5.1　理想特徵 16
1.5.2　用抽象代替具體 17
1.5.3　規則數據並行 18
1.5.4　可組合性 21
1.5.5　功能可移植性 21
1.5.6　性能可移植性 22
1.5.7　安全性、確定性和可維護性 22
1.5.8　編程模型概述 23
1.5.9　何時使用模型 28
1.6　本書的結構 29
1.7　小結 29
第2章　背景知識 31
2.1　名詞和符號 31
2.2　策略 31
2.3　機制 33
2.4　計算機模型 35
2.4.1　計算機模型概述 35
2.4.2　影響性能的關鍵因素 39
2.4.3　Flynn分類法 41
2.4.4　革新 42
2.5　性能理論 43
2.5.1　延遲和吞吐量 44
2.5.2　加速比、效率和可擴展性 44
2.5.3　功耗 45
2.5.4　Amdahl定律 46
2.5.5　Gustafson-Barsis定律 48
2.5.6　工作量–跨度模型 49
2.5.7　漸近複雜度 51
2.5.8　漸近加速比和漸近效率 52
2.5.9　Little公式 53
2.6　並行陷阱 54
2.6.1　競態條件 54
2.6.2　互斥和鎖 55
2.6.3　死鎖 56
2.6.4　擴展性抑制 57
2.6.5　局部性不足 57
2.6.6　負載不均衡 58
2.6.7　額外開銷 58
2.7　小結 59
第一部分　模式
第3章　模式概述 62
3.1　嵌套模式 63
3.2　結構化串行控制流模式 64
3.2.1　序列 64
3.2.2　選擇 65
3.2.3　迭代 66
3.2.4　遞歸 68
3.3　並行控制模式 68
3.3.1　Fork-Join 68
3.3.2　映射 68
3.3.3　模板 69
3.3.4　歸約 70
3.3.5　掃描 71
3.3.6　遞推 73
3.4　串行數據管理模式 74
3.4.1　隨機讀寫 74
3.4.2　棧分配 74
3.4.3　堆分配 75
3.4.4　閉包 75
3.4.5　對象 75
3.5　並行數據管理模式 76
3.5.1　打包 76
3.5.2　流水線 76
3.5.3　幾何分解 77
3.5.4　聚合 78
3.5.5　散發 78
3.6　其他並行模式 79
3.6.1　超標量序列 79
3.6.2　期貨 80
3.6.3　投機選擇 80
3.6.4　工作堆 81
3.6.5　搜索 81
3.6.6　切片 81
3.6.7　展開 81
3.6.8　分類歸約 82
3.6.9　項圖重寫 83
3.7　非確定性模式 83
3.7.1　分支限界 83
3.7.2　事務 84
3.8　編程模型對模式的支持 84
3.8.1　Cilk Plus 86
3.8.2　線程構建塊 87
3.8.3　OpenMP 88
3.8.4　陣列構建塊 89
3.8.5　OpenCL 90
3.9　小結 91
第4章　映射 92
4.1　概述 93
4.2　帶縮放係數的向量加法 94
4.2.1　問題描述 94
4.2.2　串行實現 95
4.2.3　TBB實現 96
4.2.4　Cilk Plus實現 96
4.2.5　使用數組符號的Cilk Plus實現 97
4.2.6　OpenMP實現 97
4.2.7　使用向量操作的ArBB實現 97
4.2.8　使用元素函數的ArBB實現 98
4.2.9　OpenCL實現 99
4.3　芒德布羅分形圖 100
4.3.1　問題描述 100
4.3.2　串行實現 100
4.3.3　TBB實現 101
4.3.4　Cilk Plus實現 101
4.3.5　使用數組符號的Cilk Plus實現 101
4.3.6　OpenMP實現 103
4.3.7　ArBB實現 103
4.3.8　OpenCL實現 104
4.4　映射的序列和序列的映射 105
4.5　並行模型的對比 107
4.6　相關模式 107
4.6.1　模板 107
4.6.2　工作堆 108
4.6.3　分治 108
4.7　小結 108
第5章　集合 109
5.1　歸約 109
5.1.1　計算重排序 110
5.1.2　向量化 111
5.1.3　分塊 112
5.1.4　精度 113
5.1.5　實現 113
5.2　映射和歸約的融合 114
5.2.1　TBB中的顯式融合 115
5.2.2　Cilk Plus中的顯式融合 115
5.2.3　ArBB中的自動融合 115
5.3　點積 115
5.3.1　問題描述 115
5.3.2　串行實現 116
5.3.3　SEE內聯函數實現 116
5.3.4　TBB實現 117
5.3.5　Cilk Plus實現 119
5.3.6　OpenMP實現 120
5.3.7　ArBB實現 121
5.4　掃描 122
5.4.1　Cilk Plus 123
5.4.2　TBB 124
5.4.3　ArBB 124
5.4.4　OpenMP 124
5.5　映射和掃描的融合 127
5.6　積分 127
5.6.1　問題描述 128
5.6.2　串行實現 128
5.6.3　Cilk Plus實現 130
5.6.4　OpenMP實現 130
5.6.5　TBB實現 131
5.6.6　ArBB實現 132
5.7　小結 134
第6章　數據重組 135
6.1　聚合 135
6.1.1　常規聚合 135
6.1.2　移位 137
6.1.3　拉合 137
6.2　散發 138
6.2.1　原子散發 139
6.2.2　排列散發 139
6.2.3　歸併散發 139
6.2.4　優先散發 140
6.3　將散發轉換為聚合 140
6.4　打包 141
6.5　映射和打包的融合 142
6.6　幾何分解和分區 143
6.7　結構的數組和數組的結構 145
6.8　小結 148
第7章　模板和遞推 149
7.1　模板 149
7.2　用移位實現模板 151
7.3　針對緩存的分塊式模板 151
7.4　模板通信優化 152
7.5　遞推 153
7.6　小結 155
第8章　Fork-Join