智能計算系統（簡體書）

本書通過一個貫穿始終的應用案例――圖像風格遷移，全面系統地介紹智能計算系統的軟硬件技術棧。首先概述人工智能和智能計算系統（第1章）；接下來介紹完成應用所必要的神經網絡和深度學習算法知識（第2、3章）；然後介紹支撐算法在智能芯片上運行的編程框架（第4、5章）；再往下是智能芯片，即引導學生設計一款滿足圖像風格遷移應用需求的深度學習處理器（第6、7章）；接下來介紹如何利用智能編程語言BCL提升編寫智能算法的生產效率（第8章）；最後以具體實驗把所學知識點串聯起來，打通知識結構的“任督二脈”（第9章）。

《智能計算系統》由深度學習處理器芯片研究的開拓者陳雲霽領銜，中科院計算所、軟件所的專家學者傾心寫就。智能領域系統能力培養大成之作！
領銜作者陳雲霽帶領的團隊曾研製了國際上首個深度學習處理器芯片“寒武紀1號”，本書凝聚了作者團隊多年的科研和教學成果，是前沿研究與技術實踐結合，快速提升智能領域系統能力的教材和技術參考書。

序言一

序言二

前 言第1章 概述1

1.1 人工智能1

1.1.1 什麼是人工智能1

1.1.2 人工智能的發展歷史1

1.1.3 人工智能的主要方法4

1.2 智能計算系統8

1.2.1 什麼是智能計算系統8

1.2.2 為什麼需要智能計算系統8

1.2.3 智能計算系統的發展8

1.3 驅動範例11

1.4 本章小結13

習題13

第2章 神經網絡基礎14

2.1 從機器學習到神經網絡14

2.1.1 基本概念14

2.1.2 線性回歸15

2.1.3 感知機17

2.1.4 兩層神經網絡――多層感知機19

2.1.5 深度學習（深層神經網絡）20

2.1.6 神經網絡發展歷程21

2.2 神經網絡訓練23

2.2.1 正向傳播24

2.2.2 反向傳播25

2.3 神經網絡設計原則27

2.3.1 網絡的拓撲結構27

2.3.2 激活函數27

2.3.3 損失函數30

2.4 過擬合與正則化32

2.4.1 過擬合33

2.4.2 正則化34

2.5 交叉驗證37

2.6 本章小結39

習題39

第3章 深度學習41

3.1 適合圖像處理的卷積神經網絡41

3.1.1 卷積神經網絡的組成42

3.1.2 卷積層43

3.1.3 池化層48

3.1.4 全連接層49

3.1.5 softmax層50

3.1.6 卷積神經網絡總體結構50

3.2 基於卷積神經網絡的圖像分類算法52

3.2.1 AlexNet53

3.2.2 VGG56

3.2.3 Inception59

3.2.4 ResNet66

3.3 基於卷積神經網絡的圖像目標檢測算法69

3.3.1 評價指標69

3.3.2 RCNN系列72

3.3.3 YOLO78

3.3.4 SSD81

3.3.5 小結83

3.4 序列模型：循環神經網絡83

3.4.1 RNN84

3.4.2 LSTM88

3.4.3 GRU89

3.4.4 小結90

3.5 生成對抗網絡91

3.5.1 模型組成91

3.5.2 GAN訓練92

3.5.3 GAN結構94

3.6 驅動範例96

3.6.1 基於卷積神經網絡的圖像風格遷移算法96

3.6.2 實時圖像風格遷移算法98

3.7 本章小結100

習題100

第4章 編程框架使用101

4.1 為什麼需要編程框架101

4.2 編程框架概述102

4.2.1 通用編程框架概述102

4.2.2 TensorFlow概述102

4.3 TensorFlow編程模型及基本用法103

4.3.1 計算圖104

4.3.2 操作105

4.3.3 張量106

4.3.4 會話110

4.3.5 變量114

4.3.6 占位符116

4.3.7 隊列117

4.4 基於TensorFlow實現深度學習預測117

4.4.1 讀取輸入樣本118

4.4.2 定義基本運算單元118

4.4.3 創建神經網絡模型122

4.4.4 計算神經網絡模型輸出123

4.5 基於TensorFlow實現深度學習訓練123

4.5.1 加載數據123

4.5.2 模型訓練129

4.5.3 模型保存135

4.5.4 圖像風格遷移訓練的實現137

4.6 本章小結139

習題139

第5章 編程框架機理141

5.1 TensorFlow設計原則141

5.1.1 高性能141

5.1.2 易開發142

5.1.3 可移植142

5.2 TensorFlow計算圖機制142

5.2.1 一切都是計算圖143

5.2.2 計算圖本地執行150

5.2.3 計算圖分布式執行154

5.3 TensorFlow系統實現155

5.3.1 整體架構155

5.3.2 計算圖執行模塊156

5.3.3 設備抽象和管理161

5.3.4 網絡和通信162

5.3.5 算子實現167

5.4 編程框架對比169

5.4.1 TensorFlow170

5.4.2 PyTorch171

5.4.3 MXNet171

5.4.4 Caffe172

5.5 本章小結172

習題172

第6章 深度學習處理器原理174

6.1 深度學習處理器概述174

6.1.1 深度學習處理器的意義174

6.1.2 深度學習處理器的發展歷史175

6.1.3 設計思路177

6.2 目標算法分析178

6.2.1 計算特徵178

6.2.2 訪存特徵181

6.3 深度學習處理器DLP結構186

6.3.1 指令集186

6.3.2 流水線190

6.3.3 運算部件190

6.3.4 訪存部件193

6.3.5 算法到芯片的映射194

6.3.6 小結195

6.4 優化設計195

6.4.1 基於標量MAC的運算部件195

6.4.2 稀疏化198

6.4.3 低位寬199

6.5 性能評價201

6.5.1 性能指標201

6.5.2 測試基準程序202

6.5.3 影響性能的因素203

6.6 其他加速器203

6.6.1 GPU架構簡述204

6.6.2 FPGA架構簡述204

6.6.3 DLP與GPU、FPGA的對比205

6.7 本章小結206

習題206

第7章 深度學習處理器架構207

7.1 單核深度學習處理器207

7.1.1 總體架構208

7.1.2 控制模塊209

7.1.3 運算模塊212

7.1.4 存儲單元215

7.1.5 小結215

7.2 多核深度學習處理器216

7.2.1 總體架構216

7.2.2 Cluster架構217

7.2.3 互聯架構223

7.2.4 小結224

7.3 本章小結225

習題225

第8章 智能編程語言227

8.1 為什麼需要智能編程語言227

8.1.1 語義鴻溝228

8.1.2 硬件鴻溝230

8.1.3 平臺鴻溝232

8.1.4 小結233

8.2 智能計算系統抽象架構234

8.2.1 抽象硬件架構234

8.2.2 典型智能計算系統235

8.2.3 控制模型236

8.2.4 計算模型236

8.2.5 存儲模型237

8.3 智能編程模型238

8.3.1 異構編程模型239

8.3.2 通用智能編程模型242

8.4 智能編程語言基礎247

8.4.1 語法概述247

8.4.2 數據類型248

8.4.3 宏、常量與內置變量250

8.4.4 I/O操作語句250

8.4.5 標量計算語句252

8.4.6 張量計算語句252

8.4.7 控制流語句252

8.4.8 串行程序示例253

8.4.9 並行程序示例254

8.5 智能應用編程接口255

8.5.1 Kernel函數接口255

8.5.2 運行時接口257

8.5.3 使用示例259

8.6 智能應用功能調試262

8.6.1 功能調試方法262

8.6.2 功能調試接口266

8.6.3 功能調試工具269

8.6.4 精度調試方法272

8.6.5 功能調試實踐272

8.7 智能應用性能調優280

8.7.1 性能調優方法280

8.7.2 性能調優接口282

8.7.3 性能調優工具286

8.7.4 性能調優實踐287

8.8 基於智能編程語言的系統開發294

8.8.1 高性能庫算子開發294

8.8.2 編程框架算子開發300

8.8.3 系統開發與優化實踐304

習題321

第9章 實驗323

9.1 基礎實驗：圖像風格遷移323

9.1.1 基於智能編程語言的算子實現323

9.1.2 圖像風格遷移的實現326

9.1.3 風格遷移實驗的操作步驟330

9.2 拓展實驗：物體檢測333

9.2.1 基於智能編程語言的算子實現333

9.2.2 物體檢測的實現337

9.3 拓展練習337

附錄A 計算機體系結構基礎340

附錄B 實驗環境說明345

參考文獻348

後記356