深度學習與大模型基礎（簡體書）

《深度學習與大模型基礎》以通俗易懂的語言和有趣的插畫來解釋深度學習中的概念和方法, 生動形象的插圖更容易幫助讀者理解和記憶。 同時, 書中指導讀者將自己的理解製作成短視頻, 以加強學習效果。 另外, 書中還指導讀者在 Colab 平臺上進行實踐。
《深度學習與大模型基礎》內容全面, 從基礎的神經網絡、 卷積神經網絡、 循環神經網絡等入門知識, 到深度學習的應用領域如計算機視覺、 自然語言處理等高級主題都有涉及。
《深度學習與大模型基礎》具有豐富的趣味性、 互動性和實踐性, 可以幫助讀者更好地理解深度學習知識, 並為未來的職業發展打下堅實的基礎。

段小手，曾供職於百度、敦煌網、慧聰網、方正集團等知名IT企業。有多年的科技項目管理及開發經驗。負責的項目曾獲得“國家發改委電子商務示範項目”“中關村現代服務業試點項目”“北京市信息化基礎設施提升專項”“北京市外貿公共服務平臺”等多項政策支持。著有《用ChatGPT輕鬆玩轉機器學習與深度學習》《深入淺出Python量化交易實戰》等著作，在與云南省公安廳合作期間，使用機器學習算法有效將某類案件發案率大幅降低。

1.打破傳統說教，通過互動式學習加深理解。
2.有趣的AI插畫輔助學習，增添學習興趣。
3.創新的【原理輸出】和【實操練習】，助力學與練。
4.借助ChatGPT，點燃學習熱情，解鎖人工智能與大規模語言模型精髓。

深度學習是一個既令人著迷又略顯神秘的領域, 它涉及數學、 機器學習、 人工智能和大量的數據, 並改變著我們的世界。 盡管聽起來複雜, 但它並不是一座高不可攀的山峰, 本書將作為你的向導, 幫助你每一步都邁得穩當且有趣。
這本書將用通俗易懂的語言探討深度學習的核心概念。 我們將揭開數學的神秘面紗, 解釋機器學習的基礎知識, 然後深入研究深度學習的工作原理; 我們還將了解神經網絡是如何模擬人腦工作的, 以及它如何在圖像識別、 自然語言處理等領域大放異彩。
為了幫助你更好地理解這些概念, 我們將使用有趣的插畫來說明抽象的知識。 這些插畫將使複雜的概念變得鮮活和易於理解, 就像魔法一樣。
而當我們深入討論大語言模型時, 你將了解到它如何在自然語言生成、 智能助手和內容創作方面發揮關鍵作用。 你將明白這類模型如何理解並生成人類語言, 以及如何在各行各業中引領技術的創新浪潮。
在這個信息爆炸的時代, 深度學習是我們理解、 處理和利用數據的強大工具之一。 它已經在醫療診斷、 自動駕駛汽車、 語音識別、 虛擬現實等眾多領域取得了驚人的突破, 而
這僅僅是開始。 讓我們一起啟程, 開始這段探索之旅吧。 在這個旅程中, 本書將始終在你 身邊, 為你破解難題, 激發靈感, 讓你深入了解深度學習的精髓。
深度學習的精髓在於它的學習方式, 它能夠從數據中提取規律和特徵, 然後做出智能決策。 這種學習方式是受人類大腦的啟發, 但卻比我們的大腦更快、 更強大。 通過本書, 你將深入了解這種令人驚嘆的學習機制, 以及它如何塑造了我們的數字時代。
深度學習也是一個充滿活力和創新的領域。 每一天, 都有新的發現和應用不斷涌現, 創造出改變世界的機會。 作為讀者, 你將有機會深入參與到這一變革之中, 不僅可以應用深度學習解決實際問題, 還可以成為創新的推動者。
本書努力使複雜的概念變得清晰易懂, 使抽象的數學變得有趣。 無論你是一位學生、一位教育者、 一位科技愛好者, 還是一位企業家, 你都能從中受益, 深刻理解深度學習的精髓, 將其應用到你的領域。
如何使用本書進行練習
為了幫助讀者更好地理解本書涉及的原理, 並且能夠動手進行代碼的實操練習, 本書會在每個知識點後安排 【原理輸出】 和 【實操練習】 環節。 【原理輸出】 的主要目的是, 讓讀者可以在 ChatGPT 的幫助下, 反復理解知識點的原理———這樣可以進一步加深大家的印象; 而 【實操練習】 這個環節, 可以讓大家自己動手運行 Python 代碼, 這有助於大家在理解原理的同時, 學會如何用代碼進行實現。

第 1 章 緒 論
1. 1 深度學習的前世今生
1. 2 模型複雜度的提升
1. 3 深度學習的名人軼事
第 2 章 深度學習中的線性代數
2. 1 標量、 向量、 矩陣與張量
2. 2 矩陣的運算
2. 3 單位矩陣與逆矩陣
2. 4 線性相關、 生成子空間和範數
2. 5 一些特殊類型的矩陣
2. 6 特徵分解
2. 7 奇異值分解
2. 8 Moore-Penrose 偽逆
2. 9 跡運算
2. 10 行列式
2. 11 例子: 主成分分析
第 3 章 概率與信息論
3. 1 為什麼要使用概率
3. 2 隨機變量
3. 3 概率分布
3. 4 邊緣概率
3. 5 條件概率
3. 6 條件概率的鏈式法則
3. 7 條件獨立性
3. 8 期望、 方差和協方差
3. 9 常用概率分布
3. 10 常用函數及性質
3. 11 貝葉斯規則
3. 12 信息論中的交叉熵
3. 13 結構化概率模型
第 4 章 數值計算
4. 1 上溢和下溢
4. 2 病態條件
4. 3 基於梯度的優化方法
4. 4 約束優化
4. 5 實例: 線性最小二乘
第 5 章 機器學習基礎
5. 1 什麼是機器學習算法
5. 2 模型性能的度量
5. 3 過擬合與欠擬合
5. 4 超參數和交叉驗證
5. 5 最大似然估計
5. 6 什麼是隨機梯度下降
5. 7 貝葉斯統計
5. 8 監督學習算法
5. 9 無監督學習算法
5. 10 促使深度學習發展的挑戰
第 6 章 深度前饋網絡
6. 1 什麼是 “前饋”
6. 2 隱藏層
6. 3 輸出單元
6. 4 萬能近似性質
6. 5 反向傳播
第 7 章 深度學習中的正則化
7. 1 參數範數懲罰
7. 2 數據集增強
7. 3 噪聲魯棒性
7. 4 半監督學習
7. 5 多任務學習
7. 6 提前終止
7. 7 參數綁定和參數共享
7. 8 稀疏表示
7. 9 Bagging 和其他集成方法
7. 10 Dropout
7. 11 對抗訓練
第 8 章 深度模型中的優化
8. 1 學習和純優化有什麼不同
8. 2 小批量算法
8. 3 基本算法
8. 4 參數初始化策略
8. 5 自適應學習率算法
8. 6 二階近似方法
8. 7 一些優化策略
第 9 章 卷積神經網絡
9. 1 卷積運算
9. 2 為什麼要使用卷積運算
9. 3 池化
9. 4 基本卷積函數的變體
9. 5 卷積核的初始化
第 10 章 循環神經網絡
10. 1 展開計算圖
10. 2 循環神經網絡
10. 3 雙向 RNN
10. 4 基於編碼-解碼的序列到序列架構
10. 5 深度循環網絡
10. 6 遞歸神經網絡
10. 7 長短期記憶網絡
10. 8 門控循環單元
10. 9 截斷梯度
第 11 章 實踐方法論
11. 1 設計流程
11. 2 更多的性能度量方法
11. 3 默認的基準模型
11. 4 要不要收集更多數據
11. 5 超參數的調節
11. 6 模型調試的重要性
第 12 章 應 用
12. 1 大規模深度學習
12. 2 計算機視覺中的預處理
12. 3 語音識別
12. 4 自然語言處理
12. 5 推薦系統
12. 6 知識問答系統
第 13 章 初識大語言模型
13. 1 大語言模型的背景
13. 2 大語言模型的重要性
13. 3 大語言模型的應用場景
13. 4 大語言模型和傳統方法的區別
第 14 章 大語言模型原理
14. 1 Transformer 架構
14. 2 預訓練
14. 3 微調
14. 4 自回歸訓練
14. 5 掩碼語言模型
第 15 章 常見的大語言模型
15. 1 GPT 系列模型
15. 2 BERT
15. 3 XLNet
第 16 章 大語言模型應用———自然語言生成
16. 1 自動文本生成
16. 2 對話系統和聊天機器人
16. 3 代碼和技術文檔生成
16. 4 創意內容生成
16. 5 國產優秀大語言模型———文心一言
16. 6 國產優秀大語言模型———訊飛星火認知大模型
後 記