PyTorch編程技術與深度學習（簡體書）

《PyTorch編程技術與深度學習》講述深度學習的基本原理，使用PyTorch展示涉及的深度學習算法。通過理論講解和編程操作，使讀者了解並掌握深度學習的原理和PyTorch編程技能，拉近理論與實踐的距離。全書共分9章，主要內容包括PyTorch介紹、PyTorch基礎編程、深度學習快速入門、神經網絡訓練與優化、卷積神經網絡原理、卷積神經網絡示例、詞嵌入模型、循環神經網絡原理、NLP示例。書中不但涵蓋成熟的卷積神經網絡和循環神經網絡的原理和示例，還包含一些新的如Transformer和知識蒸餾的內容。全書源代碼全部在Python 3.7.4 + PyTorch 1.9.0版本上調試成功。

《PyTorch編程技術與深度學習》適合深度學習和PyTorch編程人員作為入門和提高的技術參考書使用，也適合用作計算機專業高年級本科生和研究生的教材或教學參考書。

袁梅宇，工學博士，碩士導師，現在昆明理工大學計算機系任教。為本科生和研究生主講軟件工程、Java程序設計、Java EE技術、數據庫原理、機器學習、人工智能等多門核心課程。第一作者專著有《Java EE企業級編程開發實例詳解》《數據挖掘與機器學習——WEKA應用技術與實踐》《數據挖掘與機器學習——WEKA應用技術與實踐（第二版）》《求精要訣——Java EE編程開發案例精講》《機器學習基礎——原理算法與實踐》。

深度學習是機器學習中最激動人心的領域，深度學習算法工程師、圖像視覺工程師和自然語言處理工程師逐漸成為報酬較高的新興職業，各行各業都在尋求具備深度學習理論知識和實際編程技能的人才。只有具備深度學習相關理論和實踐技能才更有可能在上述新興職業中獲得成功，但是學習和掌握神經網絡、卷積神經網絡、循環神經網絡等深度學習理論具有一定的難度，而掌握PyTorch等深度學習工具更顯得困難，因此擁有一本容易上手的深度學習入門書籍肯定會對初學者有很大的幫助，本書就是專門為初學者精心編寫的。

初學者探究深度學習理論與PyTorch編程技術一般都會面臨兩大障礙。第一大障礙是深度學習理論基礎，深度學習包含了很多需要掌握的基本概念，如神經元、全連接、Dropout、權重初始化、優化算法、卷積神經網絡、卷積層和池化層、殘差網絡、Inception網絡、遷移學習、知識蒸餾、循環神經網絡、LSTM、GRU、雙向循環神經網絡、詞嵌入、Word2Vec、GloVe、注意力機制、Transformer等，學習和理解這些概念需要花費大量的時間和精力，學習周期漫長。第二大障礙是編程實踐，PyTorch是一個非常龐大的開源平臺，擁有一個包含各種工具、庫和社區資源的良好生態系統，要在短時間內掌握這些編程技能較為困難，並且由於人工智能領域發展異常迅猛，新技術、新方法層出不窮，PyTorch的API也在不斷進化發展，這使得PyTorch開發人員在應用中總會遇到新問題，需要與時俱進，不斷學習。

本書就是為了讓初學者順利入門而設計的。首先，本書講述深度學習的基本原理，讓讀者了解基本的深度學習算法之後，通過實踐來解決經典問題，逐步過渡到解決實際問題。其次，本書精心設計了一些構建深度網絡的案例，讀者能親身體會如何將深度學習理論應用到實際中，加深對深度學習算法的理解和編程能力的提高，逐步掌握深度學習的原理和編程技能，拉近理論與實踐的距離。

本書共分9章。第1章介紹深度學習和PyTorch的基本概念、PyTorch的安裝和常用數據集；第2章為PyTorch基礎編程，主要內容包括張量數據操作、自動求導、數據集API、torchvision工具示例和torchtext工具示例；第3章為深度學習快速入門，主要內容包括線性回歸、使用nn模塊構建線性回歸模型、邏輯回歸、Softmax回歸、神經網絡的基本概念以及PyTorch實現；第4章為神經網絡訓練與優化，主要內容包括神經網絡迭代概念、正則化方法、優化算法和PyTorch的初始化函數；第5章為卷積神經網絡原理，主要內容包括CNN的基本概念、簡單的CNN網絡和PyTorch實現LeNet-5網絡；第6章為卷積神經網絡示例，主要內容包括經典CNN網絡、使用預訓練的CNN、知識蒸餾，以及CNN可視化；第7章為詞嵌入模型，主要內容包括詞嵌入模型介紹、詞嵌入學習，以及Word2Vec算法實現；第8章為循環神經網絡原理，主要內容包括RNN介紹、基本RNN模型、LSTM、GRU、注意力機制、Transformer模型原理及PyTorch實現；第9章為NLP示例，主要內容包括情感分析、語言模型，以及文本序列數據生成。

由於深度學習軟件更新很快，新開發的代碼在舊版本環境下不一定能夠兼容運行，為便於讀者參考，在此列出本書代碼的開發調試環境，即Python 3.7.4、PyTorch 1.9.0、conda 4.10.3、numpy 1.19.2、torchvision 0.10.0、torchtext 0.10.0、gensim 4.0.1、spacy 2.3.7。此外，本書配套源代碼讀者可通過掃描右側的二維碼下載使用。

作者在寫作中付出很多努力和勞動，但限於作者的學識、能力和精力，書中難免會存在一些疏漏或缺陷，敬請各位讀者批評指正。感謝昆明理工大學提供的研究和寫作環境。感謝清華大學出版社的編輯老師在出版方面提出的建設性意見和給予的無私幫助，沒有他們的大力支持、幫助和鼓勵，本書不一定能夠面世。感謝讀者群的一些未見面的群友，他們對作者以前的著作提出寶貴的建議並鼓勵作者撰寫更多更好的技術書籍，雖然我無法一一列舉姓名，但他們的幫助我會一直銘記在心。感謝購買本書的朋友，歡迎批評指正，你們的批評和建議都會受到重視，並在將來再版中改進。

編 者