神經機器翻譯融合系統（簡體書）

1947年，美國洛克菲勒基金會自然科學部主任華倫韋弗提出把現代計算機用於語言翻譯，機器翻澤的概念山此誕生。機器翻澤經歷了開創期（1947～1964年）、受挫期（1965～1975年）、恢復期（1976～1989年）及新時期（1990年至今），期間有很多機器翻譯系統上線，如百度和谷歌的在線翻譯系統等，它們正朝著更加實用化的方向發展。機器翻譯系統的發展過程受語言學、哲學、認識學和機器學習方法的影響。神經機器翻譯系統作為一種最新的翻澤技術，借鑒了機器學習的深度學習技術，並超過了傳統的機器翻譯技術，不用再做很多工作才能進行解碼，而是把這些過程建模在一起，使得系統更加簡單、實現口標明確。融合技術使得不同神經翻譯系統間可以在翻譯過程中互相借鑒翻譯知識，互相提高性能。
本書提出了深度遞歸的層次化翻譯模型使用層次化的思想，探索了神經機器翻譯；機器翻譯遷移模型使用遷移學習對機器翻譯融合進行建模，更好地理解機器翻譯融合的過程；大規模特征深度融合網絡使用大規模特征，進一步提高翻譯性能；多領域非參貝葉斯短語歸納使用非參貝葉斯的方法進行建模和短語抽取；大規模異領域深度遷移網絡使用領域遷移技術進行領域間融合。
第1章是概述，主要介紹了機器翻譯的發展歷史、重要發展的標志性成果以及與機器翻譯相關的技術和資源。
第2章是機器翻譯遷移模型，主要是從機器學習角度對機器翻譯進行定義，從機器學習的角度回答了幾個方面的問題：如何從大規模數據中抽取出特征，來表示大規模數據？如何開發有效的算法，既滿足口標函數又克服大規模特征所帶來的數據稀疏問題？這些特征對於訓練性能有哪些影響？如何使得算法高效的運行？
第3章是深度遞歸的層次化翻譯模型。使用層次化的思想對源語言到口標語占翻譯過程進行建模，使用自編碼器對源和日標重構，無監督的生成語義向量表示，有監督把源和目標向量相似度作為訓練目標。在訓練過程中，和原有層次化翻譯過程連接起來，更好地捕捉結構化翻譯過程；使用對齊信息指導深度網絡訓練，在語義向量獲取中可以考慮到這種隱藏變量信息；在解碼過程中，使用了單雙語語義特征及單雙語敏感性特征來提高翻譯性能。
第4章是大規模特征深度融合網絡。由於原機器翻譯技術中只使用了稠密特征，表現能力有限，因此引入了稀疏特征，改進了原有迭代神經網絡，建立了適合於不同翻譯模型的深度神經網絡。以翻譯模型解碼過程中推導樹作為指導，遞歸融合兩種模型的稠密和稀疏特征，不僅適合於系統融合，也適合於領域自適應；在原有循環神經網絡基礎一L增加了自編碼部分，並利用詞對齊信息指導訓練過程，在訓練後進行統計得到短語/規則對語義嵌入；采用了兩種經典的機器翻譯模型形式進行了驗證。
第5章是多領域非參貝葉斯短語歸納。使用非參貝葉斯短語歸納的方法，並推廣到了多個領域，實現了領域間的融合。相對於傳統啟發式短語歸納方法來說，非參貝葉斯模型能夠抽取更加準確和簡潔的短語表，且不需要進行模刑選擇。這種把對齊和短語抽取聯合建模的思想會克服對齊錯誤傳播到短語抽取。相對於每個領域來說，采用層次化狄利克雷過程對於不含對齊信息的雙語句子進行建模，這種層次化思想符合短語歸納的層次化過程，且上一層為下一層提供了先驗信息。
第6章是大規模異領域深度遷移網絡。在不同領域中使用深度神經網絡進行融合，使得領域間的知識可以相互影響。在不同領域特征深度遷移網絡框架下，編碼器和解碼器中都用了門神經網絡進行建模，這樣可以自適應地捕捉上下文信息，實驗結果也說明了門機制在深度遷移網絡中的有效性；在該網絡訓練過程中，利用了機器翻譯中稠密和大規模特征，把這些特征和神經網絡建模在一起以提高實驗性能。雖然神經網絡翻譯模型對於翻譯特性進行建模，但還不夠。在機器翻譯訓練過程中稠密特征只考慮到整個翻譯過程，而大規模特征可以考慮到每個翻譯部分，是稠密特征的有益補允。
本書由劉宇鵬撰寫。作者一直在機器翻譯領域耕耘，希望可以幫助對機器翻譯技術感興趣的人員。
由於作者水平有限，書中不足之處在所難免，希望讀者批評指正。

第1章 概述
1．1 機器翻譯的發展歷程
1．2 自然文本的基本組成
1．2．1 詞
1．2．2 句子
1．2．3 篇章
1．3 詞典的建設
1．4 語料庫的建設
1．4．1 文本的類型
1．4．2 平行語料庫
1．4．3 句對齊
1．5 機器翻譯的基本方法
1．5．1 基於規則的機器翻譯
1．5．2 基於數據的機器翻譯
1．5．3 融合的機器翻譯系統
1．6 機器翻譯的評測
1．6．1 基於距離的評價
1．6．2 基於精度的評價
1．6．3 基於召回率的評價
1．6．4 結合詞義和句法信息的評價
1．6．5 統計顯著性檢驗
1．7 可用的資源

第2章 機器翻譯遷移模型
2．1 機器翻譯學習過程建模
2．2 大規模特征集訓練
2．3 遷移學習及在機器翻譯中的應用
2．4 本章小結
本章參考文獻

第3章 深度遞歸的層次化翻譯模型
3．1 模型描述
3．1．1 系統框架
3．1．2 語義向量
3．1．3 訓練算法
3．1．4 解碼整合和特征權重訓練
3．2 實驗與分析
3．2．1 神經網絡超參和SMT沒置
3．2．2 不同部分的影響
3．3 本章小結
本章參考文獻

第4章 大規模特征深度融合網絡
4．1 短語／規則對語義嵌入
4．1．1 語義嵌入模型
4．1．2 參數估計
4．2 大規模特征深度融合
4．2．1 單系統深度模型
4．2．2 大規模特征融合方法
4．2．3 參數訓練
4．3 實驗與分析
4．3．1 神經網絡超參和SMT設置
4．3．2 性能比較
4．4 本章小結
本章參考文獻
……

第5章 多領域非參貝葉斯短語歸納
第6章 大規模異領域深度遷移網絡
第7章 篇章神經翻譯模型

名詞索引