多智能體系統及應用 卷二（簡體書）

智能體與多智能體系統是人工智能領域活躍的研究分支，其涉及的基本研究問題包括合作協調、推理規劃、學習、工具框架、模型等。本書的內容遴選自2015年及2016年度“中國智能體及多智能體系統”研討會的特邀報告，同時收集了部分學者的*新研究進展。全書共計11個專題，每個專題均是智能體領域的重點及熱點問題，分別涉及：多智能體學習、多智能體協調協商、多智能體規劃、多智能體應用框架及工具以及交叉應用基礎問題研究。
本書可供高等院校、科研院所計算機、自動化及相關專業的師生、科技工作者及相關企業的工程技術人員閱讀參考。

1概述
2動機理論
3動機學習
4基于動機的強化學習
5小結
參考文獻

專題2多智能體強化學習中的博弈、均衡和知識遷移胡裕靖，高陽
1緒論
2背景知識
3不共享值函數的多智能體強化學習
4基于均衡遷移的多智能體強化學習
5稀疏交互的多智能體系統中的知識遷移和博弈約簡
6小結
參考文獻

專題3一種基于中介agent的強化學習優化協商方法陳利紅，董紅斌
1引言
2基于強化學習的雙邊多議題優化協商模型
3基于中介agent自適應學習的協調協商
4實驗設計與分析
5小結
參考文獻

專題4多智能體協調技術綜述郝建業
1引言
2固定對手重復博弈
3合作式群體博弈
4非合作式群體博弈
5小結
參考文獻

專題5基于決策理論的多智能體規劃吳鋒
1引言
2分布式局部可觀察馬爾可夫決策過程(DECPOMDP)
3DECPOMDP的離線規劃算法
4DECPOMDP的在線規劃算法
5小結
參考文獻

目錄多智能體系統及應用（卷二）專題6部分可觀察環境中的序貫決策理論及方法研究章宗長
1引言
2部分可觀察馬爾可夫決策過程
3離線規劃方法
4在線規劃方法
5基于覆蓋數的規劃理論
6小結
參考文獻

專題7基于Landmark的啟發式搜索規劃張雷，吳駿，王崇駿
1引言
2STRIPS規劃問題
3STRIPS問題的啟發式函數設計
4多值Landmark規劃
5小結
參考文獻

專題8AutoRobot： 基于多主體系統的自主機器人軟件框架
毛新軍，楊碩，楊森
1引言
2自主機器人及其軟件特點
3機器人軟件技術分析
4基于多主體系統的自主機器人軟件體系結構
5自主機器人軟件框架AutoRobot
6案例分析
7小結
參考文獻專題9計算經濟學與最優機制設計問題唐平中
1計算經濟學簡介
2最優機制設計問題：單件商品
3最優機制設計：多件商品
4小結
參考文獻

專題10基于計算博弈論的出租車服務定價研究甘家瑞，安波
1研究背景與相關工作
2博弈建模
3模型求解——緊湊表達法
4ASM算法——基于元時間表的緊湊表達
5解決任意約束下的問題
6實驗
7小結
參考文獻

專題11云計算中定價機制的研究秦濤
1云計算簡介
2云計算中的定價模型
3市場競爭、演變與定價策略優化
4小結
參考文獻

專題1智能體動機學習
史忠植，馬剛，李建清
中國科學院計算技術研究所智能信息處理重點實驗室，北京 100190摘要動機是直接驅動智能體行為以達到一定目的的內在動力和主觀原因。動機為激活、引導和維護智能體行為隨著時間推移的內部過程。動機觸發多智能體協同工作。本文提出了一種基于環境感知的動機學習算法，也討論了基于動機的強化學習方法。
關鍵詞智能體；強化學習1概述
動機（motivation）是直接驅動智能體行為以達到一定目的的內在動力和主觀原因。動機與激活、引導和維護的行為一樣都是隨著時間變化的內部過程。在文獻\[1\]中穆克（D.G.Mook）簡單地定義動機是“行動的起因”。
1943年，馬斯洛（A.H.Maslow）提出動機的需求理論\[2\]。馬斯洛假定，人的需要，即人的動機順序發生，從最基礎的生理和安全的需要，通過一系列的愛和尊重的需要，發展為自我實現的復雜需求，而需要層次有著巨大的直觀吸引力\[5\]。多年來，人們提出許多動機理論，每種理論都在某種程度上有著不同的關注點。這些理論盡管在許多方面十分不同，但它們都出自相似的考慮，即對行為的喚起、指向和維持，這三點是任何一種動機分析的核心。
格林（R.G.Green）等人將動機理論分為生理、行為和社會的3類\[3\]。梅里克(K.E.Merrick)將動機理論分為4大類，即生物學理論、認知理論、社會理論和組合動機理論\[4\]。生物學動機理論試圖依據自然體系生物學層面的工作過程解釋動機。這些理論的機理經常采用能量和運動方式解釋行為，使得生物體朝向一定行為。現有的人工系統研究已經使用生物學動機理論創建軟件智能體和進行自然系統的模擬。
饑餓和口渴可被看作體內驅動的運動或者標志最佳的喚醒理論，意味著吃喝或者探查是生理狀態監控變化被起動。不過，除發生響應生理的變化之外， 類似饋送和喝水的行為也與這種體內運動有關。由此可見，認知動力理論集中于怎樣確定行為，結果怎樣影響行為和影響到什么程度，根據不同的行動步驟的費用和效益，解釋個人行為將來很可能的結果。基于抽象的機器學習和人工智能概念，例如目標、規劃、策略，動機的認知理論可以為動機計算模型提供一個初始點。
社會動機理論涉及個體與他人接觸過程中的行為。動機的社會理論是生物學和認知理論的交叉。例如采用適合度和文化效應描述認知現象，而進化論可以被認為是生物學社會理論。社會動機理論可以從小組態勢下的個人到更大的社會、文化和進化系統。這些理論為多智能體系統動機計算模型的設計提供重要的初始狀態。
組合動機理論嘗試綜合生物學、認知和社會動機理論，例如，馬斯洛的需求層次學說\[5\]、奧爾德弗的ERG理論\[6\]以及斯塔格納的穩態模型\[7\]。對于人工系統動機綜合模型也是研究的重點，這種模型在硬件、抽象推理和多智能體層面提供描述行為過程的綜合算法。
專題1智能體動機學習多智能體系統及應用（卷二）人的各種行為和活動都離不開動機，動機有下列功能：
 喚起行動的起動功能。就個人來說，他的行動的一切動力，都一定要通過他的頭腦，一定要轉變為他的愿望的動機，才能使他行動起來。
 維持活動達到目標的志向功能。動機一旦引起行為和活動，并能使這種活動具有穩固而完整的內容，使人表現出極大的積極性，朝思暮想，茶飯不香，思維敏捷，能持久而頑強地進行這種活動。
 動機的強化功能。一個人在活動上的成功和失敗的體驗，對他的活動志向有一定的影響。或者說，行為的結果如何，影響著人的動機。由此可知，動機對人的行為起著以正負強化形式出現的調節控制作用。