超智慧：出現途徑、可能危機，與我們的因應對策

★《紐約時報》暢銷書
★比爾蓋茲說：「我極力推薦本書」
★《周日電訊報》：「實在重量級讀物。」

不斷透過嘗試錯誤、累積內容、改善自身設計的人工智慧，
在反覆提升自己的過程中，不斷設計出更聰明的自己，
最終是否可能出現智慧爆發，產生超越人類的超智慧？
我們所創造的，是否最終會毀滅我們？

人腦擁有其他動物所缺乏的能力。因為這些獨特能力，我們在地球上居主宰地位。其他動物有更強的肌肉或更尖利的爪子，但我們有更聰明的頭腦。我們在常態智慧上的優勢，讓我們發展了語言、技術和複雜的社會組織。但如果有一天我們打造了常態智慧上超越人腦的機器腦，那麼這個全新的超智慧就會變得十分強大。就如猩猩的命運如今多半操之於我們人類，而非牠們自己手中一樣，我們的命運接著也將操之於機器超智慧之行動。
但我們有一個優勢，就是我們可以先發制人。因為它們是我們所創造的東西，因此我們可以打造出一種能保護人類價值的超智慧，來控制超智慧的行徑，好讓人類在這場智慧爆炸下仍能存活。但，我們該如何達成一場可控制的爆發？
本書作者尼克．伯斯特隆姆從當前人工智慧研究取徑和現況中，找出可能達成超智慧的途徑，包括人工智慧、全腦仿真、生物認知、腦機介面、網路和組織的強化，並帶領我們思考，這樣一個超智慧一旦出現，可能會如何行動，以及它的行動是否會對我們的生存造成威脅，而我們是否有方法在它變成超智慧之前，該如何做好能力控制和動機選擇。
身為牛津大學哲學系教授，作者特別強調強調動機選擇的關鍵性，但要植入哪一種價值的決定，有非常深遠的影響；而人類的價值又如何能轉譯成人工智慧所能理解的形式語言。這些都是嚴峻的挑戰。作者從頭到尾都謹慎地為人類尋找出路，儘管對非專業讀者來說，偶爾出現的數學和專有名詞可能會讓人望而生畏，但其實不用擔心，因為總是可以周圍的解釋拼湊出主要論點。
在這本極具創見的書中，呈現了超智慧的前景和面臨的挑戰，以及我們該如何應對。這可能是人類有史以來要面對的最重要、最艱難挑戰。

尼克．伯斯特隆姆
牛津大學哲學系教授，以及牛津馬丁學院的人類未來研究所創所所長、未來科技影響研究計畫創辦主任。
他著有約兩百篇出版品，包括《人類偏誤》（Routledge，2002）、《全球災難風險》（編輯，牛津大學出版社，2008）以及《人類增強》（編輯，牛津大學出版社，2009）。他過去曾於耶魯大學任教，且是英國國家學術院的博士後研究。伯斯特隆姆有物理、計算神經科學、數學邏輯與哲學的學術背景。

˙這本由全球思路頂尖清晰的思考者所作的傑出分析，處理了人類最大的一個挑戰：如果未來的超人工智慧成為人類史上最重大的事件，那麼我們要怎麼確保那不會是最後一件事？──麥斯．泰德馬克（Max Tegmark），麻省理工學院物理學教授

˙每個聰明人都該讀。──尼爾斯．尼爾松（Nils Nilsson），人工智慧先驅，史丹佛大學

˙尼克．伯斯特隆姆提出很有說服力的理由，說明人工智慧未來的影響可能是人類至今所要面對的最重要問題。超智慧用前所未有的詳細度，標示了未來底下潛藏的暗礁。它也標記了新時代的開端。──史都華．羅素（Stuart Russell），加州大學柏克萊分校電腦科學教授

˙那些傾向於將「人工智慧接管世界」當作科幻而忽視的人，在看過這本獨創而論理充分的書之後，可能要重新思考一下。──馬丁．里斯（Martin Rees），前皇家學會會長

˙值得一讀……面對人工智慧我們得極其小心。──伊隆．馬斯克（Elon musk），太空科技探索公司與特斯拉汽車創辦人

˙有價值。把第二種智慧物種引入世上的影響是如此地深遠，因而值得努力思考。──《經濟學人》

˙（伯斯特隆姆）論點的力量是毋庸置疑的……這難題值得下一世代最優秀的數學才能進行研究挑戰。人類文明正在危機邊緣。──克萊夫．庫克森（Clive Cookson），《金融時報》

˙十分重要……見地獨創……判斷極其精準且內容明晰，使他（伯斯特隆姆）能將自己橫跨極廣光譜的學門──工程、自然科學、醫學、社會科學和哲學──所得到的廣泛知識一以融會貫通……如果本書得到了應有的待遇，那它最終將可成為繼1962年瑞秋．卡森的《寂靜的春天》之後，甚至有史以來最重要的警鐘。──奧勒．哈格斯特羅姆（Olle Häggström），數理統計學教授

第一章 人工智慧過往發展與當今能力
第二章 邁向超智能的途徑
第三章 超級能的形式
第四章 智慧爆發的動力學
第五章 關鍵策略優勢
第六章 認知超級能力
第七章 超智慧的意志
第八章 預設的結果是否為滅亡？
第九章 控制難題
第十章 先知、精靈、君王、工具
第十一章 多極情境
第十二章 獲得價值
第十三章 選擇「選擇準則」
第十四章 策略景況
第十五章 緊要關頭

第一章 人工智慧過往發展與當今能力
成長模式和大歷史
不過幾百萬年前，我們的祖先還在非洲的樹蔭下盪來盪去。不管是在地理甚至演化的時間尺度上，智人（Homo sapiens）這物種從與黑猩猩的最後共同祖先分支出來，發生得都十分突然。我們發展出直立站姿、對生拇指，以及最關鍵的──相比之下變化較小的腦部尺寸和神經組織，卻使認知能力大為躍進。結果導致人類可以抽象思考、溝通複雜思想，並透過文化一代代累積情報，效果遠比地球上任何物種都來得好。
這些能力讓人類發展出愈來有效率的生產技術，讓我們的祖先能夠遠遠遷離雨林和草原。尤其在開展農業後，總人口增加的同時也提高了人口密度。人愈多想法就愈多；更大的密度，代表想法更容易流通，使得某些人能投身研發專業技能。這些發展增進了經濟生產和技術能力的成長率。日後與工業革命相關的發展，再一次帶來了不遑多讓的成長率劇變。
成長率的變化結果十分重大。幾十萬年前，早期人類（或原始人）的成長率實在太低，其生產力大約要花上一百萬年，才能再多讓一百萬人足以維持生存水平。到了西元前5000年，在農業革命後的成長率，要達到同樣的成長量只需兩百年。如今，在工業革命後，全球經濟成長平均每九十分鐘就可以達成同樣生產量。
即使長久維持現在的成長率，都可以產生可觀的結果；若全球經濟持續以過去五十年的速度成長，那麼到了2050年，全球將比現在富有4.8倍，而在2100年更會達到34倍。
但如果全世界經歷另一場規模堪比農業革命和工業革命的成長率劇變，持續穩定指數成長的前景與其相比，也將相形見拙。經濟學家羅賓．韓森（Robin Hanson）根據歷史上的經濟和人口資料估計，全球經濟倍增所需的時間，若以一個更新世的獵人採集社會來算的話，需要22萬4千年；以農業社會來算是909年；以工業社會來算，則是6.3年。（在韓森的模型中，當代是農業與工業成長模式的混合體──全球整體的經濟尚未以每6.3年翻一倍的速度成長。）如果真能轉型至下一個全新的成長模式，且其規模接近前兩次的改變，其產生的全球經濟成長模式將以每兩星期一次的速度倍增。
以現在的眼光來看，這樣的成長簡直不可思議。但過往的觀察家可能也說過「未來的全球經濟在人一輩子中會翻倍數次」，這種推測簡直不可理喻。然而，這卻是我們現在習以為常的狀態。
「將要來到的技術奇點」這種想法，以韋那．文吉（Vernor Vinge）開創性的論文為始，藉著雷．克茲威爾（Ray Kurzweil）等人的接續著述，如今已廣為人知。然而，人們卻不明就裡地以各種字面意義使用著「技術奇點」一詞，而打造了一股有著「技術烏托邦」意味的邪惡（但幾乎有如千禧年主義的）光環。既然這些字面意義或意涵，都和我們的論點不相干，那麼以更精準的術語來取代「技術奇點」一詞，應該有助於釐清事實。
關於「技術奇點」的想法在此值得一提的地方，在於指出智慧爆炸的可能性，特別是機器超智慧的前景。也許有些人會被圖一那種指出「下一場不亞於農業革命或工業革命的成長模式劇變，很可能發生」的成長圖所說服。但這些傢伙接下來可能就會想說，全球經濟會如果只要幾星期就成長一倍，想必得要有一個速度和效率都比我們人類高上許多的心智來主導。然而，認真看待機器智慧革命前景的這種態度，並不需要仰賴曲線圖，或者從過去的經濟成長來外推。我們將會看到，我們有更充分的理由該採取謹慎的看法。

遠大前程
自從在1940年代發明電腦以來，人們就期待著機械達到人類的常態智慧──也就是說，具有常識和有效的學習與邏輯思考能力，以及在具象和抽象的廣泛領域中解決複雜情報問題的計畫能力。當時人們認為，這種智慧機器的降臨應該就在二十年後。但從那時候開始，人們對於那一天到來的日期預測，大約每過一年就再延後一年；到了今天，關注通用人工智慧（artificial general intelligence）可能性的未來學家，一般相信智慧機器的誕生還需要好幾十年。
二十年是占卜家預言劇變的甜蜜點：近到引人注意又息息相關，又遠到可以去假設現在還是空想的一絲突破屆時都可能發生。把這個和更短的時間尺度相比：大多數五到十年內會對世界有極大影響的科技，已有少量付諸實用；而十五年內會重新改造世界的技術，目前可能還是實驗室的原型。二十年，可能也接近於占卜家的生涯年限，就算瞎胡預測，過了太久也砸不到招牌。
然而，儘管過去也有些人對人工智慧的預測過了頭，這並不代表人工智慧不可行，或者人類永遠開發不出人工智慧。人工智慧進展不如預期的主要理由，是打造智慧機器的技術難度，比那些先驅者所預料的還要高。至於這難度有多高，以及何時能夠克服？則都還是未定之數。有些一開始看起來複雜到令人絕望的難題，結果居然有驚人的簡單答案（不過，一般狀況往往和這句話相反）。
下一章，我們將探索有可能讓機器智慧達到人類水準的不同途徑。但必須先注意到一點，不管從現況到達人類水準機器智慧之間有幾站，最後一站都不會是終點。再過去不遠的下一站，就是超越人類水準的機器智慧。這班車不會在「人類」這一站就停車甚至減速。它很有可能過站不停。
二戰期間擔任艾蘭．圖靈（Alan Turing）解碼團隊首席統計學家的數學家厄文．約翰．古德（Irving John Good），可能是第一個描述這情景明確基本面貌的人。在這段寫於1965年常被引用的文章當中，他提到：

我們先將超智慧機器定義為：不論是多聰明的人的所有智慧活動，這台機器都能超越其上。既然這台機器的設計是上述智慧活動的一部分，那麼一個超智慧機器便能設計出超越其上的機器；接著毫無疑問地，便會有「智慧爆炸」，而人類的智慧就會被遠遠地拋在後頭。於是第一台超智慧機器就會是人類需要打造的最後一項發明，前提是這台機器得夠溫和，願意讓我們知道如何控制它。

很明顯地，這樣的智慧爆炸會產生重大的生存危機，因此這前景必須以最認真的方式檢驗，就算我們知道（但目前無法知道）能通過這檢驗的機會微乎其微。然而，人工智慧的先驅者屈從於他們對人類水準人工智慧之急迫性的信念，多半不曾深思可能超越人類的人工智慧。這好像他們的沉思肌肉在構思機器達到人類智慧的可能性時，就耗盡了他們的力量，使他們無力再往前推論──去設想機器接下來還可以成為超智慧。
大多數的人工智慧先驅者根本不認為他們的事業中有可能暗藏風險。針對創造人工智慧，以及誕生「電腦主宰」的安全顧慮和道德疑慮，他們連一些空話都沒提過──更不用說認真思考。這樣的匱乏即便在當時批判技術評估（critical technology assessment）的標準還不怎麼高的背景下，也很令人吃驚。我們必須期待當這門事業最後變得更可行之際，我們不是只得到了啟動智慧爆發的技術熟練度，同時也有了更高水準的掌控力，讓人類在這場爆發中存活下來。
進入下一部分之前，讓我們先一瞥迄今為止的機器智慧史，這應該會有所助益。