浪潮將至（簡體書）

人工智能、生物技術、量子計算……我們正在接近人類歷史的一個關鍵節點，這一節點決定著人類命運的未來走向。我們已被人工智能包圍，生活中的一切都將改變。人工智能將組織我們的生活，經營我們的生意，管理核心的政府服務。我們將生活在一個有DNA打印機、量子計算機和機器人助手的能源豐富的世界裡。
作為開創性的人工智能公司DeepMind的聯合創始人和微軟人工智能的CEO，作者穆斯塔法·蘇萊曼一直處於這場浪潮的中心。他認為，未來10年將被這一波強大、快速擴散的新技術所定義。在這本書中，蘇萊曼以通俗易懂、冷靜犀利的筆觸，展示了這些力量將如何創造巨大的繁榮，又將如何威脅到作為全球秩序基礎的民族國家。他既引領我們了解激進技術變革的歷史，又引領我們面對深刻的社會挑戰。
這本書為我們提供了一劑現實的鎮靜劑，邏輯清晰地描述了當前的技術衝擊，又不乏新意和趣味，引人深思。

穆斯塔法·蘇萊曼（Mustafa Suleyman）
· 微軟人工智能CEO。
· 曾與戴密斯·哈薩比斯等聯合創辦人工智能公司DeepMind，後任谷歌公司人工智能產品與政策副總裁。
· 2022年，與領英聯合創始人裡德·霍夫曼等共同創辦了Inflection AI，該公司獲得高達13億美元的投資，估值一舉突破40億美元。
· 2023年和2024年，兩次入選《時代》周刊發布的全球“百大AI影響力人物”榜單。 邁克爾·巴斯卡爾（Michael Bhaskar）
邁克爾·巴斯卡爾 作家、數字出版人、咨詢顧問和企業家，曾為《衛報》《金融時報》《連線》等撰稿。

1. DeepMind聯合創始人、微軟人工智能CEO 穆斯塔法·蘇萊曼 重磅作品。
巨浪時代，指引航向。這本書深入剖析了以AI和生物技術為核心的新一波技術浪潮的特點，是一部通用技術的宣言書！

2. 一記科技內幕人士緊急敲響的警鐘！
作者開創性地提出了科技領域的“遏制問題”，即如何保持對強大技術的掌控和約束，作為我們這個時代面臨的*重大的挑戰，為我們提供了一劑現實的鎮靜劑。這本書不僅清晰地闡釋了當前的技術衝擊，而且給出了邁向遏制的解決方案。

3. 比爾·蓋茨、尤瓦爾·赫拉利、丹尼爾·卡尼曼、埃裡克·施密特、李飛飛、陸奇 盛贊。
《經濟學人》《金融時報》《衛報》等媒體評選的2023年度圖書。
清華大學薛瀾、微軟張祺作序，張鈸、沈向洋、朱松純、胡泳、周鴻祎、塗子沛、吳世春、段偉文、曾毅、謝旻希聯合推薦！

推薦序一 / 薛瀾 VII
推薦序二 / 張祺 XI
巨浪時代的關鍵詞 XV
前言 XIX

第一章 遏制是不可能的 001
浪潮 001
困境 004
陷阱 009
論點 014

第一部分 技術人

第二章 無盡擴散 021
發動機 021
通用技術浪潮：歷史的節拍 024
擴散是常態 029
從真空管到納米：急劇擴散 032

第三章 遏制問題 037
報復效應 037
遏制是基礎 039
我們是否說過“不”？ 041
核技術是例外？ 045
技術動物 050

第二部分 下一場浪潮

第四章 智能技術 057
歡迎來到機器世界 057
AlphaGo 與未來之始 059
從原子到比特再到基因 061
寒武紀大爆發 063
不只是潮流詞語 065
人工智能之春：深度學習走向成熟 066
人工智能正席卷世界 069
自動補全一切：大語言模型的崛起 071
人腦級人工智能模型 074
再度高效，以少馭多 078
感知初現：機器的表達 081
超越超級智能 087
能力：新時代的圖靈測試 088

第五章 生命技術 093
DNA 剪刀：CRISPR 革命 094
DNA 打印機：合成生物學煥發新生 098
生物創造力的釋放 100
合成生命時代的人工智能 104

第六章 更廣泛的浪潮 109
機器人技術走向成熟 110
量子霸權 116
下一次能源轉型 118
浪潮相繼 120

第七章 即將到來的技術浪潮的 4 個特徵 124
非對稱性：權力大轉移 125
超級進化性：無盡加速 128
通用性 ：多多益善 131
自主性及其他：人類是否仍是主角？ 135
大猩猩問題 138

第八章 勢不可當的驅動力 141
民族自豪感 ：戰略必需 144
軍備競賽 150
知識渴望自由 154
百萬億美元商機 159
全球性挑戰 166
個體自我追求 172

第三部分 國家的失敗

第九章 大契約 179
國家的承諾 179
哥本哈根世界氣候大會的教訓：政治的個人化特徵 181
脆弱的國家 185
技術的政治性 ：即將到來的技術浪潮對國家的挑戰 189

第十章 脆弱性放大器 196
國家緊急狀態 2.0：非對稱性失控的實例 196
大幅下降的權力成本 200
武裝機器人：進攻行動的新主宰 201
錯誤信息機器 207
國家支持的信息攻擊 210
實驗室泄漏與意外不穩定性 212
關於自動化問題的辯論 217

第十一章 國家的未來 224
馬鐙 224
集中化：智能的復合回報 227
監控：威權主義的助推器 235
分散化：權力歸於人們 238
即將到來的矛盾浪潮 245

第十二章 困境 248
災難：終極失敗 248
各式各樣的災難 251
邪教、瘋子與自毀式國家 257
反烏托邦轉向 260
停滯 ：另一種災難 264
接下來是什麼？ 268

第四部分 穿越浪潮

第十三章 遏制必須成為可能 273
眾說紛紜的代價 273
僅靠監管是不夠的 277
重新審視技術遏制：新的大契約 281
洪水來臨之前 284

第十四章 邁向遏制的 10 個關鍵步驟 289
1. 安全：技術安全的阿波羅計劃 290
2. 審計：知識就是力量，力量就是控制 297
3. 技術命門：爭取時間 301
4. 開發者：批評者也應參與開發工作 303
5. 企業：利潤 使命 306
6. 政府 ：生存、改革、監管 311
7. 聯盟：是時候制定條約了 316
8. 文化：正確地接受失敗 321
9. 運動：公眾的力量 326
10. 狹窄小道 ：唯有穿越 328

後人類世的生活 337
致 謝 345
注 釋 349

第一章 遏制是不可能的

浪潮
幾乎每種文明都有一個關於洪水的神話。
據古印度教文獻記載，宇宙中的第一個人類摩奴曾得到大洪水即將來臨的警告，並成為唯一的幸存者。在《吉爾伽美什史詩》中，恩利爾神以一場大洪水摧毀了世界，這個故事不免讓熟悉《聖經·舊約》中挪亞方舟故事的人感到似曾相識。柏拉圖曾提及消失的城市亞特蘭蒂斯，它被一場巨大的洪水吞噬。人類的口述傳統和古代文獻中彌漫著這樣一個主題：一場巨浪席卷一切，隨之而來的是世界的重塑和重生。
洪水在歷史上也留下了真實的印記—無論是世界巨大河流的季節性泛濫，冰期結束後海平面的上升，還是地平在線突如其來的海嘯衝擊。導致恐龍滅絕的那顆小行星曾在地球上激起高達一英裡a的巨浪，從此改變了進化的軌跡。這些浪潮的巨大力量已經深深烙印在我們的集體意識之中：它們如同巨大的水墻，勢不可當、無法駕馭、難以遏制。它們是地球上*強大的力量之一，它們塑造了大陸的輪廓，灌溉了地球上的莊稼，孕育了文明的發展。
其他類型的浪潮也具有同樣強大的變革力。如果重新審視歷史，你就會發現，歷史上充斥著一系列比喻意義上的浪潮：帝國和宗教的崛起與衰落，商業活動的迸發與繁榮。想想基督教或伊斯蘭教，這些宗教起初只如同小小的漣漪，而後逐漸發展壯大，覆蓋了地球上廣闊的區域。這樣的浪潮是一個反復出現的主題，勾勒了歷史的沉浮、大國的爭鬥和經濟的興衰。
技術的崛起與傳播也一直以改變世界的浪潮之姿出現。自人類初次掌握技術（發現火與使用石器）以來，一個鮮明的趨勢便在我們的歷史長河中顯現。從鎬到犁，從陶器到攝影，從電話到飛機等，幾乎每一種基礎技術的誕生都遵循一個恒定不變的規律：隨著時間的推移，這種技術的成本會降低，使用變得越來越容易，*終得以大規模擴散和普及。
這種浪潮般的技術發展與擴散，正是“技術人”（Homo Technologicus）的崛起史—人類仿佛化身為技術動物。人類對改善的追求，無論是在個體、環境、能力方面，還是在我們對周遭世界的影響方面，都在推動著思想與創造力不斷演進。發明，這一持續展開、不斷擴展和涌現的進程，是由自組織的、競爭激烈的發明家、學者、企業家和領導者共同驅動的。每個人都懷著各自的動機，競相前行。技術發明的生態系統天生具有擴張性，這是技術的內在特質。
問題是，接下來事情會如何發展？在後續章節中，我將為你們講述歷史的下一個偉大浪潮的故事。
請環顧四周。
目光所及之處都有什麼？是家具、高樓大廈、手機、食物，還是一個景觀公園？你視線中的幾乎所有物體都很可能是經由人類智能創造或改造過的。語言作為人類社交互動、文化傳承、政治組織乃至人性本質的基石，既是我們智能的產物，也是其驅動力。每一條規則、每一個抽象概念、每一次小小的思維創新或項目嘗試，以及你人生旅途中的每一次偶遇，都深深地鐫刻著我們這個物種獨有的、紛繁複雜的想象力、創造力和理性印記。人類的聰明才智令人驚嘆。
在你的視野中，有一種力量像人類智能一樣無所不在，那就是生物生命本身。在現代到來之前，除了少量的岩石和礦物，大多數的人工制品（從木屋、棉衣到煤火）皆源自曾有過生命的事物。自那時起，這個世界上新出現的一切東西就都來自人類，來自我們作為生物體存在的事實。
可以說，整個人類世界都建立在生命系統或我們的智能之上。然而，如今這兩者都正處在一個前所未有的急速創新與動蕩時期，經歷著空前的擴展，幾乎所有事物都即將改變。一場新的技術浪潮正向我們洶涌而來。這場浪潮正釋放出改造上述兩大基石（生命系統和人類智能）的力量，可謂智能與生命的浪潮。
這場浪潮由兩大核心技術所定義：人工智能和合成生物學。它們將共同開啟人類的新黎明，創造出前所未有的繁榮和富足。然而，它們的迅速擴散也帶來了威脅，使得各種惡意行為者有能力在難以想象的範圍和規模上製造混亂、動蕩，甚至災難。這場浪潮帶來了一個巨大的挑戰，它將決定21世紀的走向：我們的未來既依賴於這些技術，又因它們而面臨威脅。
從我們當前的情況來看，試圖遏制這場浪潮（即對其進行控制、限制或阻止）似乎是不可能的。本書探討了其背後的原因，以及這一趨勢若無法改變，將對人類意味著什麼。這些問題的含義*終將影響每一個生活在當下的人，以及我們所有的子孫後代。
我相信，這場浪潮正將人類歷史推向一個新的轉折點。如果我們無法有效地遏制它，我們的物種就可能會面臨無法預知的可怕後果。同樣，如果我們不充分利用這場浪潮帶來的果實，我們也將陷入孤立無援、岌岌可危的境地。10年來，我已多次在私下場合表達過這一觀點，然而，隨著技術浪潮的影響力變得越發凸顯，現在是時候公開闡述它了。

困境
在深入思考人類智能的深刻力量之後，我萌生了一個簡單的問題，這個問題自此縈繞著我的生活：如果我們能夠提煉出賦予人類生產力和創造力的核心要素，並將其轉化為軟件和算法，那麼未來會怎樣？這個問題的答案或許能為我們解鎖一些極其強大的工具，幫助我們應對*棘手的問題。一種超乎想象的、非凡的工具可能將應運而生，它能幫助我們在未來幾十年裡應對從氣候變化、人口老齡化到可持續食品開發等一系列艱巨的挑戰。
懷著這個想法，2010年夏，我與兩位朋友—戴密斯·哈薩比斯和謝恩·萊格在倫敦羅素廣場旁一間建於英國攝政時代的古色古香的辦公室裡，共同創建了DeepMind公司。如今回想起來，我仍深感我們的目標宏大、瘋狂而振奮人心。我們的目標就是復制那個讓人類獨一無二的特質，即人類的智能。
為實現這一目標，我們需要創建一個能夠模仿並*終在各個方面（從視覺和語音能力到規劃和想象力，甚至包括共情力和創造力）超越人類認知能力的系統。考慮到這一系統將充分利用超級計算機的大規模並行處理技術以及全球互聯網日益豐富的新數據源，我們深知，即便是朝向這一目標邁出的微小步伐，都將對社會產生深遠的影響。
這個目標當時看起來遙不可及。那時，人工智能的廣泛應用還只是天方夜譚，更多地存在於人們的幻想中，僅為少數紙上談兵的學者和狂熱的科幻小說迷所津津樂道。然而，在我寫下這些文字時，回顧過去的10多年，人工智能的發展可謂突飛猛進。DeepMind已崛起為世界頂尖的人工智能公司之一，取得了一系列重大突破。這場新技術革命的發展速度和力量，讓我們這些身處領域前沿的人都震驚不已。在本書的寫作過程中，人工智能的發展速度令人瞠目結舌：每周，有時甚至每天，都會有新的模型和產品問世。顯然，這場浪潮正在不斷加速。
如今，人工智能系統已經能夠近乎完美地識別人臉和物體。我們已習慣於使用語音轉文字和實時語言翻譯功能。在道路和交通導航方面，人工智能的表現已相當出色，甚至在某些情境下足以支持自動駕駛。新一代的人工智能模型能夠根據簡單的提示生成新穎的圖像，並能以出色的細節和連貫性撰寫文本。人工智能系統還能以驚人的逼真度生成合成聲音，並創作出令人贊嘆的音樂。即使在更具挑戰性的領域，如長期規劃、想象力以及複雜思維的模擬方面，人工智能也取得了長足進步，盡管這些領域曾被視為人類獨有的能力範疇。
在過去幾十年裡，人工智能在認知能力上不斷取得突破。現在看來，它似乎有望在未來3年內，在各類任務中達到與人類相當的表現水平。這是一個大膽的論斷，但如果這個論斷不算太偏頗，那麼其意義無疑是深遠的。許多在DeepMind創立之初看起來不切實際的想法，如今不僅變得合理可行，而且似乎已經成為必然趨勢。
從一開始，我就清楚地認識到，盡管人工智能這一強大的工具能帶來巨大的利益，但它也會像其他大多數形式的強大力量一樣，引發重大的危險和道德困境。我擔憂的不僅僅是人工智能發展所帶來的後果，還有整個技術生態系統的演變方向。在人工智能之外，一場更為廣泛的技術革命已然興起。在這場革命中，人工智能正推動新興的、強大的基因技術和機器人技術突飛猛進。在這個錯綜複雜、多種技術相互交織的局面下，一個領域的進步會加速其他領域的發展，而這種相互強化的局面已經超出了任何人的直接掌控。顯然，如果任何人能夠成功地復制人類智能，那就不僅僅意味著一個有利可圖的商機，更預示著人類歷史的一次重大變革。它將開啟一個新的紀元，帶來前所未有的機遇，同時也伴隨著前所未有的風險。
這些年來，隨著技術的不斷進步，我的擔憂也與日俱增。如果這股技術浪潮實際上是一場無法阻擋的海嘯，那麼我們該怎麼辦？2010年時，幾乎無人認真探討人工智能。如今，這個曾被
視為僅屬於少數研究人員和企業家的研究任務，已經演變為一個吸引全球廣泛參與的宏大領域。人工智能無處不在。無論是在新聞報道中，還是在智能手機中，甚至在股票交易和網站建設的過程中，我們都能見到它的身影。全球眾多頂尖企業和國家都在競相研發尖端的人工智能模型和基因工程技術，這些技術的研發背後有著數百億美元的龐大投資。
這些新興技術一旦成熟，將會迅速普及，價格將變得更便宜、獲取將變得更便捷，其將廣泛滲入社會的各個領域。它們將帶來卓越的醫學進步和清潔能源的突破，不僅能催生新的商業機會，還將在幾乎所有我們可以想象的領域中促進產業多樣化和生活質量的提升。
然而，除了帶來眾多利益，人工智能、合成生物學以及其他尖端技術也將引發令人憂慮的尾部風險。這些風險可能對民族國家的生存安全構成威脅，其影響之深遠，足以動搖甚至顛覆現有的地緣政治格局。設想一下，由人工智能助力的網絡攻擊、可能引發國家毀滅的自動化戰爭、人為製造的流行病，以及一個由看似強大但充滿未知力量的技術所主導的世界，這些極端情況在技術的推動下都有可能成為現實。盡管每種情況的發生概率都不大，但其潛在後果都是災難性的。因此，即便這些後果出現的可能性較小，我們也必須保持高度警惕。
面對這些潛在的災難性風險，一些國家可能會采取高度技術化的威權主義手段來應對，以減緩這些新力量的擴散。這很可能導致對個人隱私的嚴密監控和大規模侵犯。技術的嚴格控制可能會催生一個反烏托邦式的全球監控體系，在這個體系下，一切事物和個體都將受到無間斷的監視。人們對預防*極端的潛在後果的渴望為這個監控體系提供了合理化的借口。
同樣可能出現的是盧德主義式抵抗。一系列針對新技術的抗議、抵制和要求暫停的聲音可能出現。然而，放棄新技術的研發並全面暫停其應用，這可能嗎？答案似乎是否定的。考慮到新技術所帶來的巨大地緣戰略和商業價值，我們很難想象有誰能輕易說服國家或企業單方面放棄這些技術所帶來的變革力量。此外，試圖阻止新技術的發展本身就是一種危險。歷史上，技術停滯的社會往往不穩定，容易崩潰。這樣的社會*終會喪失解決問題和實現進步的能力。
從當前的視角來看，無論是追求還是避免新技術都存在著巨大的風險。隨著技術變得更加便宜、強大，普及度更高，風險也在逐漸累積。在這些風險中尋找一條安全的“狹窄小道”，以避免陷入技術專制主義的反烏托邦或陷入技術開放可能帶來的災難，變得越來越困難。然而，放任自流也非明智之舉。盡管我們對技術風險深感擔憂，但我們前所未有地需要即將到來的技術浪潮所帶來的巨大好處。這正是我們面臨的核心困境：新一代的強大技術遲早可能將人類引向災難性或反烏托邦式的局面。我堅信這是21世紀人類必須面對的一個重大元問題。
本書闡述了該困境逐漸變得無法回避的原因，並探討了可能的應對策略。我們需要充分利用技術的優勢，這對於我們應對一系列嚴峻的全球性挑戰以及擺脫當前的困境至關重要。然而，目前關於科技倫理和安全的討論還遠遠不夠。盡管有大量關於技術的圖書、辯論、博客文章以及社交媒體熱議，但關於如何遏制技術的討論鮮有耳聞。在我看來，遏制技術的關鍵在於構建一個融合技術、社會和法律機制的綜合體系，以在各個可能的層面上對技術進行約束和控制。從理論上講，這是避免陷入困境的途徑。但令人感到遺憾的是，即使一些對技術持*嚴厲批評態度的人，也常常回避討論應如何嚴格遏制技術。
這種情況需要改變。我希望本書能闡明為什麼，並指出應如何改變。

陷阱
在DeepMind成立幾年後，我曾製作過一組幻燈片，旨在探討人工智能可能帶來的長期經濟和社會影響。在加州西海岸一個充滿現代感的會議室裡，我向十幾位科技界*具影響力的創始人、CEO和技術專家展示了這些內容。我指出，人工智能帶來了一系列的威脅，我們必須積極應對。它有可能會引發大規模的隱私侵犯，或導致錯誤信息泛濫的信息末日危機。此外，人工智能還有可能用於軍事領域，製造出一系列致命的新型網絡武器，給我們這個高度網絡化的世界帶來新的安全威脅。
我還強調了人工智能可能帶來的大規模失業風險。我引導在場的人回顧了自動化和機械化逐步取代人力的歷史進程。*初，只是出現了能更高效地完成某些特定任務的手段，隨後整個勞動力角色變得不再必要，而後很快，整個行業所需的工人數量就會大大減少。我認為，在未來幾十年裡，人工智能系統將以類似的方式取代腦力勞動，並且這一過程很可能發生在機器人取代體力勞動之前。過去，隨著舊工作崗位的消失，新工作機會將隨之出現。然而，假如人工智能真的能夠勝任大多數工作，情況又會如何？這種即將到來的新型集中化力量幾乎前所未有。盡管看似遙遠，但其潛在的嚴重威脅正在迅速逼近我們的社會。
在幻燈片的*後，我展示了一幅出自動畫片《辛普森一家》的畫面。在這個場景中，斯普林菲爾德的居民起義反抗，我們熟悉的角色們手持棍棒和火把衝向前方。場景所傳達的信息很清晰，但我還是在幻燈片上明確地寫了下來：幹草叉就要來了。它們朝著我們這些技術創造者而來，而我們有責任確保未來不會變成這樣。
我環顧桌子四周，只有一片茫然的目光。房間裡沒有人被觸動，我的信息沒有引起共鳴。反駁的聲音卻接踵而至。他們質疑，為何經濟指標並未顯示出任何支持我的論點的跡象？他們認為，人工智能會激發新的需求，從而創造新的崗位；它將提升人的能力，使人更具生產力。或許確實存在一些風險，但這並不像我所描述的那麼嚴重；人類是聰明的，總能找到解決問題的方法。他們認為沒什麼可擔心的，並示意該進行下一個演示了。
幾年後，在新冠疫情暴發之前，我參加了一場在一所知名大學舉辦的技術風險研討會。會議場景似曾相識：同樣寬大的會議桌，同樣是一場富有遠見的討論。在一整天的會議中，伴隨著咖啡、餅幹以及幻燈片展示，一系列令人感到恐懼的風險在會議桌上提出來。
其中一種風險格外令人關注。演講者展示了可打印定制DNA（脫氧核糖核酸）鏈的DNA合成器的成本是如何迅速下降的。這些合成器僅需幾萬美元便可購置，小巧便捷，放在車庫的工作臺上就可以幫助人們合成（也就是製造）DNA。1如今，任何在生物學方面達到研究生水平或熱衷於在線自學的人都有可能做到這一點。
在這種工具日益普及的背景下，演講者描繪了一個可怕的情景：很快就可能有人製造出比自然界中的任何病原體都更具傳染性和致命性的新型病原體。這些合成病原體可以規避人類已知的對策，以無症狀方式傳播，或具有對抗治療的內置能力。如果需要，一個人就可以通過網上訂購和在家中重組DNA的方式來完成自制實驗。郵購下單，末日便可降臨。
演講者是一位備受尊敬的擁有20多年專業經驗的教授。他強調，這並非科幻小說的情節，而是真實存在的風險。在報告的結尾部分，他提出了一個令人不寒而栗的想法：如今，一個人很可能“具備殺死10億人的能力”，所需的僅僅是一個動機。
與會者顯得坐立不安，他們扭動身體，不時地咳嗽幾聲。隨後，大家開始抱怨，避重就輕。沒人願意相信這樣的可能性。他們認為，肯定有有效的控制機制，製造那樣的疾病絕非易事，數據庫肯定可以封鎖，硬件安全肯定可以得到保障，等等。
與會者的集體反應遠不僅僅是不以為意。他們從根本上拒絕接受演講者所描述的情景。沒有人願意正視那些嚴峻的事實、冰冷的概率及其背後的含義。我選擇了沉默，但內心的不安難以掩飾。研討會匆匆結束。當晚，我們像往常一樣外出用餐、交談。在結束了討論世界末日的一天之後，我們還能享受比薩，還能談論笑話，還將回到辦公室繼續工作。大伙兒認為，事情總會有轉機，或者那場可怕的討論一定是弄錯了什麼。我也隨波逐流。
然而，在接下來的幾個月裡，那場演講一直縈繞在我腦海中。為什麼我們當時沒有更認真地對待它？為什麼我們尷尬地回避了進一步的討論？為什麼有些人會變得如此尖銳，指責提出那些危機問題的人，說他們小題大做或“忽視了技術的驚人好處”？我將這種我觀察到的普遍的情感反應稱為“悲觀規避陷阱”，即當你過於害怕面對潛在的黑暗現實時，你就容易產生錯誤的分析和判斷，並傾向於從另一個看似安全的角度來看待問題。
幾乎每個人都多多少少有過這樣的反應，這導致我們忽視了一系列正在我們眼前展開的重大趨勢。這幾乎是一種與生俱來的本能反應。我們的物種並沒有天然地準備好應對如此大規模的變革，更不用說應對技術可能讓我們失望的可能性。在我整個職業生涯中，我不斷經歷這種心理感受，也觀察到許多其他人有同樣的本能反應。我寫作本書的目的之一便是直面這種感受。我們需要冷靜客觀地看待事實，無論它們多麼令人不適。
要妥善應對這場浪潮，遏制技術，並確保技術始終服務於人類，我們就需要克服悲觀規避心態，直面即將到來的現實。
我希望通過本書達到這一目標。具體而言，我要承認浪潮將至並闡明浪潮的軌跡；探討遏制是否具有可能性；將事物置於歷史語境下，從人們對技術的日常喧囂討論中抽離出來，以看到更廣闊的畫面。我的目標是直面困境，理解驅動科技發展的基本過程。我希望*大限度地向盡可能廣泛的讀者清晰地呈現這些觀點。我以開放和探究的精神寫作：基於觀察，從觀察中追溯其含義和影響，但也對反駁的觀點和更優的解讀持開放態度。如果有人能證明我的觀點是錯誤的，或證明技術遏制實際上容易實現，那我會感到無比高興。
作為兩家人工智能公司的創始人，我可以理解有些人可能期待像我這樣的人能寫一本更樂觀、更偏向技術烏托邦的書。作為技術專家和企業家，我本質上是個樂觀主義者。回想起少年時，我第一次在Packard Bell 486計算機上安裝Netscape（網景）瀏覽器的場景，那種著迷的感覺我至今記憶猶新。嗡嗡作響的風扇，56千位每秒撥號調制解調器在連接到萬維網時發出的噪聲，徹底把我迷住了，這些讓我得以進入充滿自由和知識的網絡聊天室和論壇。我熱愛技術，它一直是推動人類進步的引擎，也是我們為人類的成就感到自豪和興奮的重要原因。
但我也相信，我們這些推動技術創造的人必須有勇氣預測技術在未來幾十年的走向，並為其擔負起責任。如果技術真有可能辜負人類的期望，我們就必須開始思考應對策略。這不僅僅需要個人的努力，更需要社會和政治層面的應對。而這樣的應對，需要從我們這個行業，從我和我的同行開始。
有人可能會說，這一切都被過分夸大了；變化是漸進式的，不會那麼突然和劇烈；這只不過是技術成熟曲在線的又一個高點，隨後技術發展會轉入低谷期；我們用於應對危機和變化的系統和機制足夠強健。他們還會認為我對人性的看法過於悲觀，人類歷史的記錄到目前為止還算不錯，歷史上不乏錯誤的預言家和被證偽的末日宣告者，這一次又有什麼理由會不同呢？
悲觀規避是一種根深蒂固的本能情緒反應，它讓人不願面對嚴重的破壞性後果出現的可能性。這種心理往往出現在那些處於安穩狀態和權勢地位的人身上，他們有著固執的世界觀，表面上能應對變化，但實際上不願接受任何對現有秩序構成的真正挑戰。在我批評的那些陷入悲觀規避陷阱的人中，有很多人對技術批評持開放態度，但他們只是口頭附和，從不付諸行動。他們總是說：“我們會解決好的，一直以來，一切盡在掌控之中。”
在技術或政策領域有一定經歷的人很快就能意識到，把頭埋進沙子裡、逃避現實的鴕鳥政策是這些領域的默認意識形態。背離這種意識形態去思考和行動意味著一定的風險：面對一些巨大而不可阻擋的力量，人們可能被恐懼和憤怒感擊倒，而感覺一切都徒勞無功。因此，他們往往會維持這種奇怪而矛盾的悲觀規避的心理。我深知這一點，因為我也曾在這種心理狀態中掙扎很久。
在我們成立DeepMind之後，在我提及的那些報告展示發生之後，話語已在某種程度上發生了變化。關於工作自動化的辯論已經進行了無數次。一場全球性的大流行病展示了合成生物學的風險和影響力。一股“科技抵制潮”開始涌現，批評者通過文章和圖書對技術和技術公司展開猛烈抨擊，在華盛頓、布魯塞爾和北京等監管職能所在的重要城市，對技術的批評聲也此起彼伏。以前對於技術的小眾擔憂如今已成為主流，公眾對技術的懷疑在增加，來自學術界、公民社會和政治界的批評聲也變得更加尖銳。
然而，在即將到來的技術浪潮和巨大的困境面前，在一眾習慣於悲觀規避的技術精英面前，所有這些還遠遠不夠。

論點
浪潮在人類生活中無處不在，而我們討論的是*新的技術浪潮。人們常常覺得它仍然遙不可及，仿佛只是關於未來的幻想，聽起來甚至有些荒謬。人們認為這場浪潮僅僅是少數書呆子和邊緣思想家頭腦裡的東西，充滿了夸張、術語和噱頭。這種認識是錯誤的。相反，這場浪潮是真實存在的，就像從寬闊的藍色海洋中襲來的海嘯一樣真實。
這並非幻想或純粹的理論探討。即使你不同意我的觀點，認為這一切都不太可能發生，我也希望你能繼續閱讀下去。的確，我有人工智能的背景，習慣於從技術的視角審視世界。在探討這場技術浪潮是否真的具有重大影響這一問題時，我難免帶有一定的偏見。但是，在過去15年裡，在近距離親眼看見了這場不斷深化的技術革命之後，我確信我們正站在一生中*為重要的變革的風口浪尖。
作為這些技術的一個構建者，我相信它們能帶來眾多的好處，改善無數人的生活，解決一系列根本性挑戰，無論是助力開發下一代清潔能源，還是為我們*棘手的疾病提供廉價而有效的治療方法。技術可以也應該豐富我們的生活。有必要強調的是，歷史上，這些技術背後的發明者和企業家一直是推動社會進步的強大動力，改善了數十億人的生活。
但是，如果沒有遏制，技術的所有其他方面，包括每一個關於其倫理缺陷或可能帶來的好處的討論，就都將變得沒有意義。如何控制和遏制這場即將到來的技術浪潮？如何在這場浪潮中維護民族國家的保障和供給？我們迫切需要為這些問題找到完美答案。但目前，還沒有人能回答這樣的問題。我們正面臨著一個沒有人希望看到的未來，但我擔心它出現的可能性越來越大。我會在接下來的章節中解釋原因。
在本書第一部分，我們將回顧技術發展的漫長歷史，以及技術是如何像浪潮一樣在幾千年的時間裡傳播的。這些技術浪潮背後的驅動力是什麼？是什麼使它們在人類社會普及？我們還將討論，是否有人類社會有意識地回避一項新技術的先例。過去，人們通常不會談論回避技術，技術的擴散模式十分明顯，而那導致了一系列有意和無意的後果。
我把這個問題稱作“遏制問題”。如今，我們擁有人類發明出來的*具價值的技術，它們比以往任何技術都更加經濟實惠，傳播速度更快。我們該如何把控這些技術呢？
本書的第二部分詳細闡述了即將到來的技術浪潮的特徵。其核心是兩項通用技術，即人工智能和合成生物學，它們都具有巨大的前景和力量，也伴隨著巨大的風險。盡管這兩者長期以來都已備受關注，但我認為它們的影響範圍仍然常被低估。圍繞這兩項技術，已經發展出了一系列相關技術，如機器人和量子計算，這些技術的發展將以複雜而動蕩的方式相互影響。
在這一部分中，我們不僅要探討這些技術的出現模式以及它們具有的力量，還要深入剖析它們如此難以遏制的原因。這些技術都具有4個關鍵特徵，這些特徵使得這一次的技術浪潮與以往不同：它們本質上具有通用性，因此可以得到多元應用；它們具有超級進化性；它們的影響具有非對稱性；在某些方面，它們還呈現出日益提升的自主性。
這些技術產生的背後有強大的驅動力：地緣政治競爭、巨額經濟回報，以及開放、分布式的研究文化。無論我們能否有效監管和控制即將到來的風險，無數的國家與非國家實體都將爭先恐後地開發這些技術，它們的行為將影響所有人，無論我們是否喜歡這一點。
本書的第三部分探討了難以遏制的技術浪潮引發的大規模權力再分配所帶來的政治影響。我們目前的政治秩序基礎，也是技術遏制的*重要參與者，是民族國家。民族國家已經受到各種危機的衝擊，而這一浪潮將進一步放大這些衝擊，帶來一系列的新挑戰和威脅，包括潛在的新型暴力形式、錯誤信息的泛濫、工作崗位的流失，以及災難性事故發生的可能性。
此外，這一浪潮將迫使權力發生一系列結構性轉移，同時呈現出權力集中化和分散化的趨勢。這將創造出龐大的新企業，鞏固威權主義，同時將賦予某些群體和運動在傳統社會結構之外的生存能力。浪潮到來時，將是我們*需要民族國家這樣的機制的時候，而那時民族國家的內在微妙平衡也將面臨前所未有的壓力。這也正是我們陷入困境的原因。
在本書第四部分，我們將討論如何應對即將到來的技術浪潮。我們是否還有一線希望，能夠擺脫上述困境？如果存在這樣的希望，應該如何實現它？在這一部分，我們提出了10個步驟，其涵蓋代碼編程和DNA技術的微觀層面以及國際條約的宏觀層面，旨在構建一套相互銜接的有力的遏制機制，作為我們實現技術遏制的基本計劃。
這是一本關於應對技術失敗的書。技術失敗可以指普通意義上的技術故障，如發動機不工作、橋梁坍塌。但這一失敗還可以從更廣泛的意義上理解。如果技術損害了人類生命，催生了傷害人類的社會，或者讓一些惡意（或無意中具有危險性的）行為者掌握了權力，社會就會無法管控和治理……總之，如果技術總體上造成了破壞，那麼我們就可以說技術在一個更深的層次上失敗了，它背離了其初衷和承諾。這種意義上的技術失敗並不是技術本身固有的問題，而是與技術所處的環境、治理結構及其所服務的權力網絡和用途有關。
人類身上令人驚嘆的創造力為我們帶來了無數成就，這種創造力使得我們擅長避免前一種類型的技術失敗。正因如此，飛機失事事故變得越來越少，汽車變得更加清潔和安全，計算機變得功能更強大且更加安全。然而，我們面臨的巨大挑戰是，我們還未認真考慮後一種失敗。
幾個世紀以來，技術極大地提高了數十億人的福祉。現代醫學極大地改善了我們的健康狀況，世界上大多數人能夠享受到食物充足的生活，人們的受教育水平從未如此之高，和平程度也達到了前所未有的水平，物質生活比以往都更加豐富。這些都是人類的重大成就，其中一部分這樣的成就正是由科學和技術創造的偉大引擎促成的。這也是我一生致力於安全地開發這些技術工具的原因。
但是，在我們從這段非凡的歷史中汲取任何樂觀情緒的同時，我們也必須坦誠面對現實。要防範技術失敗，我們就必須理解並*終正視可能出現的問題。我們必須將理性的思考延伸到其邏輯終點，不能畏懼它指向的潛在結果。在我們認識到不好的結果可能出現時，我們必須采取行動。即將到來的技術浪潮帶來了比以往任何時候都更加緊迫和巨大的威脅，這需要全球範圍內的共同關注和應對。它急需答案，而目前還沒有人能夠回答。
技術遏制看起來不可能實現。但為了所有人的利益，我們必須讓遏制成為可能。