概率思維預測未來(簡體書)
商品資訊
ISBN13:9787518093342
出版社:中國紡織出版社
作者:(美)威廉‧龐德斯通
出版日:2022/03/01
裝訂/頁數:平裝/326頁
規格:24cm*17cm (高/寬)
版次:一版
商品簡介
我們該如何應對這個不確定性的世界?人類還能生存多久?我們的愛情還能存續多久?百老匯的音樂劇還能上映多久人類生活在一個虛擬的世界中嗎?真的存在多重世界嗎?宇宙中還有其他智能生命存在嗎?隱藏在這些問題背後的,就是概率思維。
作者龐德斯通從貝葉斯定理入手,向讀者展示了如何用概率思維預測未來。從愛情的持續時間到百老匯的音樂劇還能上映多久,從放肆的哲學家到睡美人悖論,概率思維才是思考未來的要素。
我們要如何用概率思維來理解世界、宇宙和生命。只有了解那些看似瘋狂的語言,我們才能更好地面對現在的生活。我們必須變得比以往更聰明、更明智、更善良、更小心、更幸運,才能贏得長遠的未來。在這樣的時代,每個人都必須掌握概率思維。
作者簡介
威廉·龐德斯通
美國經典暢銷書作家,已出版《無價》《知識大遷移》《剪刀石頭布》《誰是谷歌想要的人才?》等十幾部暢銷書,兩次獲得“普利策獎”提名。
《哈佛商業評論》《紐約時報》《哈珀斯》《時尚先生》等世界知名雜志長期撰稿人。
名人/編輯推薦
概率思維是思考未來的核心要素。對抗不確定性,抓住未來的勝算。經典暢銷書《無價》《知識大遷移》作者龐德斯通全新力作。
電子科技大學教授周濤領銜翻譯,普林斯頓大學天體物理學家、末日論證提出者理乍得戈特,暢銷書作家、《懷疑論者》雜志創始人邁克爾·舍默聯袂推薦。
湛廬文化出品。
序
預測是一朵帶刺的玫瑰
從幾千年前的巫祝A開始,人類就開始預測未來。只不過那個時候的預測,往往是基於極其樸素的世界運行原理:例如以“水為萬物生長和運動之源”為核心的泰勒斯假說和以“對立、協同、轉換”為核心的陰陽學說;又或者一些重大事件之間的偶發聯繫,例如某一次日食後出現了持續數月的大旱。至於本書的重頭戲——關於末日的預測,在宗教與科學“相愛相殺”的人類歷史演進中,從來就沒有缺席過。然而,以現代科學的標準看,除了少量極其罕見的嚴肅討論外(本書將介紹幾乎所有有價值的討論),這類“預測”不過是人類的卑微理性在無常的自然和縹緲的未來面前無畏的掙扎罷了。
基於預測所使用的理論和方法的堅實程度以及相應的對於預測結果正確性的信念,我們可以大致把預測分為三類。一個是基於嚴格理論的預測結果,例如基於量子力學理論,預測某粒子在某時間段內出現在某區域內的概率。這種預測可以用來檢驗相應的物理理論是否正確。另一個是對未來的定性預言,這些預言往往來自未來學家和科幻作家,例如法國小說家儒勒·凡爾納(Jules Verne)在《從地球到月球》中對人類登月和在《海底兩萬裡》中對海底潛艇的預言,世界著名未來學家阿爾文·托夫勒(Alvin Tofer)在《第三次浪潮》中對互聯網科技時代的預言,以及法國預言家諾查丹瑪斯(Nostradamus)在《諸世紀》中對世界末日的預言,等等。這類預言更像是猜測而非預測,往往只能給出定性的判斷,而不能給出定量的精確度。有時,預言模糊到可以有不同的解釋方法,以至於連定性的判斷都做不到,例如我們對李淳風和袁天罡所著的《推背圖》的解讀。而我所感興趣的預測,是介於兩種之間的第三類:既沒有一套堅實的理論作為支撐,也不是漫無邊際的未來學說,而是基於手頭已經掌握的一些數據,利用概率統計、數據挖掘或者機器學習的方法,對未知的數據或者未來的發展進行的可量化的預測。
對於自然科學和努力向自然科學靠近的社會科學來說,“解釋—預測—干預”(或稱“解釋—預測—控制”)是我們回答科學問題的三部曲,其任務分別是:(1)提出理論模型,解釋已經觀察到的現象;(2)預測未被觀察到的數據或現象(可能是缺失的數據,也可能是未來才會發生的事件);(3)通過對真實系統進行具體的干預以達到提前預設的目標。針對一個現象“看起來正確”的解釋,並不能說明相應的理論或機制就是正確的,而僅僅是指出了一種正確的可能性。事實上,這種解釋的可信度往往都是比較低的。
很多社會科學研究都是典型的“事後諸葛亮”,當一個事件發生之後,總能提出一些經過修修補補的理論模型,對已經發生的事件給出定性正確甚至定量精確的解釋。自然科學亦是如此,通過添加越來越多的本輪和均輪,打了補丁的托勒密的地心說“茍延殘喘”了1500 多年。經濟學界有一句諺語,大意是“能預測經濟危機的理論一個也沒有,能解釋經濟危機的理論卻俯拾皆是”,從這個意義上來講,預測一般要難於解釋,正確預測對於理論正確性的背書力度也要強於解釋。當然,這裡的更難主要是指預測尚未發生的事,而不是缺失的數據,預測後者通常要更容易一些。正確的預測也可能翻車,比如地心說也可以成功預測很多天象,只是隨著測量精度的提升以及對預測精度要求的相應提高,錯誤的理論終究會破綻百出。與解釋和預測相比,成功的干預可以極大地增強我們對理論正確性和適用性的信心,因為在不知道或者弄錯了因果關係的前提下,恰好出現我們期望的干預結果的可能性是很小的。
盡管對於理論正確性的背書力度是干預超過預測、預測超過解釋,但我認為預測在科學研究,特別是社會科學研究中處於重要的位置,因為社會科學的研究物件具有極大的不完備性和不確定性。影響社會發展的因素數不勝數,任何理論都不可能將它們全盤納入,而單個因素也是不獨立且不穩定的,會受外部環境和其他因素的影響。因此,在一個封閉的環境中,通過設計可控的重復實驗,觀察干預的結果,從而對社會理論進行定量驗證,是不太可能實現或者成本極高,而這恰恰是物理科學和其他自然科學得以螺旋式前進的基本方法。在這個前提下,預測尚未觀察或尚未發生的數據或事件,就成了檢驗理論正確性有效的手段。
另外,從更廣泛的意義上講,干預中必然包含預測,因為我們需要提前預測干預的結果,並且和真實的實驗結果做對比。由於干預工作的絕大部分工作量往往都集中在實驗設計和實施,所以我們往往忘記干預之前總是需要做預測的。一種可能的做法是,在干預實驗之前沒有理論和預測,而需要根據干預實驗的結果“重新發現”合適的理論,這種因果倒置的研究方法是極度危險的,因為理論模型會根據干預實驗的結果進行各種調整,從而變成一個過擬合的理論。以上林林總總,導致了社會科學領域的理論模型和實驗結果高度不可信。只有當一套理論解釋還能夠持續地、高精度地對尚未發生的事件進行預測時,我們才能真正信服。
得益於可獲取數據量的暴漲和計算能力的飛升,預測在現代社會學、經濟學、管理學乃至政治學中似乎已經開始並即將扮演統治性的重要地位!這些預測涉及我們可以想到和難以想到的方方面面:從一個人的民族、信仰、政治態度、性別取向,到一個人是否罹患抑鬱症;從社交網絡未來的演化,到生物網絡中未知的鏈接;從恐怖襲擊可能發生的時間和空間到各個國家和地區政治大選的終結果……在本書中,各位讀者還可以看到更多更奇妙的“可供預測的物件”,而在閱讀這本書之前,大家恐怕都不會想到這些物件也可以用科學的方式進行預測。
然而,預測絕不僅僅是一朵盛開的玫瑰,而是一朵帶刺的玫瑰。即便排除因為實驗人員有意識或者無意識驅動預測結果向有利於理論的方向滑動而帶來的問題、錯誤地使用數據和方法,以及錯誤地理解和應用預測的結果,都有可能帶來災難性的後果。下面我選擇三個較為重要的批判性論題,供各位讀者討論。
,預測中存在自證陷阱和自否偏差。預測都是在某種前提或環境下做出來的,而預測本身有可能改變這種環境。所以,我們看到的正確或者錯誤,有可能都是預測本身帶來的,而和預測結果沒有關係。首先,很多預測具有自證的特性。例如,基金委員會召集資深專家或者利用機器學習的方法,試圖預測未來學者能夠在哪些研究方向中做出顛覆性或系統性的貢獻。這就是一個典型的自證場景。因為無論是專家意見、機器學習還是隨機亂說,只要基金委員會處在正常的邏輯下,必然會大幅提高對這些“重要方向”的支持力度,那麼學者更可能在這些方向做出更多貢獻,而這又反過來證明了預測的正確性。其次,很多預測具有自否的特性。比如,我們通過對治安事件時空模式的分析,預測出了接下來一段時間容易出現街頭犯罪的場所,於是公安部門在相應的時間和地點增加了巡邏的警力,結果街頭犯罪量大幅降低。請問,這個預測本身是正確的還是錯誤的呢?又比如我們自動監測慢性腎病患者的用藥和飲食習慣,發現有一個患者經常不按時按量服藥並且不忌口,根據大量病歷樣本,我們預測他2年之後會轉為尿毒症。患者震驚於這個警告,然後改變了自己的習慣,盡可能配合醫囑,結果5年過去了,病情也沒有進一步發展。請問,這個預測本身是正確的還是錯誤的呢?
第二,數據偏差會降低預測結果的適用度。如果用於預測的數據不能很好地表示該理論或模型所應用或針對的目標群體,就會出現數據的表示偏差,這是常見的數據偏差之一。例如,想通過分析微博的語言來看整個中國民眾的情緒狀況和幸福水平,就可能會出現表示偏差,因為微博用戶全體或隨機抽樣會對年輕人“表示過度”而對老年人“表示不足”。因此,從微博數據中得到的中國民眾幸福水平,以及通過進一步文本分析獲取的中國民眾訴求,可能無法準確反映老年人的情況。也就是說,用被某來源數據訓練出來的模型,有可能對於該來源中表示不足的群體並不適用或者效果較差。如果把模型和結論用到其他來源的數據集中,則需要更加小心,因為一般而言都會存在表示偏差。例如 ImageNetA 中來自中國和印度的照片只占1% 和2%,因此直接用ImageNet 訓練出來的分類器在分類物品和人的時候,如果這個圖片來自中國或印度,其精確度就顯著低於平均水平。
第三,預測可能會加劇偏見和歧視。即便數據本身是真實的,如果數據中存在大量的負面內容,基於這些數據的預測結果就可能學會甚至放大與這些負面內容相關的偏見。例如,基於谷歌新聞、維基百科等超大規模歷史語料庫數據的預訓練模型(該模型的結果已經被廣泛應用於自然語言處理的各種分析和預測工作中)所得到的單詞的向量表示中,已經沉澱了嚴重的性別和倫理方面的刻板印象,比如詞語“護士”和女性高度相關,詞語“工程師”和男性高度相關,詞語“同性戀”與疾病、恥辱高度相關。我們現在努力消除的一些偏見可能在歷史語料庫中很常見,如果不加分辨地應用,聰明的預測算法可能很快就學會了這些偏見。
哪怕直接應用真實的數據,也可能導致加劇歧視的結果。在職場中性別歧視非常嚴重,例如某互聯網求職簡歷數據顯示,在同等學歷條件和行業背景下,女性要多工作5~10 年才能獲得和男性相當的薪水。使用這類數據進行職位推薦(本質上是預測你適合什麼樣的職位,然後把這個職位推薦給你),結果必然自帶歧視。例如,谷歌廣告系統的人工智能算法在推送職位招聘信息的時候,同等教育背景和工作經歷下的男性要比女性以高得多的頻率收到高收入職位的招聘信息。如果我們有一組人力資源數據,數據中顯示,每十個前1% 高年薪的高端職位中只有一位女性,於是“性別為女性”這個特徵值在獲得高端職位匹配預測中將是一個負面的因素,算法的結果自然也將避免給女性推送高端職位信息。在沒有基於大數據預測和推薦服務的情況下,男性和女性獲得高端職位信息的數量可能相差不大,這種情況下女性真正獲聘高端職位的可能性也遠低於男性。如今,計算機的自動服務在源頭上就讓女性獲得信息的機會更少,所以可以預測,女性獲得高端職位的比例將進一步降低,而這又再次降低新數據中女性獲得高端職位的比例,從而讓算法更少向女性推薦高端職位。這種惡性循環,會進一步加劇原本就存在的性別歧視和不公。
我們正在進入一個“一切皆可預測”的時代,但諸位手頭的這本《概率思維預測未來》,本質上不是講預測的,而是講概率論的,因此,我的序言起到的是拋磚引玉的作用。我只是借著寫序的地方,表達一些關於預測有好有壞的看法。
目次
譯者序 預測是一朵帶刺的玫瑰
前 言 人類將生存多久
部分 預測未來的概率思維
第 1 章 如何預測未來
簽署浮士德式的魔鬼條約,你就是那個待售的產品
時間的秘密算法,沒有什麼能夠長久
愛情統計學,我們的愛情還能持續多久
有多少百老匯音樂劇即將下映
你未來需要繼續等待的時間和你已經等待的時間一樣長
第 2 章 斯芬克斯之謎,關於概率的智力冒險
貝葉斯的魔力8號球
斯芬克斯之謎,我們為生死而戰
第 3 章 神奇的貝葉斯定理,做懷疑一切的人
貝葉斯的哲學
10還是1000,甕裡究竟有多少個球
合格的科學家,懷疑一切的人
第 4 章 暗黑推算史,哥白尼原理的啟示
卡特災難,觀察者的選擇效應
為什麼宇宙存在,而不是萬物虛無
關於末日論證的討論
哥白尼原理的啟示
末日之後的未來
第 5 章 末日論證的12場辯論,不從一次結果下結論,要找到更多的證據
我是特殊的個體
現在是特殊的時間
我們並不是亞當和夏娃
總有人在人類早期出生,但那個人為什麼不是我呢
沒有一本記錄全體人類的花名冊
末日論者預測的前後矛盾
末日論證無法被證偽
不能用舊證據進行預測
不能用主觀證據進行預測
永生之人可以幸免於世界末日
我們會進化成更高級的物種
主動尋找更多的證據
第 6 章 阿爾伯克基的24條狗,不需要先驗概率的預測方法
可以預測一切的萬金油
分形與尺度不變性
布拉德·皮特的錢包裡有多少現金
世界上長壽的人
第 7 章 嬰兒的名字與原子彈碎片,用林迪效應做預測
將齊普夫定律應用於時間
歷史越悠久的企業越擁有更光明的未來
巴菲特的價值投資,林迪效應的應用
對公司生存的預測也是人類歷史的縮影
第 8 章 “睡美人”悖論,硬幣朝上的可能性有多大
概率是錯誤的工具嗎
在遠方擁有一個兄弟姐妹的概率
鴨子還是兔子
第 9 章 放肆的哲學家悖論,擁有無限觀察者的貝葉斯定理
我們或許都將成為虛擬人
搶椅子遊戲中的椅子到底有多少
這是一部熱門戲劇嗎
存在無限的觀察者嗎
第 10 章 當人猿泰山遇到簡,深陷概率論的沼澤
忘記時間和位置,硬幣正面朝上的概率有多大
森林裡的貝葉斯
第 11 章 我們會死在射殺房裡嗎?同一事件的兩種不同概率
現在是後一輪射殺嗎
莫比烏斯環,同一事件的兩種不同概率
第 12 章 形而上的泡泡糖販賣機,我們的命運由連續的隨機事件決定
有順序的泡泡糖販賣機,還是隨機抽取的甕
加倍下注法與必輸的賭局
第二部分 用概率思維理解生命、思想和宇宙
第 13 章 理解模擬世界假說,在沒有數據的情況下,應該自己出去尋找數據
假設宇宙是在5分鐘前創建的,你要怎麼知道它不是呢
波斯特洛姆的三重困境
模擬世界可能實現嗎
有意識的虛擬人還是無意識的僵尸
真實的我還是仿真的我
尋找真相,檢驗模擬世界假說
或許我們會愛上這個“黑客帝國”
第 14 章 理解費米問題,缺乏證據並不意味著沒有證據
德雷克公式,到底存在多少種智能物種
馮·諾伊曼的探測器,可以自我復制的機器人
第 15 章 理解智能生命,觀察者的選擇效應
三種智能生命存在的假說
進化中的關鍵一步
混沌中的生物進化
第 16 章 理解人類的生存,為什麼我們從未遇見外星人
孤獨地生活在銀河系的人類
旅鼠與黑天鵝
第 17 章 理解潘多拉的魔盒,大家也許都有“好故事偏見”
物種歷史上的後一個錯誤
真空亞穩態,終的生態災難
消除其他物種的致命探測器
世界末日的時間表
第 18 章 理解多重世界,我們不該太在意零概率與極小概率之間的區別
薛定諤的貓,坍縮的波函數
沒有人或貓,是一座量子孤島
泰格馬克的量子自殺機
在某些量子世界中永生
死亡不是一件非黑即白的事情
多重世界沒有獨一無二的歷史
第 19 章 理解神奇數字1/137,一次偶然事件的結果不能推出過往的歷史
宇宙微調
1/137,上帝之手書寫的神奇數字
多重世界是一條擺滿鏡子的走廊,每個人都在無休止地重復
多重宇宙是真實的嗎
反賭徒謬論,這是第幾次擲骰子
愛因斯坦的概率問題
第 20 章 理解人工智能,評估不確定的風險
末日回形針,被打開的潘多拉魔盒
人工智能應該有一個能“關閉”的按鈕
機器統治世界的方式
人工智能,天堂還是地獄
結 語 對抗可能性的首要規則是永遠不要否認可能性
致 謝
注 釋
書摘/試閱
預測是一朵帶刺的玫瑰
從幾千年前的巫祝A開始,人類就開始預測未來。只不過那個時候的預測,往往是基於極其樸素的世界運行原理:例如以“水為萬物生長和運動之源”為核心的泰勒斯假說和以“對立、協同、轉換”為核心的陰陽學說;又或者一些重大事件之間的偶發聯繫,例如某一次日食後出現了持續數月的大旱。至於本書的重頭戲——關於末日的預測,在宗教與科學“相愛相殺”的人類歷史演進中,從來就沒有缺席過。然而,以現代科學的標準看,除了少量極其罕見的嚴肅討論外(本書將介紹幾乎所有有價值的討論),這類“預測”不過是人類的卑微理性在無常的自然和縹緲的未來面前無畏的掙扎罷了。
基於預測所使用的理論和方法的堅實程度以及相應的對於預測結果正確性的信念,我們可以大致把預測分為三類。一個是基於嚴格理論的預測結果,例如基於量子力學理論,預測某粒子在某時間段內出現在某區域內的概率。這種預測可以用來檢驗相應的物理理論是否正確。另一個是對未來的定性預言,這些預言往往來自未來學家和科幻作家,例如法國小說家儒勒·凡爾納(Jules Verne)在《從地球到月球》中對人類登月和在《海底兩萬裡》中對海底潛艇的預言,世界著名未來學家阿爾文·托夫勒(Alvin Tofer)在《第三次浪潮》中對互聯網科技時代的預言,以及法國預言家諾查丹瑪斯(Nostradamus)在《諸世紀》中對世界末日的預言,等等。這類預言更像是猜測而非預測,往往只能給出定性的判斷,而不能給出定量的精確度。有時,預言模糊到可以有不同的解釋方法,以至於連定性的判斷都做不到,例如我們對李淳風和袁天罡所著的《推背圖》的解讀。而我所感興趣的預測,是介於兩種之間的第三類:既沒有一套堅實的理論作為支撐,也不是漫無邊際的未來學說,而是基於手頭已經掌握的一些數據,利用概率統計、數據挖掘或者機器學習的方法,對未知的數據或者未來的發展進行的可量化的預測。
對於自然科學和努力向自然科學靠近的社會科學來說,“解釋—預測—干預”(或稱“解釋—預測—控制”)是我們回答科學問題的三部曲,其任務分別是:(1)提出理論模型,解釋已經觀察到的現象;(2)預測未被觀察到的數據或現象(可能是缺失的數據,也可能是未來才會發生的事件);(3)通過對真實系統進行具體的干預以達到提前預設的目標。針對一個現象“看起來正確”的解釋,並不能說明相應的理論或機制就是正確的,而僅僅是指出了一種正確的可能性。事實上,這種解釋的可信度往往都是比較低的。
很多社會科學研究都是典型的“事後諸葛亮”,當一個事件發生之後,總能提出一些經過修修補補的理論模型,對已經發生的事件給出定性正確甚至定量精確的解釋。自然科學亦是如此,通過添加越來越多的本輪和均輪,打了補丁的托勒密的地心說“茍延殘喘”了1500 多年。經濟學界有一句諺語,大意是“能預測經濟危機的理論一個也沒有,能解釋經濟危機的理論卻俯拾皆是”,從這個意義上來講,預測一般要難於解釋,正確預測對於理論正確性的背書力度也要強於解釋。當然,這裡的更難主要是指預測尚未發生的事,而不是缺失的數據,預測後者通常要更容易一些。正確的預測也可能翻車,比如地心說也可以成功預測很多天象,只是隨著測量精度的提升以及對預測精度要求的相應提高,錯誤的理論終究會破綻百出。與解釋和預測相比,成功的干預可以極大地增強我們對理論正確性和適用性的信心,因為在不知道或者弄錯了因果關係的前提下,恰好出現我們期望的干預結果的可能性是很小的。
盡管對於理論正確性的背書力度是干預超過預測、預測超過解釋,但我認為預測在科學研究,特別是社會科學研究中處於重要的位置,因為社會科學的研究物件具有極大的不完備性和不確定性。影響社會發展的因素數不勝數,任何理論都不可能將它們全盤納入,而單個因素也是不獨立且不穩定的,會受外部環境和其他因素的影響。因此,在一個封閉的環境中,通過設計可控的重復實驗,觀察干預的結果,從而對社會理論進行定量驗證,是不太可能實現或者成本極高,而這恰恰是物理科學和其他自然科學得以螺旋式前進的基本方法。在這個前提下,預測尚未觀察或尚未發生的數據或事件,就成了檢驗理論正確性有效的手段。
另外,從更廣泛的意義上講,干預中必然包含預測,因為我們需要提前預測干預的結果,並且和真實的實驗結果做對比。由於干預工作的絕大部分工作量往往都集中在實驗設計和實施,所以我們往往忘記干預之前總是需要做預測的。一種可能的做法是,在干預實驗之前沒有理論和預測,而需要根據干預實驗的結果“重新發現”合適的理論,這種因果倒置的研究方法是極度危險的,因為理論模型會根據干預實驗的結果進行各種調整,從而變成一個過擬合的理論。以上林林總總,導致了社會科學領域的理論模型和實驗結果高度不可信。只有當一套理論解釋還能夠持續地、高精度地對尚未發生的事件進行預測時,我們才能真正信服。
得益於可獲取數據量的暴漲和計算能力的飛升,預測在現代社會學、經濟學、管理學乃至政治學中似乎已經開始並即將扮演統治性的重要地位!這些預測涉及我們可以想到和難以想到的方方面面:從一個人的民族、信仰、政治態度、性別取向,到一個人是否罹患抑鬱症;從社交網絡未來的演化,到生物網絡中未知的鏈接;從恐怖襲擊可能發生的時間和空間到各個國家和地區政治大選的終結果……在本書中,各位讀者還可以看到更多更奇妙的“可供預測的物件”,而在閱讀這本書之前,大家恐怕都不會想到這些物件也可以用科學的方式進行預測。
然而,預測絕不僅僅是一朵盛開的玫瑰,而是一朵帶刺的玫瑰。即便排除因為實驗人員有意識或者無意識驅動預測結果向有利於理論的方向滑動而帶來的問題、錯誤地使用數據和方法,以及錯誤地理解和應用預測的結果,都有可能帶來災難性的後果。下面我選擇三個較為重要的批判性論題,供各位讀者討論。
,預測中存在自證陷阱和自否偏差。預測都是在某種前提或環境下做出來的,而預測本身有可能改變這種環境。所以,我們看到的正確或者錯誤,有可能都是預測本身帶來的,而和預測結果沒有關係。首先,很多預測具有自證的特性。例如,基金委員會召集資深專家或者利用機器學習的方法,試圖預測未來學者能夠在哪些研究方向中做出顛覆性或系統性的貢獻。這就是一個典型的自證場景。因為無論是專家意見、機器學習還是隨機亂說,只要基金委員會處在正常的邏輯下,必然會大幅提高對這些“重要方向”的支持力度,那麼學者更可能在這些方向做出更多貢獻,而這又反過來證明了預測的正確性。其次,很多預測具有自否的特性。比如,我們通過對治安事件時空模式的分析,預測出了接下來一段時間容易出現街頭犯罪的場所,於是公安部門在相應的時間和地點增加了巡邏的警力,結果街頭犯罪量大幅降低。請問,這個預測本身是正確的還是錯誤的呢?又比如我們自動監測慢性腎病患者的用藥和飲食習慣,發現有一個患者經常不按時按量服藥並且不忌口,根據大量病歷樣本,我們預測他2年之後會轉為尿毒症。患者震驚於這個警告,然後改變了自己的習慣,盡可能配合醫囑,結果5年過去了,病情也沒有進一步發展。請問,這個預測本身是正確的還是錯誤的呢?
第二,數據偏差會降低預測結果的適用度。如果用於預測的數據不能很好地表示該理論或模型所應用或針對的目標群體,就會出現數據的表示偏差,這是常見的數據偏差之一。例如,想通過分析微博的語言來看整個中國民眾的情緒狀況和幸福水平,就可能會出現表示偏差,因為微博用戶全體或隨機抽樣會對年輕人“表示過度”而對老年人“表示不足”。因此,從微博數據中得到的中國民眾幸福水平,以及通過進一步文本分析獲取的中國民眾訴求,可能無法準確反映老年人的情況。也就是說,用被某來源數據訓練出來的模型,有可能對於該來源中表示不足的群體並不適用或者效果較差。如果把模型和結論用到其他來源的數據集中,則需要更加小心,因為一般而言都會存在表示偏差。例如 ImageNetA 中來自中國和印度的照片只占1% 和2%,因此直接用ImageNet 訓練出來的分類器在分類物品和人的時候,如果這個圖片來自中國或印度,其精確度就顯著低於平均水平。
第三,預測可能會加劇偏見和歧視。即便數據本身是真實的,如果數據中存在大量的負面內容,基於這些數據的預測結果就可能學會甚至放大與這些負面內容相關的偏見。例如,基於谷歌新聞、維基百科等超大規模歷史語料庫數據的預訓練模型(該模型的結果已經被廣泛應用於自然語言處理的各種分析和預測工作中)所得到的單詞的向量表示中,已經沉澱了嚴重的性別和倫理方面的刻板印象,比如詞語“護士”和女性高度相關,詞語“工程師”和男性高度相關,詞語“同性戀”與疾病、恥辱高度相關。我們現在努力消除的一些偏見可能在歷史語料庫中很常見,如果不加分辨地應用,聰明的預測算法可能很快就學會了這些偏見。
哪怕直接應用真實的數據,也可能導致加劇歧視的結果。在職場中性別歧視非常嚴重,例如某互聯網求職簡歷數據顯示,在同等學歷條件和行業背景下,女性要多工作5~10 年才能獲得和男性相當的薪水。使用這類數據進行職位推薦(本質上是預測你適合什麼樣的職位,然後把這個職位推薦給你),結果必然自帶歧視。例如,谷歌廣告系統的人工智能算法在推送職位招聘信息的時候,同等教育背景和工作經歷下的男性要比女性以高得多的頻率收到高收入職位的招聘信息。如果我們有一組人力資源數據,數據中顯示,每十個前1% 高年薪的高端職位中只有一位女性,於是“性別為女性”這個特徵值在獲得高端職位匹配預測中將是一個負面的因素,算法的結果自然也將避免給女性推送高端職位信息。在沒有基於大數據預測和推薦服務的情況下,男性和女性獲得高端職位信息的數量可能相差不大,這種情況下女性真正獲聘高端職位的可能性也遠低於男性。如今,計算機的自動服務在源頭上就讓女性獲得信息的機會更少,所以可以預測,女性獲得高端職位的比例將進一步降低,而這又再次降低新數據中女性獲得高端職位的比例,從而讓算法更少向女性推薦高端職位。這種惡性循環,會進一步加劇原本就存在的性別歧視和不公。
我們正在進入一個“一切皆可預測”的時代,但諸位手頭的這本《概率思維預測未來》,本質上不是講預測的,而是講概率論的,因此,我的序言起到的是拋磚引玉的作用。我只是借著寫序的地方,表達一些關於預測有好有壞的看法。
主題書展
更多書展今日66折
您曾經瀏覽過的商品
購物須知
大陸出版品因裝訂品質及貨運條件與台灣出版品落差甚大,除封面破損、內頁脫落等較嚴重的狀態,其餘商品將正常出貨。
特別提醒:部分書籍附贈之內容(如音頻mp3或影片dvd等)已無實體光碟提供,需以QR CODE 連結至當地網站註冊“並通過驗證程序”,方可下載使用。
無現貨庫存之簡體書,將向海外調貨:
海外有庫存之書籍,等候約45個工作天;
海外無庫存之書籍,平均作業時間約60個工作天,然不保證確定可調到貨,尚請見諒。
為了保護您的權益,「三民網路書店」提供會員七日商品鑑賞期(收到商品為起始日)。
若要辦理退貨,請在商品鑑賞期內寄回,且商品必須是全新狀態與完整包裝(商品、附件、發票、隨貨贈品等)否則恕不接受退貨。