統計的假象：拆穿混淆的假設、揪出偏差的數據、識破扭曲的結論，耶魯大學最受歡迎的十八堂公開課

★2013年諾貝爾經濟學獎得主、《釣愚：操縱與欺騙的經濟學》作者羅伯‧席勒（Robert J. Shiller）重磅推薦
★全美各大名校經濟學教授一致讚譽

為什麼我們用毫無意義的統計資料來引領思考與行動？
為什麼我們相信電腦從不犯錯，不管丟什麼垃圾進去，吐出的數據都是真理？
為什麼專家欺騙我們，而我們也常欺騙自己？
把統計當工具前，先搞懂統計常識！
運用數據做決定前，先學會不被數據欺騙！

每天喝兩杯咖啡會增加罹癌風險？
在農曆五行中的火年出生的人更容易死於心臟病？
卓越的公司有共同的成功特質與模式？
自殺傾向和出生月份有關？

數據可以幫助我們評估局勢，做出良好選擇；
數據也可能誤導我們，做出錯誤決策。
大數據時代，
問題不再是沒有足夠資訊做判斷，而是如何不被眼前的資料誤導。

到底該不該喝咖啡？每天該喝幾杯咖啡？
該選擇哪家航空公司？
如何投資？運彩怎麼買？

當數據會影響你的日常決策，
當騙子也習慣用數據說話，
你更需要學會辨識隱藏在數字背後的陷阱與詭計。

耶魯大學教授運用基本統計學原理，
只要會加減乘除，就能揭穿日常生活中的各種數據騙局，
並傳授避免落入數字陷阱的簡單準則：

◎為什麼我們容易被數據欺騙？
人們容易被模式、解釋模式的理論吸引，有意或無意地忽略與之矛盾的數據。

◎數據如何欺騙我們？
‧忽略干擾因素：章魚保羅預測世界盃賽事結果成功率高達九成，但該結論忽略了章魚偏好橫向條紋圖案的因素，它只是選擇自己喜歡的國旗樣式。

‧倖存者偏差：對於敵軍最常攻擊飛機哪些部位的觀察，不會包含那些已經被擊落無法返航的飛機。對航空公司滿意度的調查，不會包含那些只搭過一次就不再來的乘客。

‧變形的圖像：圖像可以幫助我們解讀數據，但也可能扭曲或破壞數據。一旦省略數據、顛倒數軸或使用不一致的數軸間隔，將形成截然不同的圖表，產生誤導。

◎如何區分真確與胡謅？
‧常識判斷：對於看似嚴謹，但不太合常理的說法，應尋求壓倒性的證據支持。
‧新數據檢驗：採集新的資料，對既有的解釋進行檢驗。

【好評推薦】

這是本非常有趣的書，卻揭示了非常嚴重的問題。我們經常會被數據愚弄，是時候拆穿這些詭計了！
──諾貝爾獎經濟學得主、《釣愚：操縱與欺騙的經濟學》作者 羅伯‧席勒（Robert J. Shiller）

很有趣，很八卦，卻很有見地，本書注定會成為經典。蓋瑞‧史密斯分析無數因相信數據而吃虧的案例，來告訴讀者該如何避免，這比單純講大道理有用的多了。
──加州大學洛杉磯分校（UCLA）統計學系教授 愛德華‧E‧利默（Edward E. Leamer）

蓋瑞．史密斯的《統計的假象》非常有趣，利用各種例子使讀者真正理解統計學，同時發現自己過去很多知識都是錯誤的。
──哈佛大學政治經濟學教授 班傑明‧M‧傅利曼（Benjamin M. Friedman）

本書幫助我們在統計學氾濫的時代，學會認清真正有效的數據。
──貝萊德（BlackRock）投資管理公司總經理 布萊恩‧懷特（Brian White）

【作者簡介】

蓋瑞．史密斯（Gary Smith）
耶魯大學經濟學博士，並在耶魯大學任教七年，期間兩度獲得教學獎。其研究成果獲得彭博廣播（Bloomberg Radio Network）、CNBC、《富比士》（Forbes）、《紐約時報》、《華爾街日報》、《新聞週刊》（Newsweek）、美國《商業週刊》（BusinessWeek）、理財網站the Motley Fool 報導。

【譯者簡介】

劉清山
清華大學畢業，譯有《物種起源》（On the Origin of Species）、《橫向領導》（Getting it Done）。

序言

我們生活在大數據時代。高性能電腦和全球網路的強大組合正得到人們的讚美，甚至推崇。專家不斷告訴我們，他們發現了一種新的能力，可以篩選巨量資料並發現真相，這將為政府、商業、金融、醫療、法律以及我們的日常生活帶來革命。我們可以做出更明智的決策，因為強大的電腦可以分析資料，發現重要的結論。

也許事實的確如此，也許未必。有時，這些無所不在的資料和偉大、光明正確的電腦會得出一些非常怪異的結論。例如，有人一本正經地宣稱：

‧凌亂的房間會強化人們的種族主義傾向。
‧還未出生的小雞胚胎會影響電腦的隨機事件生成器。
‧當政府負債相對國內生產總值的比率超過百分之九十時，國家幾乎一定會陷入衰退。
‧在過去二十年美國犯罪率下降的原因中，合法墮胎的比例高達百分之五十。
‧如果每天飲用兩杯咖啡，將大為提高罹患胰腺癌的風險。
‧最成功的公司傾向於變得不那麼成功，最不成功的公司傾向於變得更加成功，因此過不久，所有公司都會淪為普通的公司。
‧出現在雜誌《運動畫刊》（Sports Illustrated）和電玩《勁爆美式足球》（Madden NFL）封面上的運動員會受到詛咒，他們可能會陷入平庸，或者受到運動傷害。
‧生活在高壓電線桿附近的兒童具有更大的罹癌風險。
‧人類有能力將死亡推遲到重大儀式過後。
‧亞裔美國人更容易在每月四號突發心臟病。
‧如果一個人的姓名首字母縮寫擁有積極的含義（比如ACE），那麼他可以多活三到五年。
‧平均來說，教名（第一個名字）以字母D開頭的棒球運動員的壽命比教名以字母E到Z開頭的運動員短兩年。
‧臨終病人可以被幾千英里以外傳送過來的積極心理能量治癒。
‧當NFC冠軍球隊贏得超級盃（美國超級盃總決賽在國家聯合會〔National Football Conference〕和美國聯合會〔American Football Conference，AFL〕分別比賽產生的冠軍之間舉行）時，股市幾乎一定會上漲。如果你購買股息率最高、每股價格第二低的道瓊工業平均指數，你就可以跑贏大盤。

這些說法顯然是錯誤的。不過，許多與此類似的說法每天都會出現在報紙和雜誌上。在如今的資訊時代，我們用沒完沒了而又毫無意義的資料指導我們的思想和行動。不難看出為什麼我們會反覆得出錯誤的推論，制定糟糕的決策。即使能夠得到比較充足的資訊，我們也不會永遠注意到數據的偏差性和無關性，或者科學研究的缺陷和誤導性。我們傾向於相信電腦從不犯錯，認為不管我們把什麼樣的垃圾扔進去，電腦都會吐出絕對真理。這種想法不僅存在於外行人的日常生活中，也存在於專業人員嚴肅認真的研究工作中。舉凡在流行刊物、電視、網路、競選活動、學術期刊、商業會議、法庭，政府聽證會，此類現象屢見不鮮。

幾十年前，資料非常稀少、電腦還沒有出現時，研究人員需要努力蒐集優質資料並進行審慎的思考，然後花費幾個小時甚至幾天的時間，從事艱苦的計算工作。現在，面對豐富的資料，研究人員通常不會花費太多的時間區分優質資料和垃圾，或者區分合理分析和垃圾科學。更糟糕的是，我們常常不假思索地認為，我們對大量資料的處理永遠不會出錯。我們匆匆忙忙地根據這些機器發出的夢囈制定決策――比如在經濟衰退期間提高稅賦，將我們一生的積蓄交給一些說得天花亂墜的財務分析師，根據最新的管理理念制定商業決策，用醫療騙術危害我們的健康――更糟糕的是，我們還會放棄心愛的咖啡。

英國經濟學家羅納德．寇斯（Ronald Coase）曾經嘲諷道：「如果你拷打資料足夠長的時間，它一定會招供。」《統計的假象》考察了幾十個扭曲的結論。只需片刻的思考，你就會發現這些結論的問題。有時，無恥之徒故意用這些說法來誤導我們。有時，天真快樂的研究人員並沒有意識到他們所製造的惡作劇。

我寫這本書的目的是幫助我們遠離錯誤──包括外部錯誤和自己造成的錯誤。你將學到一些簡單的指導準則，用於測試其他人或者你自己說出的不可靠的觀點。人們用數據欺騙我們，我們也經常用數據欺騙自己。

序言

第一章　模式、模式、模式
混雜效應／選擇性報告與謊言／易受欺騙的本性／無論文，不生存／統計顯著性膜拜

第二章　不再神奇的超級暢銷書
去最好的學校／投票人數越多越好？／一醉方休／放下遙控器／請原諒我的直白／只有弱者留下來／受損的飛機／暢銷書的祕密

第三章　被誤傳的謀殺之都
麻州謀殺之都／請在我家後院開一座採石場

第四章 新的經濟學上帝
政府債務臨界點／相關性等同於因果關係？／墮胎會減少犯罪嗎？／是我的錯

第五章 洋基隊的門票真的划算嗎？
我的天哪／虛驚一場／讓他們吃蛋糕吧／有彈性的數線／將惡作劇翻倍／學生謊言／洋基隊的門票很划算／圖像的製作藝術

第六章 美國有多少非裔職業運動員？
蒙提霍爾問題／一個名叫佛羅里達的女孩／條件機率的混淆／假陽性問題／罕見病問題／達特茅斯鮭魚研究

第七章 辛普森悖論
某人的悖論／我要再來一杯咖啡

第八章 狀態火熱的雷．艾倫
小數定律／一項籃球研究／小華特．威廉姆斯／投擲馬蹄鐵／保齡球

第九章 勝者的詛咒
回歸平均值／西克理斯特的愚蠢／古老的謬誤何曾消亡？／道瓊指數落榜生／冠軍窒息／尋找學院院長和靈魂伴侶

第十章 如何改運？

第十一章 德州神槍手
癌症聚集恐慌

第十二章 終極拖延
死亡凹陷和尖峰／經過進一步研究／午夜的月餅／漫長的告別

第十三章 黑色星期一
火箭科學／巴斯克維爾的獵犬／五行噩運／花押決定論

第十四章 魔球
棒球迷信／如果你給我一個D，我就會死（die）／糟糕的出生月份／名人堂的死亡之吻

第十五章 特異功能真的存在嗎？
超感知覺／胡迪尼的挑戰／一個家庭對超自然現象的著迷

第十六章 彩券是一種智商稅
目之所及／我們都將為IBM工作／股票是一種不錯的投資／跑贏大盤（或者說為什麼我喜愛包裝工隊）／傻瓜四股／反向頭肩／如何（不）中彩券／不會破裂的泡沫／南海泡沫／波克夏泡沫／真實股價

第十七章 超級投資者
寬客／收斂交易／我只看數據／在推土機面前撿硬幣／閃電崩盤

第十八章 增長的極限
窮途末路

第十九章 何時相信，何時懷疑
被模式誘惑／具有誤導性的資料／變形的圖像／缺乏思考的計算／尋找混雜因素／手氣好／回歸平均值／平均定律／德州神槍手／當心經過剪裁的資料／缺乏理論的資料僅僅是資料而已／缺乏資料的理論僅僅是理論而已／美好的出生日

參考資料

第二章 不再神奇的超級暢銷書（節錄）

投票人數越多越好？

美國只有大約一半的合格選民在總統選舉中投票。為了提高這個百分比，一個有趣的建議是將不投票的人的名字張貼在當地報紙或者互聯網上，以便使他們感到羞愧。二○一四年，《紐約時報》提出了一個更加激進的解決方案：

懲罰和監禁是導致人們不再參與政治（比如投票或政治實踐）的兩個原因……一份針對美國城市最邊緣群體的大規模調查發現，在曾被員警攔截和盤問的群體中，投票機率降低了八％；在曾被逮捕的群體中，投票機率降低了十六％；在被定罪的群體中，投票機率降低了十八％；在曾經遭到拘留或監禁的群體中，投票機率降低了二十二％。

這段文字顯然暗示了這樣一條資訊：如果減少逮捕和定罪，投票率將得到極大的提高。

在解雇員警之前，別忘了，這些資料都是觀測性資料。也許，遭到盤問、逮捕和定罪的人並不是從人群中隨機選擇的。也許，他們曾經犯下罪行。也許，不投票的人更有可能犯罪，減少逮捕和定罪並不會提高投票率。

一醉方休

飲酒是一個長期困擾許多大學的問題，而且常常是輟學的一個驅動因素。即使校園內部禁酒，一些學生也會令人遺憾地在周圍街區由於醉酒而遭到逮捕。學生為自己被逮捕而苦惱，教授為學生不學習而苦惱，家長為大學沒有監督和保護自己的兒女而苦惱。

「替代父母」原則意味著大學在法律上擁有保護學生、不讓他們做出錯誤決定的權力和職責。這個原則的應用經歷了許多波折。不過，許多大學完全有理由感到擔憂。一些學生和家長曾經控告學校沒能盡到家長的義務。逮捕和死亡事件對入學申請也會產生負面影響，而入學申請又是大學的生命線。

一九八四年，維吉尼亞理工學院（Virginia Polytechnic Institute and State University）心理學教授E．史考特．蓋勒（E. Scott Geller）在美國心理學協會的年度會議上發表了一篇研究論文，介紹了他在維吉尼亞理工學院附近的三家酒吧裡觀察到的現象。（這比待在科學實驗室裡要有趣得多！）他發現，平均而言，以桶為單位要啤酒的人喝下的啤酒是以杯或瓶為單位要啤酒的人的兩倍以上。他的結論是：「如果我們禁止使用啤酒桶，飲酒問題將會得到重大改善。」這一結論在全美國境內發表了。

蓋勒發表過超過三百五十篇研究論文，並且憑藉將行為科學運用到現實生活中的出色表現，獲得了大學校友傑出研究獎和校友服務獎。不過，上面這項研究不在他那些優秀研究的範圍之內。根據常識，我們知道，這項研究中存在自我選擇偏誤，因為以桶為單位要啤酒的人一定是想一醉方休，而且他們通常能夠實現這個目標。他們也許面臨著某種將花過錢的啤酒喝完的心理壓力，但即使換成酒杯或酒瓶，豪飲者也不會改變自己大量飲酒的意願。

在漫長而多產的職業生涯中，蓋勒對大學飲酒問題進行了許多研究，在進行上述酒吧研究的二十七年以後，在二○一一年美國心理學協會會議上，他承認了一個顯而易見的事實：許多大學生「想要一醉方休……我們在多項研究中指出，他們的意圖會影響他們的行為。如果他們想要喝醉，那麼你很難阻止這件事的發生。」

放下遙控器

電視頻道如此眾多，精采節目卻寥寥無幾。照本宣科的真人秀；由缺乏才能的選手參與的才藝競賽；某博士告訴人們（可能是演員）他們很優秀；某鑒定專家告訴人們（可能是演員）他們很愚蠢；喜劇節目不斷出現令人討厭的背景笑聲。也許，看電視時關掉聲音會讓人減少幾分痛苦？

美國最受尊重的廣播和電視新聞工作者愛德華．R．默羅（Edward R. Murrow）曾說過：「電視的主要用途是欺騙和孤立我們，轉移我們的注意力，逗我們開心。「這是一九五八年的事情，那是所謂的「電視黃金時代」。 時至今日，情況並沒有任何好轉。

科學家很早就知道，看電視會使人的腦電波從敏捷而符合邏輯的貝塔波轉變成放鬆而發散的阿爾法波。美國動畫師加里．拉爾森（Gary Larson）製作了一集優秀的動畫片，名為《電視機產生之前的日子》（In the days before television），展示了一家人懶洋洋地躺在地板和沙發上、盯著一面空白牆壁的情景。

不管你觀看的是空白的牆壁還是閃閃發光的「燈箱」，這種無須動腦的注視（常常伴隨著心不在焉的吃喝）都會為你帶來危害。二○一一年，一群研究人員報告說，在澳大利亞，每天用六個小時看電視的人比從不看電視的人平均早死五年。簡單計算一下，你會發現，在二十五歲以後，每看一個小時電視，壽命預期就會減少二十二分鐘。你不僅在茫然的凝視中浪費了一個小時，而且額外失去了二十二分鐘的生命。考慮到人們一生中看電視的習慣，研究人員得出的結論是，如果以法律形式禁止看電視，人們的壽命預期可以提高兩年左右。

和之前一樣，問題在於，這些資料是具有自我選擇偏誤的觀測性資料。也許，同那些擁有更加有趣的事情去做、而且自身健康狀況足以支持他們這樣做的人相比，選擇整天看電視的人更加安靜，更加抑鬱，或者健康狀況不是很理想。要想進行有效的實驗，我們應該選擇兩個小組，禁止一組看電視，強迫另一組每天看六個小時電視。如果我被隨機分到禁止看電視的小組，我會感到難過的。

暢銷書的祕密

在撰寫暢銷書《從A到A+》（Good to Great），美國管理學家吉姆．柯林斯（Jim Collins）及其研究團隊花了五年時間，考察了一千四百三十五家公司四十年的歷史，發現了股價表現優於平均水準的十一家公司：

雅培（Abbott Laboratories）、電路城（Circuit City）、房利美（Fannie Mae）、吉列（Gillette）、金百利（Kimberly-Clark）、克羅格（Kroger）、紐柯（Nucor）、必能寶（Pitney Bowes）、沃爾格林（Walgreens）、富國銀行（Wells Fargo）、菲力浦•莫里斯（Philip Morris）

柯林斯對十一家大公司進行了一番詳細檢查，發現了一些共同特點，並為每個特點起了一個吸引眼球的名字，比如第五級領導者――具有謙遜的個人品質和職業驅動力、能夠將公司打造成卓越企業的領導者。

柯林斯將他的工作描述成「尋找適用於一家組織的永恆而普遍的答案」。通過研究，他找到了他所尋找的寶藏：「只要認真使用我們所發現的思想框架，幾乎任何組織都可以極大提高自身的境界和表現，甚至成為一家卓越的組織。」那些想要相信他的讀者的確相信了他。《從A到A+》的銷量突破了四百萬冊，而且進入了一些史上最佳管理類書籍的排行榜之中。

當然，問題在於，這是一項存在倖存者偏差的回溯性研究。下面是正確的研究方法。首先，選擇這個四十年時間段開始時存在的一組公司。它們可以是標準普爾五百指數（Standard & Poor's 500）中的所有公司，紐約股票交易所的所有上市公司，或者其他某個名單上的公司。重點是，這份名單應當始於四十年前。接著，使用看上去合理的標準預測出表現優於其他公司的十一家公司。這些標準必須具有客觀性，不能參考這些公司未來四十年的表現。先去查看哪些公司表現出色，然後再去預測哪些公司表現出色的做法是不公平的，也是沒有意義的。這不是預測，只是回顧。

在選定十一家公司以後，我們可以比較他們與其他公司在接下來年時間裡的表現。如果柯林斯是這樣做的，那麼十一家公司中的某些公司無疑會令人失望。一些公司可能會破產。一些公司可能不會被他選中。這就是世界的殘酷性。不過，這也將是一種公平的比較。

柯林斯並沒有這樣做。他在四十年時間段結束時選擇了十一家成功的公司，以確保它們不會令人失望。柯林斯曾寫道，他「直接根據資料進行了經驗性推斷，得出了所有概念」。他覺得他在宣楊自己的研究具有專業性，沒有偏差；這些內容不是他編造出來的；他的一切觀點都是通過資料推導出來的。

實際上，柯林斯承認了他對一些公司的表現優於其他公司的原因一無所知。他告訴人們，他對「根據資料推導理論」的危險性渾然不覺。為了支持這種理論在統計上的合法性，柯林斯找到了科羅拉多大學的兩位教授。一位教授說：「你的框架中的概念隨機出現的機率幾乎為零。」

另一位教授說得更加具體，他說道：「這十一家公司的員工表現出了你所發現的主要特點，而他們的直接比較物件並不具備這些特點。那麼，隨機找到這樣十一家公司的機率是多少呢？」根據他的計算，這個機率不到一千七百萬分之一。柯林斯的結論是：「找到十一個恰好具有我們所尋找『從優秀到卓越』模式的隨機事件的可能性幾乎為零。我們可以充滿信心地得出結論：我們所找到的特點與從優秀到卓越的轉變存在緊密的聯繫。」

我不知道這個一千七百萬分之一的機率是如何計算出來的（我聯繫了這位教授，他說他不記得了），但我至少知道它是不正確的。這位教授的計算假定這五個特點是在查看資料之前確定的。事實並非如此，因此這種計算沒有任何意義。正確的機率不是一千七百萬分之一，而是一。沒錯，是百分之百。

假設我抓到了五張撲克牌：黑桃3、黑桃8、方片8、紅桃Q、黑桃A。這不是很神奇嗎？抓到這把牌的可能性大約是三百萬分之一，但它竟然出現在我的眼前！如果我在抓牌之前正確預測出了這五張牌，那才是一件神奇的事情。不過，如果我在抓到這把牌以後再去預測，那就一點也不神奇了。在我看到這把牌以後，擁有這五張牌的機率是一，不是三百萬分之一。

如果我們回顧歷史上的任何一組公司，不管是最優秀的公司還是最糟糕的公司，我們總能發現一些共同特點。瞧，柯林斯選擇的十一家公司的名字裡都有一個字母i或r，有幾家公司既有i又有r。從優秀到卓越的關鍵，是確保公司名稱中有一個i或r嗎？當然不是。

先選擇公司、然後尋找共同特點的做法既不令人意外，也不令人感興趣。真正有趣的問題是，這些共同特點是否能夠預測哪些公司將在未來取得成功。

對於上面十一家公司來說，答案是否定的。房利美的股價從二○○一年的每股八十美元以上變成了二○○八年的每股不到一美元。電路城在二○○九年破產。在《從A到A+》出版以後，其他九家公司在股市上的表現非常平庸。從圖書出版到二○一二年，五檔股票的表現優於股市整體水準，六檔股票的表現不如股市整體水準。

二十年前，另一部關於企業的暢銷書做了一件非常類似的事情，這件事也存在完全相同的問題。這種迴圈現象給我們帶來的真正教訓是，寫作這些書籍的作者和購買這些書籍的數百萬讀者沒有意識到書中的本質缺陷。

世界頂級顧問公司之一麥肯錫公司，要求兩名默默無聞的顧問湯姆．彼得斯（Tom Peters）和羅伯特．沃特曼（Robert Waterman）研究幾家成功的公司。彼得斯和沃特曼與麥肯錫的其他顧問談話，列出了四十三家擁有良好聲望和雄厚資金的公司。接著，他們與經理談話，並且閱讀雜誌上的故事，從中尋找共同的主題。根據這項相當隨意的研究，他們寫出了一部極具影響力、極為成功的書籍《追求卓越》（In Search Of Excellence）。此書列出了彼得斯和沃特曼在四十三家優秀公司中發現的八個共同因素，比如偏好行動和接近顧客。這也是一項回溯性研究。我們無法知道「偏好行動」（不管這種說法的含義是什麼）的公司是否比其他公司更加成功，或者過去表現出色的公司能否在未來表現出色。

在這四十三家公司中，三十五家公司擁有公開交易的股票。在這本書出版以後，十五家公司的表現優於股市的整體水準，二十家公司的表現不及股市的整體水準。柯林斯、彼得斯和沃特曼並沒有提供任何證據，證明他們所描述的特點是這些公司過去取得成功的原因。要想做到這一點，他們需要提供這些特點的理論證據，在不知道公司擁有或沒有這些特點的情況下選擇公司，然後根據某種事先確定的衡量標準監督他們的表現。這些作者並沒有開展這樣的工作。

對成功的企業、婚姻和人生進行回溯性研究的所有書籍都存在這個問題，包括成功企業、持久婚姻、活到百歲的方法／祕密／訣竅等。這類書籍存在固有的倖存者偏差。如果我們覺得自己知道成功的任何祕密，一個有效的檢驗方法是找到擁有這些特點的企業或個人，然後查看他們未來十年、二十年或五十年的表現。否則，我們僅僅是在考察過去，而不是在預測未來。