人性較量:我們憑什麼勝過人工智慧?
商品資訊
系列名:FOCUS
ISBN13:9789869406994
替代書名:The Most Human Human: What Artificial Intelligence Teaches Us About Being Alive
出版社:行路
作者:布萊恩・克里斯汀
譯者:朱怡康
出版日:2018/05/09
裝訂/頁數:平裝/320頁
規格:23cm*17cm*2cm (高/寬/厚)
重量:494克
版次:1
適性閱讀分級:616【九年級】
商品簡介
西洋棋大師卡斯帕洛夫與超級電腦交手落敗後,為何這麼說?
人類與人工智慧的關係,是「你輸我才贏」的零和賽局?
●《麻省理工科技評論》年度最佳書籍、亞馬遜書店電腦科學Top 1著作《決斷的演算》(Algorithms to Live By)合著者克里斯汀,另一部探討「人機關係」的佳作!
●讀者評道:「我在資訊科技領域工作超過二十年,這本書仍讓我看到新面向。」
――――――
電腦原本是我們仿人腦的傑作,不意隨著它們的運算能力越來越強大,在許多領域打敗人類,人工智慧開始威脅我們的「自我感覺」,令我們質疑起原本自豪的能力,甚至認為它將取代人類。不過實際發展就如認知科學學者侯世達所說:「雖然我們不斷開發人工智慧,但每次在AI領域更進一步,不但沒有逐漸形成何謂真正智能的共識,反而一再揭露真正的智能不是什麼。」本書作者藉由自己「代表人類」參加圖靈測驗與電腦決勝負的準備經驗,耙梳了電腦科學領域數十年來的關鍵突破與研究重心的轉變,探討人工智能如何成為我們的「對照組」,提醒著我們人類哪些特質難以取代,人工智慧又可以在哪些地方成為我們的互補。
❖圖靈測驗是什麼?
「如果有一天我們造出精巧到可說能思考的機器,要怎麼知道它有這個能耐?」電腦科學先驅艾倫・圖靈為了解答上述問題提出一項實驗:分別讓電腦程式和真人參賽,由評審團透過電腦終端機向他們提問,再分辨哪個是人、哪個是電腦――人工智慧(AI)族群年度盛事「圖靈測驗」(羅布納獎)就是依此創立的。不論有沒有程式通過圖靈測驗(騙過三成評審),比賽都由得到最高票和最多信心分數的程式獲勝,頒予「最人模人樣電腦獎」;獲得最高票和最多信心分數的人,則會獲頒「最人模人樣人類獎」――換句話說,與其他「人機對決」不同的是,圖靈測驗較量的乃是「人性」。
❖圖靈測驗跟你我每日的生活都有關……
加快簡訊打字速度很依賴「預測」演算:手機要能猜出你接下來想打什麼字、要能自動更正錯字,要會很多諸如此類的事。能像人一樣穩定預測你想打什麼字的手機,就跟能像人一樣回信給你的程式一樣聰明,因此生活在資訊時代,你我可說經常不知不覺進行著圖靈測驗……
●這本書從聊天機器人的基本設計和發展談起,從人腦與電腦的競賽切入,帶讀者了解電腦和AI這幾十年的關鍵進展,以及它讓我們對自己產生什麼新認識。作者認為:與其把過去幾十年看成機器對抗人類的競爭,不如說我們與機器在同一陣線,必須學習與他們共存。而既然我們對電腦的長處已充分了解,那麼更該「重新發現」自己的特色――換句話說,我們該去了解人何以為人。
作者簡介
布萊恩・克里斯汀曾與湯姆‧葛瑞菲斯(Tom Griffiths)合著《決斷的演算》(Algorithms to Live By),該書榮獲《麻省理工科技評論》年度最佳書籍,以及亞馬遜書店年度最佳科學書籍,甫上市便登上亞馬遜書店「認知科學類」、「電腦科學類」和「商務決策與問題解決類」第一名,有聲書亦銷售亮眼。《決斷的演算》在台灣由行路翻譯出版。
克里斯汀於布朗大學取得哲學、電腦科學與詩學學位,曾擔任加州大學柏克萊分校「認知與大腦科學中心」訪問學者,以及雅朵藝術村與麥道爾藝術村駐村藝術家,作品曾獲「美國最佳科學與自然寫作獎」,亦曾獲得美國詩學會獎項,曾應Google、Facebook、微軟、聖塔菲研究所和倫敦政經學院等機構之邀前往演講。他的文章散見於《紐約客》、《大西洋月刊》、《連線》、《華爾街日報》、《衛報》、《巴黎評論》及《認知科學》等科學期刊,此外他積極參與自由軟體行動,也熱中駭客活動,目前住在舊金山。
譯者簡介 朱怡康
專職譯者,守備範圍以宗教、醫療、政治與科普為主。譯有《自閉群像:我們如何從治療異數, 走到接納多元》、《偏見地圖1:繪製成見》、《偏見地圖2:航向地平線》、《塔木德精要》、《跟教宗方濟各學領導》、《資訊分享,鎖得住?還在抱怨盜版?可是,網路科技已經回不去了!》、《複製、基因與不朽》(合譯)等書。其他歷史、科普譯作散見於《BBC知識》月刊。
名人/編輯推薦
○讀者好評2:
「在我印象裡,我沒讀過哪本非虛構作品像這本一樣充滿啟發與洞見。我在資訊科技領域工作超過二十年,對書中提到的議題自認並不陌生,但這本書還是讓我看到新的面向。對我來說,這本書既與我的工作相關,也為我帶來不少閱讀樂趣。我很喜歡談到字詞對人的影響那部分,而且寫得不會太專或太深。我願意向每一個人推薦這本書。」
○讀者好評3:
「雖然科技版面現在全是AI突破、聊天機器人和自動化崛起的新聞,但我認為,在見證這些驚人發展的同時,大多數人的共識仍是:機器與人的互動,還遠遠達不到「個人幫手」的標準。本書從一個有趣的角度探究原因所在:該怎麼設計能分辨人類和演算法的測驗?如果真有這麼一個測驗,你又該怎麼證明自己是人類?答案既複雜又令人眼睛一亮,不僅就問題本身而言是如此,對我們人類來說也是如此。」
○大衛・伊葛門,《大腦解密手冊》作者:
「這本探討聊天機器人最新發展的作品深具吸引力,它對人類想像、思考、對話、欺騙和愛的討論令我大開眼界。了解人類的最佳方式竟是研究模仿人類的機器,這種理路誰想得到呢?」
○《紐約時報》書評:
「令人驚艷……筆調狂放而犀利……克里斯汀在過程中發現:假如機器能贏得模仿遊戲,那不是因為它們表現得越來越像人,而是因為我們越來越不像人……在《The Most Human Human》裡,看得出來克里斯汀始終將這件事放在心上。不論是他或這部作品,都堪得『The Most Human Human』之名。」
○《華爾街日報》評論:
「讀來令人欲罷不能……克里斯汀信手捻來,以清晰的筆觸勾勒極為龐大的領域,舉重若輕的功力令人欽佩……以生活實例說明關鍵概念的本事驚人……克里斯汀到底有沒有贏得『最人模人樣人類獎』呢?快拿起這本書看看吧。」
○艾倫・萊特曼,《愛因斯坦的夢》作者:
「極具雄心的大膽嘗試,既富知性挑戰又妙趣橫生,這是部可愛的作品,它將啟發你活出豐富又有意義的人生。」
○《泰晤士報》:
「內容出色,筆調風趣,讀來令人耳目一新。從亞里斯多德到電視劇《辦公室風雲》,這趟哲學之旅貫串古今,趣味盎然……要是哪天機器也能寫出這般機鋒處處又饒富新意的作品,我們可得當心了。」
序
●序章
最人模人樣人類獎(The Most Human Human),節錄
我在離家五千哩的旅館醒來,浴室沒有蓮蓬頭,我只好十五年來第一次泡澡。早餐頗為老派:幾個看來有點嚇人的烤番茄,一勺焗豆,兩片對半切好的土司排在小鐵架上,平平整整地像一列書。吃完後我一腳踏進略帶鹹味的空氣,信步晃到海邊走走。我的母語是這個國家發明的,不過路邊的標語我多半看得霧煞煞。就拿「LET AGREED」來說好了,字體大得唯恐天下不知,乍看之下好像很威風,可是我完全不知道那是什麼意思。
我停下腳步呆望大海,在腦子裡翻來覆去思索那個標語的意思。我平常就對語言問題很感興趣,對文化差異也相當好奇,但今天,我得認真運用這份嗜好做件大事:接下來兩個鐘頭,我會在電腦前面嚴陣以待,用即時通訊軟體跟幾個陌生人聊天,每一個各聊五分鐘。傳輸線另一頭是評審團,包括一位心理學家、一位語言學家,以及一名英國大眾科技節目主持人,而我得透過這些對話達成的任務,絕對是我這輩子最詭異的目標之一——
說服他們我是個人。
幸運的是,我的確是個人;不幸的是,我不見得能讓他們相信我是人。
圖靈測驗
人工智慧(AI)族群每年都會舉辦這個領域最吸睛、也最受爭議的比賽——圖靈測驗。這個測驗以英國數學家艾倫・圖靈(Alan Turing)為名,他是電腦科學的開創者之一。1950年時,他嘗試回答這領域裡最早的問題:機器會思考嗎?換個方式說:我們可不可能造出一台夠複雜的電腦,精巧到能說它能思考、有腦袋,甚至有意識?此外,如果有一天真的出現這種機器,我們怎麼知道它有這個能耐?
圖靈不打算從純理論層次探討這個問題,相反地,他提出一項實驗:分別讓電腦程式和真人擔任參賽者,再由評審團透過電腦終端機向他們提問,在問答中分辨哪個是人,哪個是電腦。對談內容不拘,可以小聊幾句,可以問具體事實(例如「螞蟻有幾隻腳?」、「巴黎在哪個國家?」),也可以聊名人八卦或嚴肅的哲學問題——總之,只要是人與人之間會出現的話題,評審團全都能問。據圖靈預測:到2000年時,電腦就能在閒聊五分鐘後騙過三成的評審。若能達成這項目標,「我們就能大聲說機器能夠思考,不必擔心受到質疑。」
雖然圖靈的預言尚未實現,但已近在咫尺:在2008年於英國瑞丁(Reading)舉行的比賽中,電腦程式僅以一票之差落敗。換句話說,2009年在布萊頓(Brighton)的比賽很可能是關鍵之役。
我正是為此來到英國。我要和其他三名人類參賽者一起,與世界頂尖的AI程式正面對決(或者該說鍵盤對決?)。每一回合,我和其他參賽者都會和一個AI程式配對競爭,爭相說服一位評審我們才是貨真價實的人類。
評審會和其中一個「選手」聊五分鐘,然後再和另一個聊五分鐘,接著有十分鐘思考哪個應該是真人。除了投票認定孰真孰假之外,評審也會以分數表明對自己的判斷有多大信心,如此一來就更不必擔心分不出高下。不論有沒有程式「通過圖靈測驗」(亦即騙過三成評審),比賽都由得到最高票和最多信心分數的程式獲勝,並頒發「最人模人樣電腦獎」(Most Human Computer)。研究團隊奮力爭取的就是這份榮譽(當然也有獎金),主辦單位和觀眾最關注的也是這個獎獎落誰家。但除此之外,這個比賽也挺幽默地準備了另一個獎給參賽人:獲得最高票和最多信心分數的人,可以贏得「最人模人樣人類獎」(Most Human Human)。
1994年,這個獎由《連線》(Wired)雜誌專欄作家查理・普萊特(Charles Platt)奪下,他也是最早的獲獎者之一。他是怎麼脫穎而出的呢?他說訣竅是表現得「情緒化一點、暴躁一點、惹人嫌一點」——我簡直不敢相信我的耳朵,這未免太搞笑也太悽慘了吧?不過,我被這樣一激反而開始思考:我們該怎麼做才能讓自己更像人呢?——而且不只在這個測驗設定的條件之中,也在日常生活之內?
毛遂自薦
圖靈測驗比賽的正式名稱叫羅布納獎(Loebner Prize),出錢出力的舉辦者是個既有趣又有點怪的人:塑膠製可捲可攜迪斯可舞池地板大亨休・羅布納(Hugh Loebner)。有人問過他為什麼願意投入時間和金錢籌劃比賽?他說最大的原因是懶:在羅布納先生的夢想烏托邦裡,失業率顯然是百分之百,所有需要人付出精力的事情統統外包,全丟給智慧型機器處理就夠了。我得說:這樣的未來對我實在沒吸引力。對於AI普及的世界該是什麼樣貌,我的想法和羅布納不同,我想參加圖靈測驗的原因也不一樣。但無論如何,我們顯然都很在意的關鍵問題是:電腦或如何重塑我們的自我意識?這個過程又會帶來何種結果? 我完全不曉得該怎麼報名參賽,所以我直搗黃龍——試著向休・羅布納本人問問。我一下子就找到他的網頁 ,匆匆一掃發現簡直是大雜燴:有關於伸縮欄柱的資訊,有性工作倡議活動,有爆料奧林匹克獎牌成分不純,喔,對了,還有以他為名的那個獎的資訊——以及他的電郵地址。他回信要我去找薩里大學(University of Surrey)教授菲利浦・傑克森(Philip Jackson),今年是由他負責統籌羅布納獎的幕後工作。2009年的比賽將由Interspeech語言與通信科學會議主辦,預計在布萊頓舉行。
我用Skype跟傑克森教授講上了話。這傢伙年輕、聰明又滿腔熱血,一看就是那種爆肝當進補的學術界新人。這種態度加上他那迷死人的英國腔(例如把「skeletal」說得跟「a beetle」成韻),我馬上就喜歡上這個人。
他問了些我的事,我說我是非虛構寫作者,報導領域以科學和哲學為主,我尤其關注科學和哲學在日常生活中的交集,還有我對圖靈測驗和「最人模人樣人類獎」非常感興趣。我覺得人和機器對決聽起來很酷,頗有幾分「人類榮辱就在我肩上」的英雄氣概,就像加里・卡斯帕洛夫(Garry Kasparov)對戰深藍(Deep Blue),還有益智節目之王肯・詹金斯(Ken Jennings)對戰IBM電腦「華生」(Watson)。我也忍不住想起《魔鬼終結者》和《駭客任務》的幾個場景——人類與AI之戰多有血性、又多可歌可泣啊!(只不過機關槍在圖靈測驗裡顯然毫無用武之地)。所以2008的比賽結果簡直讓我捶心肝:一票,就差那麼一票,機器就能通過圖靈測驗了!我霎時想到2009可能就是它們侵門踏戶的關鍵時刻,正要頓足長嘆,內心深處卻傳來堅毅淡然的聲音:只要有我在,它們想都甭想。
除了事關人類面子之外,這個測驗也同時牽涉電腦科學、認知科學、哲學和日常生活領域,其所引發的問題雖然有趣卻也讓人不安。這些領域我都有研究也都有寫過,我甚至還發表過通過同儕審核的認知科學論文,而圖靈測驗呢——簡直像是設計來貫串這些領域的。我對傑克森教授說:我覺得自己不論是實際參加比賽,或是從更廣闊的角度把相關議題報導出來,都能為羅布納獎帶來不一樣的東西。我也相信:如果有更多人透過報導接觸到這些議題,一定能為大眾文化帶來良好而深遠的改變。傑克森似乎相當認同我的想法,馬上答應讓我參賽。
跟我稍微介紹這個比賽的相關事宜後,他給我的建議跟我預料中一模一樣:「不用想太多。你本來就是人,做你自己就好。」我之前已經問過以往參賽者的意見,他們也是這樣講。
「做你自己就好」,是啊,從1991年羅布納獎首次舉辦開始,參賽者的口號就是這個,但在我看來,這似乎對人類本能太有信心了點,自信得近乎天真——說難聽一點,簡直讓參賽者難以發揮。我們自己固然花了幾十年才變成現在的樣子,但我們的AI對手可是科學家幾十年來的心血結晶。AI研究團隊有龐大的資料庫不斷測試程式,也會認真分析測試結果,為比賽做足準備。他們了解該如何巧妙引導對話,知道該怎麼轉移不擅長的話題,盡可能讓程式發揮長處。他們當然也研究過怎麼勾起評審的談興,怎麼聊又會聊不下去——我就直說了吧:我們要是吊兒啷噹地只帶個「本能」跑去參賽,實在不是個好主意。光是看看以「約會教練」為業的人有多少,就知道我們社會多需要談話和公開講話的能力,所以,爭奪羅布納獎怎麼能只「做自己」呢?我覺得這個建議很怪,但也饒富深意。2008年的比賽紀錄正好說明了這點:評審們覺得對人類參賽者不太好意思,因為他們的對話枯燥無比——「我覺得對參賽者有點抱歉,老是談天氣一定讓他們覺得很無聊。」另一位評審說得比較委婉:「抱歉,我這個人有點乏味。」在此同時,螢幕另一頭的程式顯然迷倒評審,還狂丟表情符號——真的,我們人類可以表現得更好。
所以,我老實招認:我從一開始就打定主意不甩籌辦者的建議。「只要九月記得去布萊頓,然後做你自己就好啦。」——呿!我比賽前要做的事可多了,我打算盡可能做好準備、收集資訊、聽取經驗,到了布萊頓我要火力全開。
一般來說,做好準備是基本常識。不管是參加網球比賽、拼字比賽,還是考入學測驗,沒有人會毫無準備隨便應付。圖靈測驗有什麼不一樣嗎?既然它的目的是評估我有多像人,應該代表做人(還有做自己)不只是記得出席而已。至少我覺得不是人到就好。那麼,除了出席之外,我該怎麼證明自己很有人樣呢?這就是這本書的主旨了。我也認為:這一路上所找到的答案,絕不僅止於挑戰圖靈測驗而已——它們對人生更有意義。
愛上伊凡娜
來說一個詭異又超級諷刺的警世故事:羅伯・艾普斯坦(Robert Epstein)博士是加州大學聖地牙哥分校心理學者,著有《爬梳圖靈測驗》(Parsing the Turing Test),同時也和休・羅布納共同創辦羅布納獎。艾普斯坦博士在2007年冬加入一個線上約會網站,開始寫長信給一位名叫伊凡娜(Ivana)的俄國女子。這名女子剛開始也總回長信,娓娓道出自己的家庭背景和生活點滴,也款款傾吐她對艾普斯坦日益深厚的情感。可是不知怎的,伊凡娜的信越寫越短,互動也越來越不對勁,艾普斯坦最後總算恍然大悟:原來他掏心掏肺寫了四個月情書,追到了一個——是的,你猜到了——電腦程式。淒涼啊,淒涼,每天被垃圾郵件疲勞轟炸還不夠嗎?那群網路混帳不但攻陷他的信箱,還攻陷他的心。
某方面我只想翹起二郎腿恥笑這個傢伙——我的老天鵝啊,這個歐吉桑創立了羅布納獎耶!是有沒有這麼蠢啊?但笑完之後,我還是挺同情他的:21世紀是垃圾郵件鋪天蓋地的世紀,它們像蟑螂一般爬滿你的信箱,像攔路虎一樣霸佔你的頻寬(垃圾郵件大約佔全部電郵的九成七,意思是每天有幾百億封垃圾郵件四處打劫,全世界每天用來處理垃圾郵件的電量都夠小國用了)。不僅如此,垃圾郵件還有更惡劣的影響:它會逐漸侵噬我們的信任感。我恨透了收到我朋友的訊息還得確認一下是不是真的是他們寫的,哪怕確認一下只需要花我兩秒鐘,哪怕我只要讀幾行就能判斷真偽,我還是厭惡透了幹這種事。21世紀的數位生活讓我們不得不提高警覺,於是所有的溝通都成了圖靈測驗,每次溝通我們都得留份戒心。
這是數位生活比較負面的版本,當然還有較為正面的版本。我敢打賭艾普斯坦有學到教訓,而且這一堂課意義深遠,絕不只是「想跟住下諾夫哥羅德的某人發展關係是蠢事」而已。我想他起碼會好好想想自己為什麼會上當,為什麼會花了四個月才發現他和「伊凡娜」之間沒有火花。要是他以後又在網路上找到一位靈魂伴侶,應該會想趕快跟她碰個面吧?但願他的下個女友是位善良誠懇的智人,住得離他近一點,起碼不要一隔隔了十一個時區。如果他們終成眷屬,我想那位女子會感謝「伊凡娜」教了她另一半一課。
假作真時真亦假
克勞德・夏農在貝爾實驗室邂逅貝蒂(Betty)時是1940年代,貝蒂就是傳說中的「computer」。我們現在聽來可能覺得頗為古怪,但那時毫無引人側目之處。他們的同事對這種組合習以為常,在貝爾實驗室裡,這甚至是典型的愛情故事:工程師和computer向來是天造地設的一對。
艾倫・圖靈在1950年發表〈電腦與智能〉(Computing Machinery and Intelligence),這篇論文開啟了我們認識的AI領域,也引發了圖靈測驗的爭議(圖靈測驗亦稱「模仿遊戲」〔Imitation Game〕,這是圖靈提出時給它的稱呼),相關討論至今未歇——只不過,圖靈說的「computer」和我們現在理解的不同。21世紀的「computer」是數位程序處理機,不但辦公室裡看得到,家裡和車上也有,連口袋裡都找得到,放眼望去到處都是。可是在20世紀初,「computer」不是機器,而是職稱——計算師是也。
從18世紀中葉開始,計算師就是公司行號、機械工廠和大學院校的常備員工,通常由女性擔任。他們負責計算工作和數據分析,有時也會使用早期計算機。從首次運用牛頓引力理論預測哈雷彗星的折返時間(在此之前,這只能以行星軌道檢證),到曼哈頓計畫造出第一顆原子彈(在洛斯阿拉莫斯〔Los Alamos〕,諾貝爾物理獎得主理查・費曼〔Richard Feynman〕帶領一群計算師參與計畫),凡是與數字有關的任務,背後一定有這群人類「computer」的身影。
回頭看看電腦科學最早的幾篇論文很有意思,你會發現那些作者絞盡腦汁,很想解釋清楚這種新玩意兒究竟是什麼名堂。拿圖靈的那篇論文來說,他把這種聞所未聞的「數位電腦」比作人類計算師:「或許可以這樣解釋數位電腦背後的概念:只要是人類計算師能做的工作,這種機器都能做。」當然,幾十年後的我們已經知道,「computer」的指涉現在倒過來了:如今數位電腦才是「computer」這個字的正主,說某人是「computer」反倒不倫不類。在20世紀中,對尖端數學機器的最高讚譽是「像計算師一樣」,但到了21世紀,我們是誇心算天才「簡直跟電腦一樣」。詭異吧?我們當初想發明一種像人類的東西,現在卻是誇獎人類像那種東西。換言之,我們在模仿以前模仿我們的東西。在尋找人類獨特性的漫長歷史上,這大概是最奇怪的倒轉之一。
定義人類
哈佛大學心理學家丹尼爾・吉伯特(Daniel Gilbert)講過:心理學家在職涯生活的某個階段,多半會提出自己的人類定義。格式是這樣:「人類是唯一一種會__的動物」。壯哉斯言!不過,打從人類有歷史以來,好像哲學家和科學家都和心理學家一樣愛湊熱鬧,總對改寫這個定義樂此不疲。然而我們可以中肯地說:人類自我感受的歷史,就是人類定義不斷栽跟頭或被戳穿的歷史。只不過現在更慘,能挑戰這個定義的不只動物而已。
我們一度認為只有人類使用具有語法規則的語言,實則不然;我們一度認為只有人類會使用工具,實則不然;我們也一度認為只有人類會數學,現在我們簡直不敢相信有人比計算機更能算。
檢討人類定義轉變的方式很多,其中一種是回顧歷史,看看這個定義如何因各種發展而改變(例如我們對世界的了解和科技的演進等等)。從這個角度切入,我們可以探討的是:各種變化如何形塑人類的身份認同?舉例來說:在我們發現創作對電腦多不容易之後,藝術家的價值是否變得比以往更高?
我們最後或許終須自問:我們對於自身獨一無二的定義,難道真的應該被動地隨科技發展而調整嗎?此外,我們為什麼非要覺得自己獨一無二不可呢?
「我有時候覺得,」認知科學學者及作家侯世達(Douglas Hofstadter)說:「雖然我們不斷開發人工智慧,但每次在AI領域更進一步,不但沒有逐漸形成何謂真正智能的共識,反而一再揭露真正的智能不是什麼。」乍看之下這令人欣慰——我們可以繼續宣稱只有人類能整體思考,讓自己一直維持獨一無二的地位,這有什麼不好呢?可是換個角度想,這不代表我們節節敗退嗎?那幅畫面就好像中世紀軍隊從城牆撤到塔頂一樣,而我們心知肚明:退無可退只是遲早的事。請仔細想想:我們總以為某些東西必須經過「思考」,但要是它們其實都不需要思考,那麼……到底什麼是思考?這樣追究下去,我們要嘛不得不承認思考是大腦的副產品(某種可割可棄的「廢物」),就是得舉手投降,接受思考只是幻覺。
人類「自我」的最後防線在哪?
從某方面來說,21世紀的故事就是這條戰線一再位移的故事,智人試圖捍衛自身的獨特性,無奈他們的理據已地動天搖,人的地位在野獸和機器之間搖擺,在茹毛飲血和數學演算之間選邊站。
一個與此相關也極其重要的問題是:防線不斷後撤是好事還是壞事呢?舉例來說,電腦數學這麼厲害,究竟是剝奪了人類的表現空間,還是免除我們做非人工作的負擔,讓我們能自由自在地過更像人的生活?後一種詮釋顯然更吸引人,可是真的如此嗎?如果未來有待「免除」的「人類活動」所剩無幾,我們是更自由還是更失落?那一天到來之後又會發生什麼事呢?
反轉圖靈測驗
沒有什麼更廣闊的哲學意涵……這跟其他事什麼關係也沒有,也沒什麼啟發可言。 ——諾姆・杭士基(Noam Chomsky),與作者的電郵通信
艾倫・圖靈想出模仿遊戲的目的,是為了衡量科技的進展程度,但反過來說,我們也能用它來衡量我們自己的進步程度。牛津大學哲學家約翰・盧卡斯(John Lucas)就講過:要是我們沒辦法擋下機器通過圖靈測驗,「那不是因為機器太聰明,而是因為大多數人太呆板。」
簡單來說是這樣:除了作為科技進展判準,除了啟發哲學、生物學和道德問題,圖靈測驗歸根究底是溝通行為。在我看來,它最具深意的提問就是最實際的提問:在語言和時間受到限制的情況下,我們該如何盡可能有意義地與彼此溝通?在這種情況下,默契會如何發揮作用?另一個人會如何進入我們的生命,並在我們心中佔有一席之地?對我來說,這些才是圖靈測驗最核心的問題——這些才是人之所以為人最核心的問題。
研究以往在圖靈測驗中表現傑出的程式,最有趣(也最心酸)的部分,就是看對話如何在毫不涉入情感的情況下進行。
看圖靈測驗以前的對話紀錄,某種程度上就是觀察我們如何以各種方式裝正經、躲問題、殺時間、炒熱氣氛、改變話題,還有顧左右而言他——我認為:過不了圖靈測驗的對話,也稱不上人與人間的對話。
討論圖靈測驗技術層面的書籍已有不少,例如如何巧妙設計圖靈測驗程式(或稱聊天機器人或機器人)。事實上,幾乎每一本關於圖靈測驗實務層面的書,重點都是怎麼創造更好的機器人,提到怎麼當個好評審的部分只有一點點,給參賽者的建議呢?沒有,完全沒有。我覺這很怪,因為我覺得人類參賽者才是賭注最高的一方,才是答案千奇百怪的一方。
《孫子兵法》說得好:「知己知彼,百戰不殆。」而在圖靈測驗裡,了解對手其實就是了解自己的一種方式。所以在這趟旅程中,我們雖然會去打探這些機器人的設計過程,並討論理論電腦科學中最基本的原則和最重要的成果,但我們也會始終關注人類這方的問題。
因此,雖然從某個意義上說,這本書談的是人工智慧,主題是它的歷史和我個人在其中小小的探索。但本質上,這本書是關於人生。
電腦對我們的生活日益重要。我們是能把它們當成敵人,就像《魔鬼終結者》裡的天網或《駭客任務》裡的母體,彼此不是你死就是我亡,完全沒有共存的可能。不過,我出於某些原因,其實比較傾向把電腦視為「對手」——我們表面上當然想贏,但也知道競爭的主要目的是提升比賽水準。比賽裡的每個對手都需要彼此,都必須共生,彼此之間坦誠以對,也都讓對方變得更好。科技進步並不必然代表剝奪人性或失去靈魂,而你也會看到,實情恰恰相反。
在比賽到來之前的幾個月裡,我全力以赴盡量準備,除了自己做研究之外,我也四處拜訪相關領域的專家,請教他們兩個主要問題:第一,我該怎麼在布萊頓好好表現,讓評審覺得我「最人模人樣」?第二,人之所以為人的精髓究竟是什麼?我求教於語言學家、資訊科學理論學家、心理學家、律師和哲學家等等,這些對話不僅讓我獲得參加比賽的實際建議,也讓我得以一窺圖靈測驗(及隨之而起的人性問題)如何影響工作、學校、棋奕、約會、電動、精神醫學及法律等諸多領域——當然,它本身也受到這些領域影響。
對我來說,在布萊頓的比賽是我全力發揮人類特性的機會,我想成功阻止機器通過測驗,同時奪下那有點古怪的殊榮——最人模人樣人類獎。但當然,最終極的問題還是:人之為人到底意味什麼?圖靈測驗又能讓我們對自己產生哪些新的認識?
目次
1 序章:最人模人樣人類獎
如果有一天我們造出精巧到可說能思考的機器,要怎麼知道它有這個能耐?電腦科學先驅艾倫・圖靈為此提出一項實驗:分別讓電腦程式和真人參賽,由評審團透過電腦終端機向他們提問,再分辨哪個是人、哪個是電腦――這就是今日人工智慧(AI)族群年度盛事「圖靈測驗」(羅布納獎)的由來。不論有沒有程式通過圖靈測驗(騙過三成評審),比賽都由得到最高票和最多信心分數的程式獲勝,頒予「最人模人樣電腦獎」與獎金;獲得最高票和最多信心分數的人,則會獲頒「最人模人樣人類獎」。為了與世界頂尖的AI程式對決,我得設法釐清人和機器的差異,並且盡力表現人味……
2 認證
在機器的世界,驗證身份靠的是內容(密碼和PIN等),在人類的世界,靠的則是形式(如聲音、筆跡和說話風格)。「設計機器人不是寫程式,而是寫小說。」程式三度獲得亞軍的程式設計師丹辰科和維索洛夫如是說。他們強調由單一設計師構思機器人的反應很重要:「得先選好由誰負責勾勒機器人的個性。寫處理流程的知識基礎就像寫書……」講到「寫書」,就不能不談風格和內容孰重,以及如何表現獨到眼光,近來關於翻譯機的辯論多半圍繞這類問題打轉。幾十年來,翻譯機計畫的目標多半是以語法為基礎去理解語言,不過到了1990年代,運用統計運算的機器翻譯方式異軍突起,讓意義的問題憑空消失。
3 遊走的靈魂
電腦科學領域很早就分成兩個陣營:有些研究者追求更整潔的演算法結構,另一些人則投入較為雜亂的結構。神經網絡、類比計算和統計式運算等,至少從1940年代早期起就引起科學家的興趣,但直到本世紀之交,主導的始終是以規則為基礎的演算法模式。機器翻譯暴露了演算派的侷限――在2006年的NIST機器翻譯賽,大獲全勝的一支Google隊伍中,沒有人懂比賽裡的阿拉伯文和中文。五年過後,雖然「統計式」翻譯技術仍不完美,但規則式翻譯程式已看不到它的車尾燈。另一個讓左腦式嚴謹分析方式徒呼負負的是使用者經驗,它重視的並非機件的純科技性能。電腦研發重心的這種轉變,反映出不獨以人類智能的複雜性和能力為尚,也珍惜它感性、靈活、能反應的特色。我們忘了什麼值得讚嘆,而電腦正提醒我們。
4 量身打造 vs. 統一規格
最早引起廣泛注意的電腦對話程式是ELIZA,由約瑟夫・維森班在麻省理工學院完成。ELIZA程式碼只有幾百行,表現卻好得令人尷尬:很多第一次和她談的人都深信,自己在和真人交談;有些人和她聊了數個鐘頭後表示,這是非常有意義的治療經驗。醫界有專家表示:「若能證實這種方式有益,它可望成為普遍運用的治療工具,彌補治療師不足的問題。一套電腦系統同時和好幾百名病患談一小時應該不成問題。系統的設計和操作都需要人類治療師參與,因此電腦非但無法取代他們,反而能讓他們提升效率。」然而維森班卻立刻掉轉職涯方向,成為最激烈反對AI研究的科學家。ELIZA是他的遊戲之作,以羅傑斯派心理治療師為範本去設計,擷取使用者話裡的關鍵詞彙當作回應,不知如何回話時就丟句無關痛癢的話――它只會這一招。
5 跳脫棋譜
20世紀最大的AI戰役發生於1997年5月,由超級電腦深藍對戰西洋棋特級大師加里・卡斯帕洛夫,獲勝的是電腦。這下大家要不認為人類囂張不下去了,就是自我安慰下棋不過是雕蟲小技,但卡斯帕洛夫賽後表示:「這不算。」他認為深藍也沒贏。在電腦互相對奕時,開局棋譜往往能直接決定勝負,到21世紀初新一代棋士以電腦記譜成風,死背幾千種開局棋譜就可能勝過真正具分析資質的棋士,對此棋王鮑比・費雪驚駭地說:「對弈雙方真正開始思考的時間越來越後面。」許多世界級棋士都服膺「棋譜稱不上人」,據說連深藍首席工程師許峰雄也講過,他想「真正下一場世界棋賽,而不是在家裡寫開局作業」。
6 反專才
羅布納獎剛舉辦那幾年,主辦方為了讓電腦有機會拚命一搏,於是給對話設定主題。當時的AI研究多半聚焦於「專才系統」,亦即只專精特定任務或技能(例如西洋棋程式)。「要是把話題縮到一定程度,假裝對話和真對話的界線會漸漸消失。」人工生命領域的學者戴夫・艾克利教授說,「客服電話選單的語音辨識系統就是這樣。你把他們框在幾個選項裡,他們要嘛報數字,要嘛說『總機』,不然就是撂一句『幹恁老師』。」限定對話範圍因爭議不斷而在1995年取消,不料參賽者好像都有用泛泛之談煩死對方的默契,結果慘不忍睹。有些人批評獲獎者都是些「玩票的」,其實他們百分之百是專業人士,只是他們設計來賺錢的機器人是「專才型」,用來贏圖靈測驗的是「通才型」。
7 插嘴的奧義
電腦科學理論的第一個分支是「可計算性理論」,它關切計算機的理論模型和這類機器能力上的理論限制;它只在乎可不可能計算,完全不管計算得花多少時間。後來的電腦理論家則發展出「複雜性理論」,它不只思考機器的終極能力,也將時間、空間等因素納入考量,在資源有限的脈絡下評估其表現能力。語言學家諾姆・杭士基的理論類似圖靈時代的可計算性理論,他視為研究客體的典型語言形式顯然排除「實際運用語言知識時……非關文法的因素」,聊天機器人的語言模式也是這種高度理想化的典型語言,由此看來,語言學和電腦科學的情況很像:在「典型」過程與「實際表現」之間,有相當大的變化空間。身為人類參賽者,我打算卯足全力運用這個空間。
8 地表上最糟的證人
在討論西洋棋程式時,我們基本上把「極小-極大」和「極大-極小」演算法當成同一種競賽邏輯。棋賽是「零和」遊戲,一個人要贏意味著另一個人得輸,沒有「雙贏」這回事,所以從數學上說,極小化對手的贏面和極大化自己的贏面是一體兩面。從哲學角度來看,對話和下棋間最重要、或許也最南轅北轍的差異正在於此。對話在圖靈測驗裡的作用是「展現人性」,非零和的性質無庸置疑。好的對話不是「極大化極小」或「極小化極大」,而是「極大化極大」,讓雙方都能講出精彩的東西――對話是合作演出,而非一較高下。有趣的是,很多羅布納獎評審把參加圖靈測驗當開庭,常自動切換成詰問、作證和交叉辯論模式,更詭異的是,有不少人類參賽者也以為進了法庭。
9 汝不可一成不變
繼ELIZA之後引起大轟動的聊天機器人是1972年的PARRY,由精神病學家肯尼斯・寇爾比設計。ELIZA模仿心理治療師,PARRY模仿妄想型思覺失調症病人;ELIZA依循「案主中心療法」的理論,奉行「反映式傾聽」;PARRY則一馬當先取得對話主導權,並死抓不放。這兩個程式在1970年代早期對談了幾場,彼此特色盡顯,並完美反映出對話的兩大災難:一個極端是冷血、不夠自我,另一極端是溫血、太過自我。圖靈測驗難度極高的原因之一是:語言不是棋局,它沒有固定規則與必殺絕技,它不斷在變,雲遊於一切「解決方案」之外。正如ELIZA的設計者維森班所說:「我很驚訝居然有那麼多人聽說ELIZA之後,以為它對電腦理解自然語言的問題提出了通解……我一直想講清楚:這問題不可能有通解,這樣說吧,連人類都不算是這種通解。」
10 高度驚異
加快簡訊打字速度很依賴「預測」演算:手機要能猜出你接下來想打什麼字、要能自動更正錯字(有時還更正過頭),要會很多諸如此類的事――這就是資料壓縮起作用的時候。夏農在〈通訊的數學理論〉裡得出如下驚人結果:預測文字和產出文字在數學上是相等的。能像人一樣穩定預測你想打什麼字的手機,就跟能像人一樣回信給你的程式一樣聰明,美國青少年可說平均每天參加約莫八十場圖靈測驗。「東西的資訊量可以測量」是最基本的「資訊熵」概念,而有損壓縮乃是語言的本質,它既暴露語言的缺陷,也彰顯語言的價值。大家經常批評一般人貪圖便利,只讀書摘卻不好好讀書――拜託!假如《安娜・卡列尼娜》的資訊熵超低,用篇幅百分之一的書評就能講完它六成內容,那問題出在托爾斯泰身上。
11 結語:最人模人樣的人
12 後記:玻璃櫥之美無可言喻
致謝
書摘/試閱
●第四章 量身打造 vs. 統一規格(節錄)
圖靈測驗在1950年首次提出時,它只是個假設——當時的科技還遠遠無法實際進行這個測驗。但我們現在都已知道:科技沒過幾年就追了上來。第一個引起廣泛注意的電腦對話程式是ELIZA,於1964和1965年由約瑟夫・維森班(Joseph Weizenbaum)在麻省理工學院完成。要談電腦對話程式的歷史,就不能不談這些程式本身多采多姿的「個性」,也不可不提創造它們的人的脾性。ELIZA的故事高潮迭起,尤具趣味。它是以羅傑斯派(Rogerian)心理治療師為範本所設計的,運作規則很簡單:從使用者的話裡擷取關鍵詞彙,然後擺進回應裡拋回去(例如:「我不開心。」「你覺得來這裡可以讓你不要不開心嗎?」)。如果不知如何回話,程式就丟句無關痛癢的回應,例如「請繼續說」。這種方式叫「模板匹配」(template matching),把使用者的話填進事先寫好的模式裡,或以程式本身預備的句子回應——這也是ELIZA唯一的一招。
ELIZA算是有史以來第一個聊天程式,基本上沒有記憶體,沒有處理能力,程式碼也只有幾百行而已。正因如此,ELIZA的表現好得令人驚訝,甚至有點令人尷尬:很多第一次和ELIZA談的人都以為自己在和真人交談,深信不疑,甚至連維森班親自說明「她」是程式,有些人還是不信。也有些人要求清場,希望和ELIZA談時能「保持隱私」,而且一聊就聊了好幾個鐘頭,填問卷時深感滿意,表示這是一次非常有意義的治療經驗。在此同時,學界裡的人也迫不及待發出喝采,認為ELIZA「基本解決了電腦理解自然語言的問題」。維森班深感驚駭,做了個沒人想得到的決定:立刻掉轉職涯方向,終止ELIZA計畫,不但鼓勵大家盡量批評他的心血結晶,還成為最激烈反對AI研究的科學家之一。
不過,精靈既然已跑出神燈,就再也回不去了。ELIZA的模板匹配架構和基本運作方式沒有消失,反而千變萬化成各種形式,此後幾乎每一種聊天程式都是它的徒子徒孫,其中好些也參加了羅布納獎。時至今日,這些程式引起的熱情、不安與爭議不減反增。
ELIZA故事裡最奇特的變調之一是醫界的反應,他們的想法也證明維森班的確有兩把刷子,居然誤打誤撞提出了既高明又實用的主意。舉例來說,在1966年的《神經與精神疾病期刊》(Journal of Nervous and Mental Disease)裡,有幾位專家是這麼看ELIZA的:「若能證實這種方式有益,它可望成為普遍運用的治療工具,彌補精神病院及精神醫療中心治療師不足的問題。現在和以後的電腦既有分時(time-sharing)功能,若能善用這份長處,妥善予以設計,一套電腦系統同時和好幾百名病患談一小時應該不成問題。這套系統的設計和操作都需要人類治療師參與,因此電腦非但無法取代他們,反而能讓他們提升效率,不受目前治療師和病人必須一對一的限制。」
1975年,赫赫有名的科學家卡爾・薩根(Carl Sagan)也出言附和:「雖然目前還沒有電腦程式適合做精神治療用途,但值得注意的是,並不適任的人類心理治療師也所在多有。既然我們社會似乎有越來越多人需要心理諮商,而電腦的分時功能又已相當普遍,我能想像有朝一日會出現電腦心理治療網絡,終端機也許會像電話亭一樣普及。到時只要花幾塊錢,就能與專注、可靠,而且謹守非引導原則的心理治療師談上一節。」
不可思議的是:儘管維森班全力集結反抗力量,21世紀沒過幾年,薩根的這段預言就已近乎成真。2006年,英國國家健康與照顧卓越研究院(NICE,National Institute for Health and Clinical Excellence)建議:在英格蘭和威爾斯提供認知行為治療軟體,作為輕度憂鬱症病患早期治療選項(在這件事上,NICE倒無意假裝軟體是人)。
治療公式化
透過ELIZA的例子,我們看到了心理學上嚴肅、深刻,甚至堪稱沉重的問題:治療必須落實於個人,但治療必須個人化嗎??讓需要諮商的人和電腦治療師談,其實並不比請他們自己讀書更為疏離。以1995年的暢銷書《想法轉個彎,就能掌握好心情》(Mind over Mood)為例,那就是一本宣稱人人適用的認知行為治療書。問題是:這樣處理情緒問題妥當嗎?
(在亞馬遜網路書店上,有個讀者嚴詞批判《想法轉個彎》:「所有經驗都有意義,也都植根於特定脈絡。心理治療師不能用書取代,在用這種書『自我轉化』之前,應該先去找訓練有素、心思細膩的治療師談。切記切記:你是活生生的人,不是什麼電腦軟體!」不過,每個這種評論底下大概都有35個反駁,說他們光是照著書上的步驟做,生命就起了變化。)
史汀(Sting)那首〈始終如是〉(All This Time)裡有句歌詞,我每次聽都很受觸動:「人總是一起瘋狂,但只能各自變好。」看看現代女性有多辛苦,她們從小被媒體劃一的身體意象疲勞轟炸,往往得獨自掙扎多年,才能真正跳脫這個窠臼,走出一條只屬於自己的路。疾病可以分門別類,治療方式必須因人而異(The disease scales; the cure does not.)。
然而,一定是如此嗎?我們和別人的身體差異有時的確不能含糊帶過(雖然大多是過敏之類的問題而已),必須由醫生安排不一樣的治療方式。那心智呢?每個人的心智有多不同?治療該為每個人量身打造到什麼程度?
理查・班德勒(Richard Bandler)是「神經語言程式學」(NeuroLinguistic Programming)的共同創始人,他本身也是心理治療師,精通催眠,對恐懼症尤其感興趣。這個心理治療學派頗具爭議,而班德勒的治療方式裡最有趣、也最奇怪的一點是:他從不找出病人害怕的究竟是什麼。班德勒說:「如果你相信促成改變的重要條件是『了解問題根源,並找出深藏於內在的意義』,也深信你非處理這類問題不可,那你可能得花上好幾年的時間才能改變一個人。」他說,他根本不想知道這些事,因為知不知道根本沒差,而且窮追不捨反而模糊焦點。他有本事引導病人以特殊方法治好恐懼症,而且顯然不必弄清楚病人的恐懼何在。
這……這實在太詭異了。我們總以為心理治療相當私密,治療師不但得了解我們,而且得了解得很深,搞不好我們打出娘胎也沒被人看得那麼透。可是班德勒說他根本不必了解這些,這種套路……還真像ELIZA。
●第三章 遊走的靈魂(節錄)
電腦科學領域很早就分成兩個陣營:有些研究者追求更「整潔」的演算法結構,另一些人則投入較為「雜亂」、格式塔(gestalt)導向的結構。雖然兩個陣營都有斬獲,但從圖靈時開始,電腦領域裡佔上風的一直是「演算派」,「統計派」總像個陪練的。直到最近,情況才開始改變。
神經網絡、類比計算,以及(相對於演算法的)統計式運算,至少從1940年代早期開始就引起科學家們的興趣。但直到本世紀之交,佔主導地位的始終是以規則為基礎的演算法模式。
只要將特定問題獨立出來觀察,就可以把變化過程看得非常清楚。就拿機器翻譯的問題來說好了:早期方法是建立巨型「字典」,從意義下手把不同語言的字一一配對,再依文法和句式以演算法將某語言轉換為另一語言(舉例來說,把英文翻成西班牙文時,須將原置於名詞之前的形容詞挪到名詞之後)。
為了進一步了解箇中奧妙,我打電話給加州大學聖地牙哥分校計算語言學家羅傑・李維(Roger Levy),請教一個與翻譯相關的問題:換句話說(paraphrase)。李維說:「老實講,身為計算語言學家,我實在難以想像能通過圖靈測驗的程式。如果我去參賽的話,我會挑個相對複雜的句子,跟對方說:『你剛剛說____對吧?同樣一句話也可以這樣講、那樣講、這樣講或那樣講。』對電腦來說,換句話說非常難。」不過他也提醒,這樣「炫技」可能適得其反,因為實在有點做作,不然我就得解釋清楚為什麼電腦很難做到。「這取決於評審對此了解多深。」他說:「不過聊得短有聊得短的好處,因為這時會很依賴語用推理(pragmatic inferences),你們得靠對現實世界的認識回應,這對電腦來說很難。」
我請他舉幾個例子說明「語用推理」。他說:「我們最近剛好做了個實驗,是關於人對句子的即時理解。我會講一句語義模糊的句子,然後問受試者對那句話的理解。比方說:『約翰幫忙顧那個音樂家的小孩,那傢伙又跩又粗魯。』你覺得『那傢伙』指的是誰?」我說我覺得指的是音樂家。李維說:「好。如果我這樣說呢?『約翰討厭那個音樂家的小孩,那傢伙又跩又粗魯。』」我說這樣聽來,粗魯的是音樂家的小孩。「就是這樣!到目前為止,還沒有哪個系統分辨得出語義差別。」
這樣看來,日常對話光是靠字典和文法絕對不夠。請比較一下這幾句話:「把披薩從爐子拿出來,然後把它關上。」;「把披薩從爐子拿出來,然後把它放到櫃台上。」;「我一手拿杯咖啡一手拿盒牛奶,沒先看有沒有過期就把它倒進去了。」要分辨這幾句裡的代名詞「它」指的是什麼,得了解現實世界的運作方式,光是了解語言絕對不夠(即使程式寫得周密,有寫入「咖啡和牛奶都是液體」、「杯和盒都是容器」、「只有液體可以『倒』」等等,還是無法判斷第三句說的是把咖啡倒進盒裡,還是把牛奶倒進杯裡)。
所以不少研究者認為:把語言分解為同義字庫和文法規則,並無法解決翻譯的問題。於是,新的嘗試或多或少全然拋棄這種策略。舉例來說,在2006年的NIST機器翻譯賽裡,Google的一支隊伍贏得壓倒性勝利。讓不少機器翻譯專家驚訝的是:在這支隊伍中,居然沒有一個人懂比賽裡的阿拉伯文和中文。其實你甚至能說:連軟體自己都不懂這兩種語言的字義和文法規則,因為它只是從量大質精的人類翻譯資料庫裡撈寶(大多數是聯合國會議紀錄,由此可見,聯合國資料庫堪稱21世紀的數位版羅塞塔石碑〔Rosetta stone〕),把以前已經譯好的語句拼湊起來。五年過後,雖然這種「統計式」的翻譯技術仍不完美,但規則式的翻譯程式已看不到它的車尾燈。
得獎作品
★獲選《紐約客》雜誌年度最佳書籍
★《華爾街日報》全國暢銷圖書
★《紐約客》雜誌讀者年度最愛
★《紐約時報》編輯選書
《波士頓環球報》年度最佳圖書
○讀者好評1:
「我讀過不少批判AI的書,總是在怨嘆AI可能很危險,抱怨它會搶走人類的工作,哀哀上告它會讓我們變笨或至少變得更不聰明。這本書不一樣,它熱情讚美人類投注於AI領域的努力,點出我們在這方面的成就和這些成就的意義,也珍惜尚不可見的AI未來。作者確實有道理保持樂觀:人工智慧已讓我們重新評估何謂智慧,已讓我們重新思考何而為人。」
主題書展
更多書展今日66折
您曾經瀏覽過的商品
購物須知
為了保護您的權益,「三民網路書店」提供會員七日商品鑑賞期(收到商品為起始日)。
若要辦理退貨,請在商品鑑賞期內寄回,且商品必須是全新狀態與完整包裝(商品、附件、發票、隨貨贈品等)否則恕不接受退貨。