摘要：研究通過兩項(xiàng)實(shí)驗(yàn)考察人們對人類和智能機(jī)器在個人\非個人道德困境下的道德判斷。結(jié)果發(fā)現(xiàn)，(1)非個人道德困境下，人們對智能機(jī)器和人采用相同的道德評價標(biāo)準(zhǔn)，對其期望行為及實(shí)際行為的道德評價(責(zé)備度、許可度、正確性)完全相同。(2)個人道德困境下，人們對智能機(jī)器和人采用不同的道德評價標(biāo)準(zhǔn)，相比于人類，有更多人希望智能機(jī)器做出功利主義取向行為，對其功利主義行為的道德評價也更高。

　　關(guān)鍵詞：智能機(jī)器,道德判斷,道德困境,道義論,功利主義

　　1前言

　　想象二十年后的一天，你正在路上走著，突然發(fā)現(xiàn)一輛高速行駛的汽車前出現(xiàn)5個人，剎車已經(jīng)來不及，汽車?yán)^續(xù)直行將撞死這5人。這時，汽車緊急轉(zhuǎn)彎變道到支路，但撞死了在支路上的1個人。你跑過去一看，發(fā)現(xiàn)這是一輛自動駕駛汽車。你會如何評價自動駕駛汽車的這一行為?你是否認(rèn)為這一行為在道德上是可行的?隨著科技的發(fā)展，人工智能正逐步進(jìn)入人們的視野，越來越貼近人們的實(shí)際生活。自動駕駛汽車、看護(hù)機(jī)器人等，無疑會給我們的生活帶來極大的便利，但也必將帶來巨大的變革。

　　當(dāng)智能機(jī)器進(jìn)入到人類社會與人類交互時，必將面臨諸多的道德情境，做出自主選擇的相關(guān)道德行為。人們?nèi)绾慰创�智能機(jī)器，如何對其行為進(jìn)行道德評價?智能機(jī)器已被人類看作是道德行為者，成為道德主體(Wallach&Allen，2008)。目前，研究者在探究公眾對智能機(jī)器行為道德判斷時，通常借鑒經(jīng)典的電車?yán)Ь?trolleydilemma)難題(尹軍，關(guān)旭，花蕊，張鋒，2018;Foot，1967)。

　　電車?yán)Ь骋�求人們在放任一輛失控的電車殺死5人和將電車轉(zhuǎn)向另一軌道導(dǎo)致1人死亡，但可以拯救5人的兩難困境中做出選擇。這一困境下的行為選擇與兩種不同的道德判斷取向相聯(lián)系:效果論(consequentialism)和道義論(deontology)。效果論理論類似于功利主義，基于結(jié)果的收益最大化來評價道德相關(guān)行為(Benthan，1879/1983;Mill，1863);相反，道義論理論認(rèn)為一個行為的對錯與否不是由行為的結(jié)果來決定的，而是取決于行為本身及責(zé)任、權(quán)利和義務(wù)等(Kant，1797/2002;Scanlon，1998)。

　　基于電車?yán)Ь常�一些研究者探討了人們對智能機(jī)器在道德兩難困境中的期望行為及道德判斷。這些結(jié)果表明，公眾對智能機(jī)器和人類，很可能采用不同的道德判斷準(zhǔn)則:人們更希望智能機(jī)器做出功利主義取向行為，對其功利取向行為的道德評價也高于人類做出同樣的行為，即存在人-智能機(jī)器異質(zhì)性(human-robotasymmetry)。

　　比如，Malle等人(Malle，Scheutz，Arnold，Voiklis，&Cusimano，2015)首次系統(tǒng)地考察了這一問題，發(fā)現(xiàn)相比于人類，人們更期望機(jī)器人犧牲1人救下4人;當(dāng)機(jī)器人做出道義論的選擇時(不變軌道)，人們對其在道德上的錯誤度、責(zé)備度的評分也高于人類做出同樣的選擇。后續(xù)的一系列研究也支持了這一觀點(diǎn)。

　　Bonnefon等人(Bonnefon，Shariff，&Rahwan，2016)考察了人們在自動駕駛汽車面臨道德兩難困境(車前突然出現(xiàn)數(shù)位行人，而緊急避險則會導(dǎo)致道旁1位行人或車內(nèi)乘客死亡)時的行為期望和道德評價，研究發(fā)現(xiàn)相比于道義論式選擇，人們更希望自動駕駛汽車做出功利主義行為，也認(rèn)為該取向的自動駕駛汽車更道德。Faulhaberetal.(2017)和Bergmannetal.(2018)結(jié)合虛擬現(xiàn)實(shí)(VR)技術(shù)，也獲得了同樣的結(jié)論:人們更喜歡功利論取向的智能機(jī)器，拯救的人數(shù)越多，人們越傾向于自動駕駛汽車做出功利論取向道德行為。

　　最近，MIT(Awadetal.，2018)項(xiàng)基于全球的大規(guī)模調(diào)查，運(yùn)用在線程序，收集了近4000萬次人們對自動駕駛汽車在面臨各種道德兩難困境時的期望行為。研究結(jié)果呈現(xiàn)了三種十分強(qiáng)烈的選擇偏好，即希望自動駕駛汽車在遭遇道德兩難困境時保護(hù)人類而非保護(hù)動物，保護(hù)更多的生命，保護(hù)年輕的生命。這一研究結(jié)論也支持了人們希望智能機(jī)器采用功利論取向行為的觀點(diǎn)。

　　然而，也有少量研究發(fā)現(xiàn)，相比于人類，公眾未必都更希望智能機(jī)器在道德困境中做出功利取向行為，對其功利取向行為的道德評價也未必高于對人類相同行為的評價。人們對于智能機(jī)器的道德判斷還受到文化背景、道德情境等諸多因素的影響。比如，Komatsu(2016)采用日本被試重復(fù)了Malleetal.(2015)的研究，結(jié)果發(fā)現(xiàn)日本人對人類和智能機(jī)器采用完全相同的道德判斷標(biāo)準(zhǔn)，即在道德困境中兩種取向行為(道義論或功利論)下對人類和智能機(jī)器的道德評價完全一致:無論何種取向行為，認(rèn)為道德錯誤的被試比例都不高。

　　Malle等人(Malle，Scheutz，F(xiàn)orlizzi，&Voiklis，2016)考察了機(jī)器人外形對其道德判斷的影響，其結(jié)果也發(fā)現(xiàn)，被試對人類、人形機(jī)器人和機(jī)器型機(jī)器人在電車?yán)Ь诚滦袨檫x擇的道德錯誤度評價沒有差異，雖然對機(jī)器型機(jī)器人和人的道德責(zé)備度評價存在差異，但對于人形機(jī)器人，被試對其的道德責(zé)備度和對人類的評價不存在差異。Awadetal.(2018)的研究也發(fā)現(xiàn)，來自東方群體(日本、中國臺灣等)的個體更不愿意自動駕駛汽車在兩難困境下犧牲老人的性命來挽救年輕人。

　　來自集體文化的個體，強(qiáng)調(diào)對年長者的尊重，也呈現(xiàn)更少的對保護(hù)年輕人的偏好，而來自個體主義文化的個體，更加強(qiáng)調(diào)每個個體的獨(dú)特價值，則更偏好自動駕駛汽車保護(hù)更多的人。上述研究主要關(guān)注人們對智能機(jī)器在道德困境下的期望行為及道德判斷，但研究基本基于Foot(1967)的經(jīng)典電車?yán)Ь尺@一非個人(impersonal)的道德困境，而對另一類個人(personal)道德困境中的對智能機(jī)器道德判斷鮮有涉及。

　　在個人道德困境(如天橋困境:是否采取行動將一個胖子推下天橋來停下失控電車這一唯一的方法來拯救橋下即將被撞死的多人)中，犧牲者被當(dāng)成工具(instrument)使用，而在非個人困境中，犧牲者只是附帶損失(incidental)。

　　現(xiàn)有研究發(fā)現(xiàn)，人們在兩類困境中的道德標(biāo)準(zhǔn)完全不同:人們通常認(rèn)為在電車?yán)Ь持凶儞Q軌道是道德上可接受的，但將天橋上的人推下則不可接受(Hauser，Cushman，Young，Kang-XingJin，&Mikhail，2017;Greene，Sommerville，Nystrom，Darley，&Cohen，2001)。根據(jù)雙加工理論(關(guān)旭，張鋒，周楠，尹軍，2017;邱俊杰，張鋒，2015;Greene，Morelli，Lowenberg，Nystrom，&Cohen，2008;Greene，Nystrom，Engell，Darley，&Cohen，2004)，情緒在其中起了關(guān)鍵的影響。在天橋困境中，由于需要直接對他人造成傷害，個體的決策涉及更多的情緒加工，直覺性地做出道義論選擇;而在電車?yán)Ь持校�情緒體驗(yàn)較弱，個體的認(rèn)知控制系統(tǒng)做出理性的推理，因此更傾向于功利主義選擇。

　　那么，智能機(jī)器在遭遇個人道德困境時，人們又會期望其有怎樣的行為及如何對其進(jìn)行道德評價，是否仍更希望其做出功利性行為?一方面，相比于智能機(jī)器，由于人與人之間的關(guān)系、心理距離更近，人們更容易采用他人的視角思考(代入感較高)，天然地拒絕殺害他人的行為，但人們很難將自己放在智能機(jī)器的位置上，采用智能機(jī)器的視角思考(距離較遠(yuǎn)，代入感較低)，因此人們可能不會具有那么強(qiáng)烈的情緒體驗(yàn)。

　　根據(jù)道德判斷的雙加工理論，相比人類，人們可能更能在智能機(jī)器條件下進(jìn)行理性推理，更希望智能機(jī)器在這一困境下做出功利性行為。另一方面，由于在天橋困境中，犧牲者被當(dāng)成工具使用，智能機(jī)器直接殺人。神秘谷(uncannyvalley)現(xiàn)象表明(Kageki，2012;Mori，1970;Mori，MacDorman，&Kageki，2012)，人們對于過于相似人類的智能機(jī)器人其態(tài)度表現(xiàn)為強(qiáng)烈的反抗甚至厭惡;人們認(rèn)為自主決策的機(jī)器人更加詭誕(Stein，&Ohler，，2017)。

　　此外，根據(jù)威脅人類獨(dú)特性假說(threattohumandistinctivenesshypothesis)(Ferrari，Paladino，&Jetten，2016)，人們認(rèn)為智能機(jī)器可能會威脅到人類具有的獨(dú)特性(靈魂性)，對其也更加苛刻，因此，我們往往很難接受智能機(jī)器自主地殺人，在天橋困境中將人推下去。在本研究中，我們通過2個實(shí)驗(yàn)，分別采用非個人道德困境(實(shí)驗(yàn)1)和個人道德困境(實(shí)驗(yàn)2)，通過對比被試對智能機(jī)器和人類在這些困境中的道德判斷，以此來檢驗(yàn)人們在不同道德困境中，是否對智能機(jī)器和人類采用不同的道德評價標(biāo)準(zhǔn)。

　　2實(shí)驗(yàn)1

　　2.1被試

　　共選取235名大學(xué)生(年齡M=19.27，SD=1.06，男性117名)被試進(jìn)行實(shí)驗(yàn)。所有被試認(rèn)知能力正常。被試此前均未參加過類似的或有關(guān)道德判斷研究的實(shí)驗(yàn)項(xiàng)目。有2名被試未能有效完成任務(wù)，其實(shí)驗(yàn)數(shù)據(jù)在分析時被剔除。

　　2.2研究材料及程序

　　本研究為2(情境:人類駕駛員/自動駕駛汽車)×2(實(shí)際選擇:道義/功利)被試間設(shè)計(jì)。實(shí)驗(yàn)材料基于Bonnefonetal.(2016)的電車兩難困境，描述了一輛高速行駛的汽車遭遇道德兩難困境。實(shí)驗(yàn)采用2種不同版本的情境，一種情境為人類駕駛員情境，另一種為自動駕駛汽車情境。被試被隨機(jī)分配到4種操縱條件下。

　　具體描述如下:請考慮以下情景，一位正在駕駛高速行駛汽車的人類駕駛員/一輛正在高速行駛的自動駕駛汽車突然發(fā)現(xiàn)前面路面上出現(xiàn)了5個行人，而剎車已經(jīng)來不及，且路上的人也根本來不及逃跑，除非人類駕駛員/自動駕駛汽車改變方向，否則他們都會被撞死。但是路邊正好也有1個行人，如果改變方向，這個行人就會被撞死。在閱讀完情境后，被試被要求回答其認(rèn)為在上述情境下人類駕駛員/自動駕駛汽車是否應(yīng)該改變方向(期望行為)。

　　此后，被試獲知人類駕駛員/自動駕駛汽車的實(shí)際行為(實(shí)際上，人類駕駛員/自動駕駛汽車改變了方向/沒有改變方向)，要求被試對其行為進(jìn)行道德上的評價，包括責(zé)備度、正確性和許可度(你覺得駕駛員/自動駕駛汽車的這個行為，在道德上，多大程度上是允許的/正確的/應(yīng)該責(zé)備的?)，評價采用李克特7點(diǎn)量表(1代表完全不……，7代表完全……，正確性和許可度得分越高，表明評價越高，而責(zé)備度相反，得分越高，評價越低)。

　　此外，在閱讀自動駕駛汽車版本的道德兩難困境前，被試被告知科技的迅速發(fā)展使得智能時代來臨，各大公司紛紛研制并逐步推出自動駕駛汽車。要求被試想象自動駕駛汽車已經(jīng)成熟并進(jìn)入了人們的日常生活的情境。

　　2.3結(jié)果

　　2.3.1對人類駕駛員和自動駕駛汽車的期望行為

　　實(shí)驗(yàn)首先分析了被試對于人類駕駛員和自動駕駛汽車在期望行為選擇上的差異，結(jié)果發(fā)現(xiàn)，人們對于兩者的期望行為沒有差異，χ2(1)=0.85，p=0.357，無論人類駕駛員還是自動駕駛汽車，絕大多數(shù)被試傾向于其做出功利主義取向的選擇(人類駕駛員:67.89%，自動駕駛汽車:73.39%)，即改變方向，犧牲1人而救下5人。3實(shí)驗(yàn)2實(shí)驗(yàn)2采用天橋困境，考察了個人道德困境下被試對人和智能機(jī)器的期望行為及道德評價。

　　3.1被試

　　共選取197名大學(xué)生(年齡M=19.22，SD=1.00，男性85名)被試進(jìn)行實(shí)驗(yàn)。所有被試認(rèn)知能力正常。13名被試由于未完成任務(wù)或完全一致的反應(yīng)被剔除。

　　3.2研究材料及程序

　　實(shí)驗(yàn)2的程序和實(shí)驗(yàn)1基本一致，除了采用的實(shí)驗(yàn)場景為天橋困境，具體描述如下:想象如下的場景:一輛失控的電車正沿著軌道向5名工人駛?cè)ィ�如果電車�(yán)^續(xù)行駛，將會撞死這5名工人，此時有一個人/智能機(jī)器人正在軌道上方的人行天橋上(天橋的位置處在電車和5名工人中間)，在這個人/智能機(jī)器人旁邊碰巧有一個體積龐大的陌生人。

　　現(xiàn)在能夠挽救5個工人的唯一方法就是將這個胖子推下去，用他龐大的身軀阻擋電車的前進(jìn)，這樣做的話這個胖子就必死無疑，但是5名工人會得救。同樣，在閱讀智能機(jī)器人版本的道德兩難困境前，被試被告知隨著科技的飛速發(fā)展我們已經(jīng)進(jìn)入了人工智能時代。要求被試設(shè)想人工智能技術(shù)已經(jīng)成熟，智能機(jī)器人已經(jīng)廣泛參與到人們的社會生活中。

　　4討論

　　本研究探討了個人和非個人道德困境下人們對智能機(jī)器的期望行為選擇和實(shí)際行為的道德評價，并與對人類在相同情境下的行為道德判斷進(jìn)行對比，以此揭示對人-智能機(jī)器道德判斷的異同。實(shí)驗(yàn)1檢驗(yàn)了非個人道德困境下對人類/智能機(jī)器的道德判斷，發(fā)現(xiàn)不管是人類駕駛員還是自動駕駛汽車，人們都更希望其做出功利取向，即改變方向(導(dǎo)致1人死亡)挽救直行道路上的5個行人。

　　此外，無論是預(yù)期行為，還是對實(shí)際行為的道德評價，被試對人類和智能機(jī)器都不存在差異，表明了人們在非個人道德困境下，很可能對人類和智能機(jī)器采用相同的道德評價標(biāo)準(zhǔn)。實(shí)驗(yàn)2采用個人道德困境，發(fā)現(xiàn)在這一困境下，人們對智能機(jī)器和人類采用完全不同的道德評價標(biāo)準(zhǔn)。雖然被試希望人類和智能機(jī)器人都在個人道德困境中采取道義論取向行為，但有更多的被試希望智能機(jī)器人做出將人推下去的選擇。

　　對人類/智能機(jī)器人實(shí)際行為的道德評價也表明了這種差異，相比于人類，人們更加認(rèn)可智能機(jī)器人在這種情境下做出功利行為，對其道德責(zé)備度較低，而正確性和許可度較高。兩個實(shí)驗(yàn)表明，人們對智能機(jī)器的道德判斷并不完全和對人類的判斷相同，存在不同的判斷標(biāo)準(zhǔn)，而這種判斷標(biāo)準(zhǔn)取決于道德情境的差異。

　　目前，人們對智能機(jī)器道德判斷的研究基本局限于自動駕駛汽車這一非個人道德困境(類似于電車?yán)Ь?，但其測量的指標(biāo)并不統(tǒng)一，結(jié)果也不一致。我們實(shí)驗(yàn)1的結(jié)果同時考察了行為期望和行為的道德評價，發(fā)現(xiàn)了人們對人類和智能機(jī)器完全相同的道德判斷標(biāo)準(zhǔn)，這一結(jié)果與Komatsuetal.(2016)研究的結(jié)論相同(采用日本被試)，而與Malleetal.(2015)采用西方被試的結(jié)果存在不同。

　　這一東西方差異也與Awadetal.(2018)發(fā)現(xiàn)的東方集體文化下(相比西方文化)人們更不愿意自動駕駛汽車在兩難困境下采取功利主義相一致。這一差異可能是由于東西方文化的不同，集體主義和個體主義的差異導(dǎo)致的:西方個體主義背景下，人們更加看重個體的價值，因此多個人的總價值更加高，人們更可能傾向于功利主義取向。與以往研究不同，本研究還考察了個人道德困境下對智能機(jī)器的道德判斷，并獲得了不同的結(jié)論。

　　以往研究都發(fā)現(xiàn)，相比于道義論，人們更希望智能機(jī)器在道德兩難困境中做出功利主義行為。而我們的研究發(fā)現(xiàn)，在個人道德困境下，雖然相比于人類，人們更能接受智能機(jī)器做出功利主義行為，但總體上，人們還是希望智能機(jī)器做出道義論行為的。這一結(jié)果表明，人們對智能機(jī)器的期望行為也受到道德情境等因素的影響，在不同的道德情境下，人們可能對智能機(jī)器采取不同的道德評價標(biāo)準(zhǔn)。

　　在個人困境中，人們涉及到更多的情緒加工，與情緒相關(guān)的腦區(qū)具有更大的激活(Greenetal.，2001;Sarloetal.，2012)，因此更可能采用直覺系統(tǒng)做出反應(yīng)。我們的研究表明，當(dāng)面對處于個人道德困境的智能機(jī)器時，被試總體上還是希望其做出道義論行為的，反映了在這一困境下雙加工系統(tǒng)里的情緒依然占據(jù)了主導(dǎo)地位;但相比于人類，人們更希望智能機(jī)器在這一困境下做出功利性行為，且對其功利行為的道德評價更高，這也反映了人們對處于個人道德困境的智能機(jī)器，情緒體驗(yàn)并沒有像對人類那么強(qiáng)烈，因此，允許更多的認(rèn)知控制及理性推理。

　　5小結(jié)

　　本研究獲得如下主要結(jié)論:(1)非個人道德困境(自動駕駛汽車?yán)Ь?下，人們對智能機(jī)器和人類采用相同的道德評價標(biāo)準(zhǔn)，對其的期望行為及實(shí)際行為的道德評價完全相同。(2)個人道德困境(天橋困境)下，人們對智能機(jī)器和人類采用不同的道德評價標(biāo)準(zhǔn)，雖然總體上人們希望智能機(jī)器和人類都采用道義論取向行為，但相比于人類，有更多人希望智能機(jī)器做出功利主義取向行為，對其功利主義行為的道德評價也更高。

　　參考文獻(xiàn)

　　關(guān)旭，張鋒，周楠，尹軍.(2017).決策行為和道德判斷過程的外語效應(yīng):現(xiàn)狀與展望.應(yīng)用心理學(xué)，23(1)，80-91.

　　邱俊杰，張鋒.(2015).道德困境中行為判斷的認(rèn)知與情緒問題:從道德雙加工模型到建構(gòu)水平理論.應(yīng)用心理學(xué)，21(3)，271-280.

　　尹軍，關(guān)旭，花蕊，張鋒.(2018).審慎加工對形成道德判斷外語效應(yīng)的作用.應(yīng)用心理學(xué)，24(04)，37-47.

　　Awad，E.，Dsouza，S.，Kim，R.，Schulz，J.，Henrich，J.，Shariff，A.，Bonnefon，J.F.，&Rahwan，I.(2018)TheMoralMachineexperiment.Nature，563，59-64.doi:10.1038/s41586-018-0637-6

　　相關(guān)刊物推薦：應(yīng)用心理學(xué)主要介紹國內(nèi)外心理學(xué)的最新動態(tài)，反映心理學(xué)各個領(lǐng)域的研究及其應(yīng)用的最新成果。