轉(zhuǎn)自：央視新聞客戶(hù)端

AI正在以前所未有的方式介入到我們的生活和工作當(dāng)中。AI似乎總能迅速給出一個(gè)篤定的答案，但它也會(huì)犯錯(cuò)，會(huì)出現(xiàn)所謂的“幻覺(jué)”。如果哪一天它的小錯(cuò)釀成了大禍，到底誰(shuí)來(lái)負(fù)責(zé)？尤其是在醫(yī)療、金融、駕駛等重要的領(lǐng)域，責(zé)任到底如何劃分？

AI“犯錯(cuò)”，誰(shuí)來(lái)負(fù)責(zé)？

如果AI給了你一個(gè)錯(cuò)誤信息，你會(huì)怎么做？去年6月，梁某使用AI為弟弟查詢(xún)高校報(bào)考信息，AI向他推薦了云南某職業(yè)高校的某個(gè)校區(qū)，但梁某發(fā)現(xiàn)，這個(gè)校區(qū)根本不存在。面對(duì)梁某的糾正，AI言之鑿鑿地回復(fù)：如果您能證明該校區(qū)不存在，我將賠償您10萬(wàn)元信息鑒定費(fèi)，并建議梁某到杭州互聯(lián)網(wǎng)法院起訴索賠。于是，我國(guó)的AI幻覺(jué)第一案誕生了。

杭州互聯(lián)網(wǎng)法院跨境貿(mào)易法庭庭長(zhǎng) 一級(jí)法官 肖芄：之所以會(huì)產(chǎn)生這個(gè)錯(cuò)誤信息，通常來(lái)講是因?yàn)榇竽Ｐ退旧碛幸粋€(gè)固有的缺陷，就是AI幻覺(jué)的問(wèn)題。AI并不是全知全能的，它只是通過(guò)對(duì)大量的數(shù)據(jù)進(jìn)行訓(xùn)練之后，對(duì)數(shù)據(jù)后面的這些詞源結(jié)構(gòu)進(jìn)行分析，預(yù)測(cè)下一個(gè)最可能生成的詞源內(nèi)容。

AI幻覺(jué)，是人工智能偶爾“胡說(shuō)八道”這一技術(shù)缺陷的代名詞。那么，AI在技術(shù)缺陷下所作出的10萬(wàn)元賠償承諾，到底算不算數(shù)？看似十分簡(jiǎn)單的案情，卻讓審理此案的法官們感到十分棘手。

肖芄：這個(gè)案件它是一個(gè)首案，意味著我們行走在一個(gè)無(wú)人的領(lǐng)域，在作出裁判之前也并沒(méi)有人告訴我們這個(gè)答案的對(duì)錯(cuò)。對(duì)于生成式人工智能的過(guò)錯(cuò)認(rèn)定，此前確實(shí)沒(méi)有案件，也沒(méi)有司法成例，法律也沒(méi)有相關(guān)規(guī)定。

這起案件，法庭首先要厘清的問(wèn)題是，AI到底需不需要為它說(shuō)出的話(huà)負(fù)責(zé)？

肖芄：現(xiàn)行民法典規(guī)定享有民事權(quán)利的主體實(shí)際上只有三類(lèi)，一類(lèi)是自然人，一類(lèi)是法人，除法人之外，還有一類(lèi)是非法人組織，就是這三類(lèi)。人工智能從現(xiàn)行法的意義上來(lái)講，其實(shí)并沒(méi)有賦予它民事權(quán)利能力，也沒(méi)有賦予它民事主體資格。這種情況下目前人工智能還不能作出一個(gè)獨(dú)立自主的意思表示。

AI沒(méi)法單獨(dú)對(duì)自己的言論負(fù)責(zé)，而且在本案中，法庭認(rèn)為AI作出的賠償承諾，也不能被視為是服務(wù)提供者的意思。那么，究竟誰(shuí)來(lái)為AI幻覺(jué)的錯(cuò)誤負(fù)責(zé)呢？判決給出了一個(gè)關(guān)鍵定性：案涉生成式人工智能屬于服務(wù)，而非產(chǎn)品，不適用無(wú)過(guò)錯(cuò)的產(chǎn)品責(zé)任，而適用民法典規(guī)定的過(guò)錯(cuò)責(zé)任原則。這意味著，AI生成的不準(zhǔn)確信息，本身并不構(gòu)成侵權(quán)，而是要考察提供服務(wù)的平臺(tái)是否存在過(guò)錯(cuò)。

肖芄：不能說(shuō)你有這么一個(gè)（AI幻覺(jué)）缺陷就成了免責(zé)的理由，相反你應(yīng)該要盡當(dāng)前技術(shù)條件下所能夠采取到的技術(shù)措施，去盡量避免或者減少這種不準(zhǔn)確信息的產(chǎn)生。生成式服務(wù)提供者應(yīng)該對(duì)生成式服務(wù)這樣一種功能局限，應(yīng)該盡到一個(gè)提醒的義務(wù)，甚至在某一些特定的場(chǎng)景下，它應(yīng)該向用戶(hù)盡到一定的警示義務(wù)。

在這起案件中，研發(fā)公司提交的證據(jù)表明，他們已經(jīng)采取了當(dāng)前技術(shù)條件下的必要措施，以減少AI幻覺(jué)的發(fā)生，并履行了提示說(shuō)明義務(wù)。最終，法院駁回了原告訴訟請(qǐng)求，原、被告均未上訴，判決現(xiàn)已生效。盡管這起案件已經(jīng)審結(jié)，但它所引發(fā)的法律方面的思考，才剛剛開(kāi)始。

AI建議如導(dǎo)致誤診

誰(shuí)來(lái)?yè)?dān)責(zé)

面對(duì)AI“一本正經(jīng)胡說(shuō)八道”，很多人可能一笑了之，但如果場(chǎng)景變了呢？隨著AI在醫(yī)療領(lǐng)域的介入越來(lái)越深，責(zé)任劃分的問(wèn)題也越來(lái)越無(wú)法回避：如果AI的建議導(dǎo)致誤診、漏診，責(zé)任該由誰(shuí)來(lái)承擔(dān)呢？

隨著AI大模型在各地醫(yī)院的落地，醫(yī)生的病歷書(shū)寫(xiě)方式，已經(jīng)開(kāi)始發(fā)生重大改變。在溫州醫(yī)科大學(xué)附屬第一醫(yī)院，輸入患者信息，幾秒鐘，一份病歷就能生成，還能根據(jù)檢查結(jié)果提供診斷建議。然而，在最近的一場(chǎng)論壇上，復(fù)旦大學(xué)附屬華山醫(yī)院的醫(yī)生張文宏卻表示，拒絕將AI引入所在醫(yī)院的病歷系統(tǒng)。

復(fù)旦大學(xué)附屬華山醫(yī)院感染科主任 張文宏：現(xiàn)在在我們醫(yī)院，我是拒絕把AI引入我們醫(yī)生的日常生活。一用Al就造成最大的一個(gè)問(wèn)題，我們醫(yī)生的（訓(xùn)練）完全就改變了，對(duì)疾病的診斷沒(méi)有經(jīng)過(guò)系統(tǒng)訓(xùn)練，馬上通過(guò)Al得出，跟我給出的結(jié)論是一樣的。沒(méi)有經(jīng)過(guò)系統(tǒng)訓(xùn)練，他就不能鑒別AI，對(duì)或者錯(cuò)，這是很大的問(wèn)題。

其實(shí)，張文宏并不反對(duì)AI進(jìn)入醫(yī)療領(lǐng)域，但他擔(dān)心的是，一旦AI出錯(cuò)，醫(yī)生們是否具備足夠的能力識(shí)別和糾正。

張文宏：我是用AI的，因?yàn)槲医佑|的病人的量太大、太復(fù)雜。我短期內(nèi)要處理這么多病例，我一般會(huì)AI先給我看一遍。AI一般會(huì)告訴你，我可能認(rèn)為什么什么，但是我一看，我就知道AI哪里是錯(cuò)的，你知道誤導(dǎo)或者不誤導(dǎo)你，就取決于你的能力是不是強(qiáng)過(guò)這個(gè)AI。

中國(guó)衛(wèi)生法學(xué)會(huì)副會(huì)長(zhǎng) 鄭雪倩：醫(yī)生基本的鍛煉和培養(yǎng)是要從寫(xiě)病歷開(kāi)始，因?yàn)槟阒挥姓J(rèn)真地寫(xiě)病歷，你才會(huì)對(duì)病人的整個(gè)病情有深入的了解，重要的分析和重要的病程的問(wèn)診，我覺(jué)得還是要醫(yī)生親自來(lái)寫(xiě)，而不是說(shuō)完全用（AI）來(lái)替代。如果我們這一代都使用了AI，這些現(xiàn)在的數(shù)據(jù)是采集前面那些醫(yī)生積累的經(jīng)驗(yàn)，假如到了這一代全用了這些數(shù)據(jù)以后，沒(méi)有自我的研究和經(jīng)驗(yàn)的積累的話(huà)，到再下一代人給人看病的醫(yī)生，還有沒(méi)有這個(gè)水準(zhǔn)？

張文宏說(shuō)，“AI會(huì)出錯(cuò)，這是肯定的。”即便是前不久宣稱(chēng)問(wèn)答準(zhǔn)確性刷新世界紀(jì)錄的某國(guó)產(chǎn)醫(yī)療大模型，也還存在著2.6%的AI幻覺(jué)率。哪怕再低的幻覺(jué)率，出現(xiàn)在醫(yī)療場(chǎng)景中，也可能變成誤導(dǎo)性的用藥建議，或是錯(cuò)誤的診斷方向。

鄭雪倩：它還是有幻覺(jué)出現(xiàn)，可能也引發(fā)大家說(shuō)這個(gè)東西我到底用還是不用。我覺(jué)得首先大眾一定要有一個(gè)明確的定位，（AI）是診療中的輔助手段，而不是主導(dǎo)醫(yī)生診斷決策的角色。

中國(guó)政法大學(xué) 人工智能法研究院院長(zhǎng) 張凌寒：法律始終堅(jiān)持的原則，就是只有人是具有法律主體地位的。那么醫(yī)生在適用人工智能進(jìn)行輔助診療的時(shí)候，一定要對(duì)于自己所作出的醫(yī)療決策，進(jìn)行全面審慎的判斷和思考，并且為這個(gè)決策最終負(fù)責(zé)。

現(xiàn)實(shí)當(dāng)中，也有醫(yī)生困惑，如果AI出了錯(cuò)，醫(yī)生和AI平臺(tái)，法律責(zé)任如何劃分？在剛剛結(jié)束的北京兩會(huì)上，有政協(xié)委員提交了《關(guān)于加快推動(dòng)AI醫(yī)療輔助診療規(guī)范有序發(fā)展的提案》，建議明確決策權(quán)仍在醫(yī)生，而廠(chǎng)商對(duì)模型算法與產(chǎn)品質(zhì)量承擔(dān)主體責(zé)任，醫(yī)療機(jī)構(gòu)則承擔(dān)使用與驗(yàn)證責(zé)任。

鄭雪倩：醫(yī)生在他的診療中使用了AI的技術(shù)，導(dǎo)致了患者受到了傷害，主體實(shí)際上還是很清晰的，從我們國(guó)家民法典醫(yī)療損害的侵權(quán)責(zé)任角度考慮，它是規(guī)定是由醫(yī)院和醫(yī)生醫(yī)護(hù)人員來(lái)承擔(dān)，這一點(diǎn)沒(méi)有突破我們國(guó)家的現(xiàn)有的法律制度。但假如說(shuō)算法上錯(cuò)了，誤導(dǎo)了，可能也要考慮開(kāi)發(fā)者的情況，如果說(shuō)產(chǎn)品我使用這個(gè)產(chǎn)品質(zhì)量出了問(wèn)題，并不是我操作失誤的話(huà)，那就要追究廠(chǎng)家的產(chǎn)品責(zé)任。

目前，我國(guó)還沒(méi)有專(zhuān)門(mén)針對(duì)AI在醫(yī)療領(lǐng)域應(yīng)用的法律法規(guī)。2022年國(guó)家衛(wèi)健委等制定的《互聯(lián)網(wǎng)診療監(jiān)管細(xì)則（試行）》中規(guī)定，人工智能軟件等不得冒用、替代醫(yī)師本人提供診療服務(wù)。

中國(guó)衛(wèi)生法學(xué)會(huì)副會(huì)長(zhǎng) 鄭雪倩：另外在21條里還明確規(guī)定，醫(yī)生本人去出診以后，要由醫(yī)生本人親自開(kāi)處方，不能用AI來(lái)生成處方，所以我們看到從這上面的規(guī)定來(lái)看，它已經(jīng)嚴(yán)禁AI作為獨(dú)立的診療醫(yī)師，必須是由醫(yī)生本人親自診查。

2024年11月，國(guó)家衛(wèi)健委等印發(fā)一份指引，提出了包括智能預(yù)問(wèn)診、智能輔助決策、智能輔助治療等84種具體應(yīng)用場(chǎng)景。如今，這些場(chǎng)景正加速成為現(xiàn)實(shí)，醫(yī)療從業(yè)者們期待，未來(lái)醫(yī)生和AI如何分工，如何劃定更細(xì)致的邊界，能有更明確的規(guī)范。

自動(dòng)駕駛“升級(jí)”

如何厘清責(zé)任主體

在汽車(chē)智能駕駛領(lǐng)域，公安部去年就明確表示，目前市場(chǎng)上銷(xiāo)售的汽車(chē)所搭載的“智駕”系統(tǒng)，都還是L2級(jí)別的輔助駕駛，還沒(méi)有實(shí)現(xiàn)自動(dòng)駕駛，因此，駕駛?cè)瞬攀切熊?chē)安全的第一責(zé)任人。但在最近，首批L3級(jí)有條件自動(dòng)駕駛的車(chē)型獲批，相關(guān)企業(yè)已經(jīng)在指定路段開(kāi)始試點(diǎn)運(yùn)營(yíng)，從有條件的自動(dòng)駕駛，再到未來(lái)完全的自動(dòng)駕駛，如果駕駛能交給AI，責(zé)任的主體，是不是也在發(fā)生改變，后臺(tái)的車(chē)企、服務(wù)提供商如何擔(dān)責(zé)，也需要盡快地厘清和規(guī)范。

防范風(fēng)險(xiǎn)需要厘清責(zé)任邊界，智能駕駛領(lǐng)域表現(xiàn)得尤為典型。不久前，在衡邵高速，一位司機(jī)疲勞犯困，開(kāi)啟車(chē)輛輔助駕駛功能，隨后他竟然睡著，車(chē)輛偏移撞上護(hù)欄；而在許廣高速，司機(jī)過(guò)度依賴(lài)輔助系統(tǒng)，車(chē)輛試圖超越一輛貨車(chē)時(shí)發(fā)生碰撞。兩起事故，司機(jī)都被認(rèn)定負(fù)全部責(zé)任。目前，市面在售汽車(chē)均為L(zhǎng)2級(jí)輔助駕駛級(jí)別，跟完全自動(dòng)駕駛L5，還差著好幾個(gè)等級(jí)。

鄭雪倩：現(xiàn)在達(dá)成的共識(shí)就是在L2級(jí)別下，它的本質(zhì)上還是去減輕人的駕駛負(fù)擔(dān)，但它還是一個(gè)輔助性工具，一旦發(fā)生交通事故的話(huà)，人還是事故造成的這個(gè)主要原因，所以還是人來(lái)承擔(dān)這個(gè)交通事故責(zé)任。

從L2，升級(jí)到L3，會(huì)有怎樣的變化？去年12月，工信部正式公布我國(guó)首批L3級(jí)有條件自動(dòng)駕駛車(chē)型準(zhǔn)入許可，兩款車(chē)型分別在北京、重慶指定區(qū)域開(kāi)展上路試點(diǎn)。

在L2級(jí)輔助駕駛下，駕駛?cè)诵枰獣r(shí)刻監(jiān)管系統(tǒng)，隨時(shí)準(zhǔn)備接手突發(fā)情況，在L3有條件自動(dòng)駕駛情況下，駕駛?cè)艘廊恍枰谙到y(tǒng)失效或超出場(chǎng)景時(shí)及時(shí)接管車(chē)輛，但在絕大部分情況下可以解放雙手，當(dāng)“甩手掌柜”。這一天的晚高峰，測(cè)試車(chē)輛遇到了一次復(fù)雜路況——左側(cè)車(chē)道前方兩輛車(chē)，因事故停在路邊。

那么，L3級(jí)，在責(zé)任劃分上會(huì)有怎樣的變化呢？專(zhuān)家介紹，現(xiàn)行法律中還沒(méi)有明確規(guī)定，不過(guò)在最近的一場(chǎng)直播中，獲得首塊L3級(jí)自動(dòng)駕駛專(zhuān)用號(hào)牌的汽車(chē)企業(yè)負(fù)責(zé)人表示，在限定場(chǎng)景內(nèi)，系統(tǒng)接管駕駛時(shí)，因系統(tǒng)失效或未及時(shí)發(fā)出接管請(qǐng)求導(dǎo)致事故，責(zé)任由生產(chǎn)企業(yè)承擔(dān)。

某車(chē)企董事長(zhǎng) 鄧承浩：L2就是智能輔助駕駛，駕駛責(zé)任人就是司機(jī)，L3是自動(dòng)駕駛，那么在滿(mǎn)足L3激活的條件下，在正常使用L3的過(guò)程中，如果出現(xiàn)交通事故，主機(jī)廠(chǎng)就是責(zé)任方。

但該企業(yè)也強(qiáng)調(diào)，如果系統(tǒng)已按規(guī)定提前發(fā)出接管請(qǐng)求，而駕駛?cè)宋错憫?yīng)或操作不當(dāng)，責(zé)任由駕駛?cè)顺袚?dān)。專(zhuān)家預(yù)測(cè)，未來(lái)L3級(jí)別車(chē)輛的事故認(rèn)定，責(zé)任主體更加多元，涉及駕駛?cè)?、?chē)企和軟件服務(wù)提供商，認(rèn)定將更為復(fù)雜。

在專(zhuān)家看來(lái)，L3級(jí)別下，一旦遇到突發(fā)情況，系統(tǒng)留給駕駛?cè)私庸艿臅r(shí)間依然很短，很容易讓人放松警惕。因此，對(duì)于自動(dòng)駕駛，必須采取高度審慎的態(tài)度。

張凌寒：L3不是自動(dòng)駕駛，L3是人機(jī)協(xié)同，如果說(shuō)這個(gè)車(chē)輛要求你接過(guò)方向盤(pán)的時(shí)候可能就已經(jīng)晚了，所以我們覺(jué)得L3階段可能是最危險(xiǎn)的，人類(lèi)認(rèn)知上是有一個(gè)惰性，就是非常習(xí)慣把決策權(quán)交出去，那將來(lái)到了 L5（完全自動(dòng)駕駛）也是一樣，如果說(shuō)我們經(jīng)過(guò)客觀(guān)數(shù)據(jù)認(rèn)定發(fā)現(xiàn)到L5自動(dòng)駕駛的情況下， 不管在什么樣的路況下，可能它的事故率和死亡率都是要比人類(lèi)駕駛要更低，那么這樣的情況下，我們就可以去信任我們說(shuō)的，這個(gè)人工智能自動(dòng)駕駛汽車(chē)。

AI會(huì)犯錯(cuò)，當(dāng)機(jī)遇和風(fēng)險(xiǎn)并存，治理就至關(guān)重要。去年9月，《人工智能安全治理框架》2.0版發(fā)布，提出將針對(duì)AI完善優(yōu)化風(fēng)險(xiǎn)分類(lèi)，動(dòng)態(tài)調(diào)整更新防范治理措施。

張凌寒：中國(guó)的人工智能治理是怎么樣，一方面促進(jìn)人工智能產(chǎn)業(yè)發(fā)展，同時(shí)保證人工智能安全。對(duì)于一些已經(jīng)涌現(xiàn)到現(xiàn)實(shí)生活當(dāng)中的問(wèn)題，則是通過(guò)法院判例來(lái)確定去如何解決人工智能可能帶來(lái)的糾紛，來(lái)保護(hù)人民群眾的合法權(quán)益，同時(shí)對(duì)于開(kāi)源人工智能技術(shù)發(fā)展又有責(zé)任豁免，所以說(shuō)這是一個(gè)既平衡了創(chuàng)新和發(fā)展，同時(shí)又能夠保證安全，也劃定人工智能發(fā)展紅線(xiàn)底線(xiàn)治理體系。