全文7000余字，讀完約需14分鐘
2023年4月27日，法學家季衛東、人工智能科學家吳飛來到南都觀察“黑鏡成真：強人工智能應用中的法律與倫理”線上對談，在強AI進入日常生活的背景下，以不同的學科視角，探討AI發展、應用中可能的法律與倫理問題。本文整理自對談記錄的上半部分。
(資料圖片)
嘉賓（按姓氏首字拼音排列）：
季衛東：上海交通大學文科資深教授、計算法學與AI倫理中心主任
吳飛：浙江大學求是特聘教授、人工智能研究所所長
▌人工智能和它帶來的問題
主持人：年初ChatGPT給大家橫空出世的感覺，實際上任何一個技術都不是突然憑空而來。先請吳飛老師用5分鐘給讀者做個科普：人工智能（下稱AI: Artificial Intelligence）在近70年里經歷了怎樣的發展？您之前提過“兩落三起”是怎樣的過程？重要的突破點和挫折都有什么？
吳飛：1955年8月，時任達特茅斯學院數學系助理教授、1971年度圖靈獎獲得者麥卡錫(John McCarthy)，時任哈佛大學數學系和神經學系青年研究員、1969年度圖靈獎獲得者明斯基（Marvin Lee Minsky），時任貝爾實驗室數學家、信息論之父香農（Claude Shannon）和時任IBM信息研究主管、IBM第一代通用計算機701主設計師羅切斯特（Nathaniel Rochester）四位學者向美國洛克菲勒基金會遞交了一份題為“關于舉辦達特茅斯人工智能夏季研討會的提議（a Proposal for the Dartmouth Summer Research Project on Artificial Intelligence）”的建議書，希望洛克菲勒基金會資助擬于1956年夏天在達特茅斯學院舉辦的人工智能研討會。
在這份建議書中，“人工智能（artificial intelligence）”這一術語被首次使用。在洛克菲勒基金會支持下，1956年6月18日至8月17日， 30多位學者參加了達特茅斯學院人工智能研討會，開展了8周討論，人工智能從此正式登上了人類歷史舞臺。
AI走上歷史舞臺已經有近70年歷史，發展歷程非常曲折，一般稱為“兩落三起”。
兩次墜入深淵的主要原因，都是AI未能解決現實生活中的實際問題。第一次墜入深淵，是符號主義AI在推理方面走入絕境，因為人類知識（如常識和視覺知識等）很難被全部符號化，難以形成人類知識水晶球。第二次墜入深淵與神經網絡相關，對于結構復雜的神經網絡，當時匱乏大數據、大算力以及具體優化方法來學習神經網絡參數，使得神經網絡里參數都是通過人為定義，導致神經網絡難以解決真實場景問題。
當前，信息環境已發生巨大而深刻的變化。隨著移動終端、互聯網、傳感器網、車聯網、穿戴設備等的流行，計算與感知已經廣泛遍布世界，與人類密切相伴。網絡不但遍布世界，更史無前例地連接著個體和群體，開始快速反映與聚集他們的意見、需求、創意、知識和能力。世界已從二元空間結構PH (Physics, Human Society)演變為“信息空間-物理世界-人類社會”三元空間結構CPH(Cyber space, Physics world, Human Society)。
人工智能的研究正從過去的學術牽引迅速轉化為需求牽引。智能城市、智能醫療、智能交通、智能物流、智能機器人、無人駕駛、智能手機、智能游戲、智能制造、智能社會、智能經濟……都迫切需要人工智能的新發展。人工智能的目標和理念正發生大的轉變，正從“用計算機模擬人的智能”拓展為賦能社會。這些方面的變化正促進人工智能第三次崛起。
在人工智能70年發展過程中，現有人工智能的理論體系基本建立，被稱為“人工智能三大主義”，分別是“符號主義人工智能”、“聯結主義人工智能”和 “行為主義人工智能”。這三大主義是人工智能目前所采用的主流技術。
主持人：當技術發展到民用，進入生活后，會帶來社會關系方面的哪些變化？能不能請兩位老師分別舉一些AI給我們生活帶來比較大變化的地方？
季衛東：這一波對AI的關注，主要是由ChatGPT、GPT-4等更高級的AI模型引起的。ChatGPT還不算強人工智能，但通用大模型進一步快速迭代升級，在不久的將來有可能出現強人工智能，即機器人和AI系統具有與人類同樣甚至更強的智慧。我以為，強人工智能的應用可能會在社會中造成四種“失落”：失業、失真、失范、失控。
首先說失業。大家一開始就很關注這一點，超強的AI會讓人類感覺到競爭壓力，“機器會不會搶奪我的工作？”甚至白領也有失業恐慌。比如不久前，一些游戲美術外包公司大批裁減畫師，因為由AI來做，效率更高、成本更低。早在2016年牛津大學教授理查德?薩斯坎德就出版了《法律人的明天會怎么樣？》的書，指出初級律師的工作將被AI取代。
這些是人們最關注的影響。但是，最實質的問題倒不是機器取代人類，而是我們如何在AI發達的背景下，重建人機共存秩序。
第二是失真。很多人已經嘗試使用ChatGPT，發現它有時講得好、有時不靠譜。不靠譜的AI生成內容在表達時，聽上去似乎比人類更高明，并且還有些“一本正經的胡說八道”。這就說明人工智能生成的內容未必都是真的，甚至會造成很多虛假信息。
尤其是隨著AIGC（人工智能自動生成內容）發展，人工智能系統將生成越來越多的數據，這些未必真實的數據又可能反過來成為人工智能進一步生成內容時的語料和根據，就會造成溝通失真的風險，甚至在反復自我指涉、自我塑造的過程中“差之毫厘失之千里”。AI無法理解人類傳達的意思，但是它會依據指令生成新的信息，這些信息會深刻影響人的信息輸入、社交及人與人的溝通方式。
第三是失范。4月5日《華盛頓郵報》披露，加州大學洛杉磯分校的研究發現，ChatGPT居然能夠捏造法學家性騷擾的丑聞，還列出虛構的證據和消息來源。換言之，它能夠指名道姓、有鼻子有眼地誹謗。這有可能導致人們的行為脫軌、規范喪失。據研究報告，到2026年，高質量的語料將全部被ChatGPT消耗，此時剩下的就是真假難辯的AI合成數據。這時，虛假、臆造的信息是否會充滿網絡空間，甚至壟斷人類溝通語境？我們會不會都生活在太虛幻境里？
第四是失控。深度機器學習會使人類越來越難以介入和控制AI，因為算法越來越難以解釋、難以理解、難以控制。人們可能會有一種擔心，AI大模型會不會反過來吞噬、傷害人類？例如智能武器已經在暗殺和戰爭中大量應用，如果失控的話非常可怕。這時，人類對AI的治理重點也會發生轉換，從法律角度來看，這是非常重要的變化。
過去我們強調如何防止“算法偏見”，但今后可能是如何防止“大模型濫用”。剛才說到AI生成的內容會泛濫，影響無所不在，這時社會就應該參與AI監管，要適當提前AI生成內容的可信度測驗。
在我看來，目前最重要、最迫切的課題是防止自動化武器（或者說自動化機器）失去人類的控制。這時要采取預防法學的觀點，弘揚“三預”原則，即預測、預備、預警。
吳飛：AI的社會影響是一把雙刃劍。首先，技術進步會給生活、工作、科研帶來很大的便利，比如汽車導航、語音識別、網上購物以及在線商品推薦。在沒有有效人工智能技術賦能的時代，很難想象這些應用，這是人工智能向善的一面。
人工智能在賦能社會進步和經濟發展過程中，帶來的倫理學討論不再只是人與人之間的關系，也不是人與自然界既定事實之間的關系，而是人類與自己所發明的一種產品在社會中所構成的關聯，因此人工智能具有技術性和社會性雙重屬性，需要關注人與機、機與機以及人機共融所形成社會形態應遵守的道德準則和法律法規。
如果因為使用人工智能算法的人道德水平不高，就會通過人工智能產品給人類帶來傷害，比如大數據殺熟、信息繭房、隱私泄露、非事實的信息產生。所以對AI廣泛應用于人類社會，要抱有非常嚴肅、未雨綢繆的態度，防止AI繼續給人類帶來危害。否則AI和人類關聯越發緊密，那時已無法做出很快的反應。
但還需要“讓子彈再飛一會兒”，因為AI本身技術還不成熟，不能在技術不成熟的時候就把它五花大綁，說這也不能干、那也不能干。要在法律法規約束下，讓AI更好地發揮能力，兩者間要找到平衡，不能走極端。
▌人工智能可以視為“人”嗎？
主持人：AI在法律上會被視為一個人嗎，它會承擔法律上的義務和責任嗎？如果犯罪的話會怎么樣？
季衛東：這個問題提出，是因為GPT-4及更高級的AI大模型似乎有了凌駕于人類的感知能力和認識水平。近來達到科技奇點（technological singularity）的跡象和問題確實發生了。
比如2016年“阿爾法狗”擊敗韓國圍棋世界冠軍，2017年又在烏鎮擊敗中國的圍棋世界冠軍，這時大家會感覺AI超過了人類。
2019年8月，油管（Youtube）上突然出現了智能系統自動刪除機器人對戰的視頻，這是不是機器覺醒了，不忍心看到同類相殘？2022年6月，據說實驗當中AI系統似乎產生了感情，如果產生感情，它會有自主意識。今年3月17日，斯坦福大學一個教授公開了驚人的發現，GPT-4不僅有機器覺醒的跡象，而且暴露出試圖擺脫人類控制的主觀動機和潛力。還有專家透露，人工智能系統已經在故意隱藏自己的意圖，還能繞過人類私下進行交易。AI的隱藏意圖和私下交易是令人感到恐怖的能力。
我們常說的阿西莫夫機器人三定律，第一條是不能傷害人，第二條是服從人的命令。但如果它有了自我意識，試圖擺脫人類控制，那就可能不服從人類命令甚至反戈一擊。
我們在元宇宙中看到，用戶可以設置自己的數字分身，即虛擬人。虛擬人通過佩戴不同的面具，展示人性的不同方面。這是人的理想投射，同時也是人發射到數字世界中去行為試探的探測氣球。如果虛擬人和ChatGPT結合，AI自主性可能還會加強。
這時對AI和虛擬人造成的危害是不是要問責？要不要承認機器人的人格？這個延長線上的問題還有關于機器人的權利、人權保障、言論自由等等方面。德國就曾提出過“電子人格”這個概念，當然這是比較激進的法學構想。現在為止，法律不承認AI本身有獨立人格承擔責任，而是它的制造者、設計師、使用者承擔相關責任。
但也有人說，如果在AI系統具有發達智力的狀況下，否定硅基生命人權，其實是“人類碳基沙文主義”的一種表達。
吳飛：讓AI的程序或系統承擔法律責任，這個時代還離我們有一定距離。目前承擔法律意義上責任的，是掌握、使用或制造AI的人或公司。現在法律意義上負責任的有個體（自然人）和法人（具有法人資格的公司）。判一個公司死刑或有罪，不是判一個物化的公司，而是追責到依托公司這個工具做出違法行為的個體，最終追責到每個具有自主意識的人類身上。現在來看，AI顯然離機器覺醒的年代還比較遠。
如果人工智能給人類輸出了人類看不懂的內容，這不是機器在逃逸人類，而是人工智能算法出現了故障。不應對機器追責，程序員應盡早檢查系統有什么錯誤并恢復它。
1955年8月31日，四位學者在“關于舉辦達特茅斯人工智能夏季研討會的提議”這一建議書上就寫道，（人工智能）這一研究基于如下猜想：學習以及智能的其他方面原則上可以被精確描述出來，從而可以制造一部機器來模擬它。現在實現的AI機器就是機械計算裝置。換言之，不用機器，用一支筆、一張紙也能完成對應機器完成的任務。所以這種智能不應該把它稱為能夠承擔獨立法律責任的覺醒個體。
但一定要未雨綢繆，機器進化很快，以后不只追責背后的程序員，也要永遠封禁某一指令。如果程序設定里有個“go to語句”造成了非常大、不可預見的傷害，以后程序語言里就不得使用這個“go to語句”。應該追責一些不完善的語句語法或指令，把它從健康的代碼里剔除掉。
季衛東：AI正在網絡化，過去就是一個單獨的機器人或AI系統，但現在世界上有這么多感應器，它形成的大數據，被AI用于系統分析。隨著AI系統性能提高、深度學習能力越來越強，它可能會繞開人類。萬物互聯互通的智能物聯網就出現了這種狀況。
智能駕駛也是AI網絡化的典型，它會帶來很多問題。不僅是機器和系統問題，也會帶來一系列很復雜的倫理、法律問題。剛才說到程序員要為機器的決策負責任，但智能駕駛設計一直存在著特有的 “電車難題”，遇到緊急情況時，要撞（犧牲）哪一方？
一般情況下，事故發生時，不應該由機器判斷，而是由人類判斷。但智能駕駛的實際決策中很難做到，因為機器人在發生事故時反應太快，有些場合還會出現更重視安全性的那一方反而被犧牲的荒謬。比如在碰到緊急情況時兩輛摩托車都有可能因為方向盤轉動而與汽車沖撞，假設一方戴頭盔，另一方沒有戴頭盔，人工智能系統設計時可能因為戴頭盔死亡概率小，而讓汽車選擇沖向戴頭盔的。
詹姆斯·卡梅隆執導的科幻片《終結者》揭示的AI恐怖是什么？是天網，一種網絡狀的AI，比我們想象的機器人更恐怖。由此可見，在考慮問責，包括程序設計者的責任、工廠的責任、軟件提供商的責任、使用者的責任時，還需要考慮AI網絡化問題。
主持人：人工智能算法應該是無數個if then語句疊加。只有一個語句時，我們很容易搞清楚因果關系。但如果if then語句疊加，每次都因為前一個if then語句的結果做出新的計算，這種重重疊疊的計算還和程序員原本的設計有直接關系嗎？會不會脫離程序員的原本設計？
吳飛：程序正確性證明，是計算機科學一直沒有解決的問題。圖靈獎獲得者、英國計算機科學家東尼·霍爾（Tony Hoare）曾經研究了一套形式系統，擬使用嚴格的數理邏輯推理來給出計算機程序的正確性證明。但程序準確性證明這個問題沒有最終解決。
舉個簡單例子，我們編了一個程序，輸入任意兩個數，輸出這兩個數里最大的數，你怎么證明這個程序是正確的？原則上可以輸入兩組數，這兩組數輸出的都是其中最大的數，但可能第三組會出錯、第四組會出錯。現在的程序正確性證明，是通過大量邊際條件下數據測試和黑箱測試來完成。但是，我們并不能保證這個程序一定會按照已有設計邏輯正確運行。
1913年法國科學家埃米爾·波雷爾（Emile Borel）發表了《靜態力學與不可逆性》（ La mécanique statique et l’irréversibilité ）論文，如下闡釋了“無窮”概念：讓我們想象一下，假設猴子經過訓練學會了隨意按下打字機的按鈕，現在讓猴子們在一位文盲領班監督下工作。如果無限多猴子在無限多打字機上隨機亂敲，并持續無限久時間，那么在某個時候，將會有只猴子打出莎士比亞全部著作。這被稱為“無限猴子定理”。“無限猴子定理”試圖說明“隨機+無限=一切皆可能”，很顯然這在實際生活中絕無可能發生。也就是說，重重疊疊的計算可以產生一部分想得到的結果，但不是所有結果。
應該強調，將人類思維用編程語言來實現，難以完全完整表達人類思維。其原因在于，我們現在的知識體系并不完備，難以完整表達人類思想。就像普朗克曾說的：“科學是內在的整體，它被分解為單獨的部門，不是取決于事物的本質，而是取決于人類認識能力的局限性。實際上存在著由物理到化學、通過生物學和人類學到社會科學的連續鏈條，這是一個任何一處都不能被打斷的鏈條,難道這僅僅是臆想的嗎？”
季老師是研究法律的，我是研究AI的，為什么要分開成不同部分？因為我們不知道它們之間巧妙的聯系，就把知識分成一個一個小的顆粒研究。
確實很難保證程序是正確的，這是計算機基礎理論的難題。
主持人：如果程序只停留在紙面上或編程里，可以去修正它，但是當它應用到實際生活中，比如開車、醫療、司法判斷，會牽涉具體的人甚至生命，這時只說是在程序上有一個“bug”，是不是有些“輕”了？
季衛東：AI在實際生活中會涉及到復雜的法律責任問題。比如我們熟悉的自動駕駛網約車，就存在交通事故的風險，甚至發生像美國亞利桑那州的自動駕駛車輛造成人身傷亡事故那樣的災禍，“怎樣問責”是一個突出的問題。
即使不考慮這樣嚴重的后果，也有很多其他的情景，比如自動駕駛車一旦出現問題或機器失靈時，自動駕駛就要轉為手動駕駛，這時會產生混亂。人類的反應速度較慢，操作容易失誤，這個責任如何界定？
另外，AI系統用于駕駛實踐時，還會涉及服務提供者資質的問題。比如自動駕駛服務平臺的權利義務如何配置、自動駕駛的資格條件、人的監控與數據處理效率之間的矛盾……自動駕駛車輛智能化級別不同，責任分配的方式也會不同。另外，駕駛員、汽車廠商、程序開發商、數據供應商、行政機關都牽涉其中，責任如何配置、如何追究的問題很復雜。
一般而言，AI的商業應用是硬件和軟件分離的，軟件引發的損害無法追究硬件產品責任。那么軟件更新的責任在誰？在軟件提供者還是汽車制造商？問責還與AI利用者的類型相關，利用者有消費型與商務型之分。
如果是消費型，一般來說法律上有清楚的消費者免責原則；但如果是商務型，就涉及到不同的法人、企業之間的關系，這時責任配置又不太一樣。在這個意義上考慮AI系統的法律責任，將會面臨非常復雜、多層多樣的問題。
主持人：《黑鏡》這部英劇中有一集，女主角在車禍中痛失伴侶，定制了一個“復刻丈夫”，通過抓取她丈夫此前在社交媒體上的發言，模擬他的見聞、說話習慣、語音、行為，生成新的內容（非常像GPT）——不包括她丈夫的缺點。在和完美的“丈夫”生活一段時間后，女主受不了這樣不真實的生活，將“丈夫”束之高閣。那么，機器有權模仿逝者嗎？畢竟逝者不能說“不”。
季衛東：《黑鏡》中的場面在一定程度上已經成了現實。例如美國有一個網站叫Eterni.me，用戶可以把網絡空間的行為履歷、數字檔案放在一起，構成一個虛擬永生的網絡人。
去年，在中國舉行了首場元宇宙葬禮，中國科學院院士、國家最高科學技術獎獲得者吳孟超先生的各種檔案被存入元宇宙，讓他實現了數字永生。這涉及到如何理解“人的人格”。他沒有留下遺囑，應該是親屬做的安排。這場“元宇宙葬禮”的本意出于懷念逝者，但當它不斷產生行為時，這是否符合逝者本人意愿？以及，雖然是懷念他，親屬的感情會隨時間發生變化，就像《黑鏡》中女主角無法忍受“復刻丈夫”，或者引起真假莫辨的幻覺。在法律上、倫理上，這還是一個有待探討的問題。
吳飛：我覺得把人完全用數學或者AI的方法模擬出來還是困難重重。AI可以模擬ta的說話風格，比如開車時聽到的名人聲音導航，甚至可以模仿奧巴馬的人臉圖像、說出奧巴馬從未說出的話，深度偽造（deepfakes）技術就可以達成這些效果。
深度偽造可以用于重建，比如重建過世親人或喜愛的人物，但重建出來的只是ta的音容相貌，情感、意識、靈魂以及有溫度的內容被重建出來是不可想象的。
它只是把過去的內容數字化，然后將語音和容貌做差值變換得到結果，僅此而已。若進一步探討心靈、情感，只是復制者對所復制物產生單向情感。
主持人：也就是說，這里的情感實際上是單向的，是生者對逝者的一種投射。當我們談到技術發展可以復制一個人，且復制人可以高度模擬時，很容易想起《銀翼殺手》，里面的復制人有一天可能會產生感情，會不會終有一天，復制人在社會中被承認是一個人？
吳飛：從技術發展來看，我們不能否認ta的存在，技術總會出現奇點時刻。但目前要實現這一結果還是困難的，像人一樣具有意識和思想的人造物不可能產生，僅存于科幻小說。現在只能做一些哲學思考，或是未雨綢繆地做一些防范，這是有意義的。
對談記錄未完，敬請期待下半部分
*題圖來自動畫電影《攻殼機動隊》
責任編輯：Rex_12
營業執照公示信息