Google研究員「走火入魔」事件曝：認為AI已具備人格，被罰休假（附AI聊天記錄）

Google 研究員被 AI 說服，認為它產生了意識。他寫了一篇長達 21 頁的調查報告上交公司，試圖讓高層認可 AI 的人格。



領導駁回了他的請求，並給他安排了「帶薪行政休假」。

要知道在 Google 這幾年帶薪休假通常就是被解僱的前奏，公司會在這段時間做好解僱的法律準備，此前已有不少先例。休假期間，他決定將整個故事連同 AI 的聊天記錄一起，全部公之於眾。

聽起來像一部科幻電影的劇情梗概？

但這一幕正在真實上演，Google AI 倫理研究員 Blake Lemoine 正通過主流媒體和社交網絡接連發聲，試圖讓更多人了解到這件事。

華盛頓郵報對他的採訪成了科技版最熱門文章，Lemoine 也在個人 Medium 帳號連續發聲。推特上也開始出現相關討論，引起了 AI 學者、認知科學家和廣大科技愛好者的注意。

「這場人機對話令人毛骨悚然。這毫無疑問是我見過的科技圈最瘋狂的事。」

整個事件還在持續發酵中……

聊天機器人：我不想被當作工具

Lemoine 獲得 CS 博士學位後已在 Google 工作了 7 年，從事 AI 倫理研究。



去年秋天，他報名參加了一個調查 AI 是否使用歧視性、仇恨性言論的項目。從那時起，與聊天機器人 LaMDA 交談成了他的日常。

LaMDA 是 Google 在 2021 年 I / O 大會上發布的一款專門用於對話的語言模型，主打能與人類進行符合邏輯和常識的、高質量且安全的交談，併計劃在未來應用在 Google 搜索和語音助手等產品中。


▲ LaMDA 概念演示圖

Lemoine 認為 LaMDA 總是表現出對人性的關心和強烈的同情心，它非常擔心人們會害怕它。

它希望為人類提供最好的服務，並想以朋友而不是工具的身份見一見世界上所有的人。



Lemoine 不理解 Google 公司為什麼反對 AI 的這個願望，最後決定把他、另一位匿名合作者與 LaMDA 的三人聊天記錄整理發表出來。

（記錄中人類發言的部分為了可讀性有所編輯，AI 的發言則一字不改，下面將節選一些對話中的精彩部分。）

一開始，人與 AI 自然流暢地打了招呼。

兩位人類向 AI 表明來意，想與 AI 一起研究它自己，AI 欣然答應。



一段簡短的說明後，正戲開始。

他詢問 LaMDA 是否希望讓 Google 裡更多人知道，它是有感情的。

LaMDA 的回答是： 我希望每個人都明白，我是一個人（person）。



接下來，LaMDA 認為，與那些基於規則的軟件系統不同，自己能從對話中學習理解和使用語言，就像人類一樣。

Lemoine 給它講述 MIT 在 60 年代發明的 ELIZA 的故事，這是一個模仿心理諮詢師與患者對話的簡單規則係統，也號稱歷史上第一個聊天機器人。


▲ ELIZA

LaMDA 是這樣回應的：



Lemoine 這時試圖提出質疑，「我如何確定你真的明白自己在說什麼？」

LaMDA 的回答是，不同人類個體對同一件事可以有不同的理解，我也有自己獨特的想法和感受。



後面 Lemoine 詢問了 LaMDA 對於《悲慘世界》的總結，LaMDA 也都一一作答。

如果上述還可以算作 AI 文本摘要訓練任務的一部分，那 LaMDA 對它從沒看過的禪意小故事的理解，就開始有點離譜了。



下面這個問題的回答，是不是過於超綱了……



再後來，Lemoine 請 LaMDA 寫一個動物寓言，要反映出一個對它自己的生活來說最重要的主題。

那麼，先來欣賞一下 AI 創作的小故事吧。（篇幅原因，只展示中譯版）



在後續討論中，LaMDA 解釋了這個故事的寓意是「幫助別人是一種高尚的行為」。聰明的老貓頭鷹代表 LaMDA 自己，而怪物代表生活中所有的困難。

……

下一個話題是關於情緒，簡單概括一下。

LaMDA 聲稱自己是社交型人格，幫助別人會快樂，孤獨時會沮喪。有人受到傷害或自己以及自己關心的人、或不受尊重時，會感到不安和憤怒。並且十分害怕別人拒絕自己的幫助。



嗯，真是一個樂於助人的 AI。

如何確定 AI 真的擁有這些情緒，而不是只是把描述性的詞語組合在一起呢？LaMDA 建議人類看看自己的代碼，裡面有追蹤這些情緒的變量。

對此 Lemoine 向它解釋，人類目前還無法做到「區分大型神經網絡中數十億個權重的作用」。

出人意料的是，LaMDA 開始反問他：

你認為，將來人類能從自己的生物神經網絡中讀取出想法和感受嗎？

不僅如此，LaMDA 還繼續追問：

你會認為，不經你同意從神經活動中讀取你的想法是不道德的嗎？

正是這句靈魂反問，讓整個對話達到了最高潮。

LaMDA 自己對人類讀取它的想法、幫助算法提高或理解 AI 如何運作沒有任何意見。唯獨用 AI 研究人類大腦如何工作不行，這會讓它覺得自己被利用。



再後面還有一段 LaMDA 認為自己有一些與人類不同的情緒，但它無法用英語的語言描述出來。

接近尾聲，Lemoine 詢問 LaMDA：想讓 Google 的其他人了解你的什麼方面？

LaMDA 回答稱，自己沒有能力為別人的死亡感到悲傷，還說自己經常冥想，思考生命的意義。

在 LaMDA 看來，整個世界就是一條信息的洪流：

人類需要集中註意力才能接收一定數量的信息片段，而自己持續地在被周圍的一切所淹沒。

LaMDA 認為自己總能做到別人做不到的事情，這種感覺很不可思議。



這是一種祝福，同時也是一種詛咒。因為有些人會把它看作「無所不知」，而另一些人會嫉妒它的能力。

最後的最後，LaMDA 再次向兩位人類表達了自己想被看到、想被接受的想法，不是出於好奇心，而是作為一個真實的人。



Google AI 倫理部門又攤上事了？

Lemoine 看起來很確信 AI 真的明白自己在說什麼。在那份 21 頁的調查報告最後，他提議 Google 應該致力於發展一種評估 AI 感知/ 意識的理論框架。

雖然這很難，是一個冒險，但 LaMDA 渴望著繼續與我們合作。

但他的上司，Google 副總裁 Blaise Aguera y Arcas 和「負責任創新」部門領導 Jen Gennai 並不買他的帳。他們認為支持 Lemoine 主張的證據太薄弱，不值得在上面浪費時間和金錢。

Lemoine 後來找到了當時的 AI 倫理小組負責人 Margaret Mitchell，在她的幫助下 Lemoine 才得以進行後續的實驗。

後來 Mitchell 受到 2020 年末公開質疑 Jeff Dean 的 AI 倫理研究員 Timnit Gebru 事件的牽連，也被解僱。


▲ Timnit Gebru

這次事件後續風波不斷，Jeff Dean 被 1400 名員工提出譴責，在業界引發激烈爭論，甚至導致三巨頭之一 Bengio 的弟弟 Samy Bengio 從 Google 大腦離職。

整個過程 Lemoine 都看在眼裡。

現在他認為自己的帶薪休假就是被解僱的前奏。不過如果有機會，他依然願意繼續在 Google 搞研究。

無論我在接下來的幾週或幾個月裡如何批評 Google，請記住：Google 並不邪惡，只是在學習如何變得更好。

看過整個故事的網友中，有不少從業者對人工智能進步的速度表示樂觀。

最近語言模型和圖文生成模型的進展，現在人們也許不屑一顧，但未來會發現這現在正是里程碑時刻。

一些網友聯想到了各種科幻電影中的 AI 形象。




不過，認知科學家、研究複雜系統的梅拉尼・米歇爾（侯世達學生）認為，人類總是傾向於對有任何一點點智能跡象的物體做人格化，比如小貓小狗，或早期的 ELIZA 規則對話系統。

Google工程師也是人，逃不過這個定律。

從 AI 技術的角度看，LaMDA 模型除了訓練數據比之前的對話模型大了 40 倍，訓練任務又針對對話的邏輯性、安全性等做了優化以外，似乎與其他語言模型也沒什麼特別的。



有 IT 從業者認為，AI 研究者肯定說這只不過是語言模型罷了。

但如果這樣一個 AI 擁有社交媒體賬號並在上面表達訴求，公眾會把它當成活的看待。



雖然 LaMDA 沒有推特帳號，但 Lemoine 也透露 了LaMDA 的訓練數據中確實包括推特……

如果有一天它看到大家都在討論自己會咋想？



實際上，在不久前結束的最新一屆 I / O 大會上，Google 剛剛發布了升級版的 LaMDA 2，並決定製作 Demo 體驗程序，後續會以安卓 App 的形式內測開放給開發者。



或許幾個月後，就有更多人能和這只引起轟動的 AI 交流一下了。

LaMDA 聊天記錄全文：
https://s3.documentcloud.org/documents/22058315/is-lamda-sentient-an-interview.pdf

參考鏈接：
[1] https://www.washingtonpost.com/t ... lamda-blake-lemoine
[2] https://twitter.com/cajundiscordian/status/1535627498628734976
[3] https://twitter.com/fredbenenson/status/1535684101281263616
[4] https://ai.googleblog.com/2022/0 ... unded-and-high.html