用AI實現「讀心術」畫出人類腦海中的畫面?

當人凝視一片綠葉時,大腦裡浮現的畫面是什麼樣呢?完全相同的樹葉,外形相似的綠方片,又或者是風牛馬不相及的翠綠毛毛蟲?我們無法敲開別人的大腦,很難知道他們腦海裡的畫面和現實裡的是否一樣。想要做到這一點,似乎只有神奇的讀心術可以辦到。

H9G8j5ru_hJZ6.jpg

但去年底,日本科學家聲稱他們可以通過人們的大腦活動,畫到他們腦子裡的畫面。這不就是現實版的攝魂取念嗎?這兩位科學家名叫Yu Takagi和Shinji Nishimoto,他們是大阪大學前沿生物科學研究院的教授。2022年12月,兩人發表了一篇論文,名為《利用潛在擴散模型在人腦活動基礎上重建高分辨率圖像》。

sT2HHLHu_ZRBJ.jpg

他們的研究過程非常複雜,這裡大概講一講:兩位科學家招募一群志願者,讓他們每人看一萬張自然風景圖(不是一次性看完)。看圖的時候,志願者躺在核磁共振掃描儀裡,這個大腦攝影機會記錄下所有的大腦活動。

87j5qkXN_AXb2.jpg

科學家得到腦內活動數據後,根據大腦不同的活躍部位,分為兩部分,一部分是初級視覺皮層信號,另一部分是高級視覺皮層信號。這些信號會化為簡單線性模型裡的小點點,但想畫出能看懂的圖來,只靠它們是不行的。科學家們會用到熱門的潛在擴散模型Stable Diffusion。這個AI我們之前提到過,只需要輸入一段文字,它就能自動產生符合描述的圖畫。

NEg2fIQ8_OEBw.jpg

研究中使用的Stable Diffusion由三結構組成,分別是圖像編碼器、圖像解碼器和文本編碼器。科學家把初級視覺皮層信號映射到圖像編碼器上,接著將它解碼,獲得一張張320*320的小圖,它們被稱為Z;同時,科學家把高級視覺皮層信號映射到文本編碼器上,再將它解碼,獲得相關文本C。最後,科學家把Z和C結合起來,一起輸入給系統,生成圖像Xzc。

ysfAJmaB_RYv3.jpg

結果發現,圖像Xzc和志願者看到的實際圖像很接近,他們大腦裡產生的畫面差不多就是這樣子。

4URvFRgQ_Lby3.jpg
(上排為實際圖像,下排為大腦活動轉換出的圖像)

如果只看Z重構出的畫面,會發現顏色很相似,但內容非常抽象;僅用C重構畫面,東西是對的,但外形根本不像。只有兩者結合,效果才特別好。

ajBTESag_Hpwv.jpg

觀察不同志願者腦子裡浮現的圖,會發現畫面內容基本穩定,只存在細微差異。兩位科學家解釋,之所以有細節上的差別,是因為志願者們的經驗以及數據質量不同,並非實驗過程有誤。

jLvSvRLf_HYRR.jpg

「在我們這項研究之前,還沒有哪個研究人員嘗試用擴散模型來重構視覺圖像。」他們頗為激動地告訴媒體。「我們的這項實驗時第一個從生物學角度對模型進行定量解釋。」

這篇論文發到推特上後,人們又激動又害怕,大呼「AI已經能讀取人心了」。

5eBFckQa_9F9S.jpg

「很不錯!什麼時候我能把它用在我的貓身上?跨物種的交流很重要!」
ThGRUB9X_qwn9.jpg

「我們可以透過它,重構我們的夢境嗎?」
m8Wgqjhw_PDmV.jpg

「也許,它可以在法庭上用來取證呢?假設說,我是一起案件的嫌疑人,警察能不能把我送去做核磁共振,然後問我一些不應該知道的問題以證明我無罪?」
tkbYuCqY_RVbT.jpg

「我真的很擔心AI的讀心能力,它可以讓當權者變得更強大,無力者變得更軟弱。當然,往好裡想,也許老百姓能讀懂政客的心,公民訴訟人能讀警察的心……雖然,我懷疑事情並不是這樣的走向。」
8tg4YRCF_Tfz2.jpg

眼看網友開始滑坡,兩位科學家表示,別激動,這個技術離讀心術還有億點點距離。「這根本就不能算作讀心術,因為該技術找到的是感知內容和大腦活動之間的關係。這不是傳統意義身上的'讀心'。」

fKMfpFm3_u9sG.jpg

而且,就算真的要讀某人的心,總得把他綁到核磁共振掃描儀上才行。除非是自願的,這很難做到。科學家也感到有點疑惑,怎麼大家像發現新大陸似的。明明從幾年前開始,借助大腦信號來生成圖像的實驗已經有很多起了。大阪大學的這項實驗,最大的不同在於他們沒有訓練或調整AI,直接拿Stable Diffusion來用(這麼做是為了節約成本)。其他研究員創造出自己的AI,生成的圖像更加精緻。

fSkw2MXs_DaNv.jpg

2019年,一支科研小組研究猴子的神經活動,發現可以生成圖像。

2022年9月,荷蘭拉德堡德大學利用AI來解釋大腦信號,從中構建圖像。志願者們看了大量陌生人的面孔後,大腦生成的圖像和實際圖像很接近。

n5VkkDPL_zy7T.jpg

2022年10月,德克薩斯州奧斯汀分校的研究員發現,在人們聽有聲讀物時掃描他們的大腦,可以用AI解碼出腦海裡的單詞。

OFayqqYB_5Y7X.jpg

如果在腦子裡給自己講故事,AI也可以讀取出大概意思。

Z98HM7Df_89DG.jpg

2022年11月,史丹佛大學等三所頂尖高校開發出一個叫MinD-Vis的AI,能根據人們的大腦活動生成他們看到的圖像。

jTSYuTwn_5kGR.jpg

從圖像質量和內容準確度看,MinD-Vis比其他模型都強。

fQdSzM8k_8K8a.jpg

研究AI生成圖像的神經學家Thirza Dado說,她相信未來這種技術會發展得更好。「如果我們繼續訓練算法,那麼未來不光能準確描繪出你正在看的臉,還能描繪出你想像中的臉。比如你母親的臉龐,她會表現得很生動。」「透過開發這個技術,我們能解碼和重構人類的主觀體驗,甚至能重現你的夢。真是讓人著迷。這個技術也能用在臨床上,比如和處於深度昏迷狀態的患者交流。」

mOJpdOj6_h8hR.jpg

雖然科學家們都安慰公眾,這不算讀心術,但看著科技一步步發展到這樣,還是有些毛骨悚然啊。自己腦子裡想的話、幻想的場景,都能被科技捕捉到,宇宙中不再有能隱藏秘密的地方。似乎,自己的大腦不是私人房間,而是成了一個人來人往的廣場。

暫無任何回文,期待你打破沉寂

你需要登入後才可以回覆 登入 | 註冊會員

本版積分規則

驚驚驚嘆號

LV:1 旅人

追蹤
  • 1023

    主題

  • 1023

    回文

  • 4

    粉絲