用AI實現「讀心術」畫出人類腦海中的畫面？

當人凝視一片綠葉時，大腦裡浮現的畫面是什麼樣呢？完全相同的樹葉，外形相似的綠方片，又或者是風牛馬不相及的翠綠毛毛蟲？我們無法敲開別人的大腦，很難知道他們腦海裡的畫面和現實裡的是否一樣。想要做到這一點，似乎只有神奇的讀心術可以辦到。



但去年底，日本科學家聲稱他們可以通過人們的大腦活動，畫到他們腦子裡的畫面。這不就是現實版的攝魂取念嗎？這兩位科學家名叫Yu Takagi和Shinji Nishimoto，他們是大阪大學前沿生物科學研究院的教授。2022年12月，兩人發表了一篇論文，名為《利用潛在擴散模型在人腦活動基礎上重建高分辨率圖像》。



他們的研究過程非常複雜，這裡大概講一講：兩位科學家招募一群志願者，讓他們每人看一萬張自然風景圖（不是一次性看完）。看圖的時候，志願者躺在核磁共振掃描儀裡，這個大腦攝影機會記錄下所有的大腦活動。



科學家得到腦內活動數據後，根據大腦不同的活躍部位，分為兩部分，一部分是初級視覺皮層信號，另一部分是高級視覺皮層信號。這些信號會化為簡單線性模型裡的小點點，但想畫出能看懂的圖來，只靠它們是不行的。科學家們會用到熱門的潛在擴散模型Stable Diffusion。這個AI我們之前提到過，只需要輸入一段文字，它就能自動產生符合描述的圖畫。



研究中使用的Stable Diffusion由三結構組成，分別是圖像編碼器、圖像解碼器和文本編碼器。科學家把初級視覺皮層信號映射到圖像編碼器上，接著將它解碼，獲得一張張320＊320的小圖，它們被稱為Z；同時，科學家把高級視覺皮層信號映射到文本編碼器上，再將它解碼，獲得相關文本C。最後，科學家把Z和C結合起來，一起輸入給系統，生成圖像Xzc。



結果發現，圖像Xzc和志願者看到的實際圖像很接近，他們大腦裡產生的畫面差不多就是這樣子。


（上排為實際圖像，下排為大腦活動轉換出的圖像）

如果只看Z重構出的畫面，會發現顏色很相似，但內容非常抽象；僅用C重構畫面，東西是對的，但外形根本不像。只有兩者結合，效果才特別好。



觀察不同志願者腦子裡浮現的圖，會發現畫面內容基本穩定，只存在細微差異。兩位科學家解釋，之所以有細節上的差別，是因為志願者們的經驗以及數據質量不同，並非實驗過程有誤。



「在我們這項研究之前，還沒有哪個研究人員嘗試用擴散模型來重構視覺圖像。」他們頗為激動地告訴媒體。「我們的這項實驗時第一個從生物學角度對模型進行定量解釋。」

這篇論文發到推特上後，人們又激動又害怕，大呼「AI已經能讀取人心了」。



「很不錯！什麼時候我能把它用在我的貓身上？跨物種的交流很重要！」


「我們可以透過它，重構我們的夢境嗎？」


「也許，它可以在法庭上用來取證呢？假設說，我是一起案件的嫌疑人，警察能不能把我送去做核磁共振，然後問我一些不應該知道的問題以證明我無罪？」


「我真的很擔心AI的讀心能力，它可以讓當權者變得更強大，無力者變得更軟弱。當然，往好裡想，也許老百姓能讀懂政客的心，公民訴訟人能讀警察的心……雖然，我懷疑事情並不是這樣的走向。」


眼看網友開始滑坡，兩位科學家表示，別激動，這個技術離讀心術還有億點點距離。「這根本就不能算作讀心術，因為該技術找到的是感知內容和大腦活動之間的關係。這不是傳統意義身上的'讀心'。」



而且，就算真的要讀某人的心，總得把他綁到核磁共振掃描儀上才行。除非是自願的，這很難做到。科學家也感到有點疑惑，怎麼大家像發現新大陸似的。明明從幾年前開始，借助大腦信號來生成圖像的實驗已經有很多起了。大阪大學的這項實驗，最大的不同在於他們沒有訓練或調整AI，直接拿Stable Diffusion來用（這麼做是為了節約成本）。其他研究員創造出自己的AI，生成的圖像更加精緻。



2019年，一支科研小組研究猴子的神經活動，發現可以生成圖像。

2022年9月，荷蘭拉德堡德大學利用AI來解釋大腦信號，從中構建圖像。志願者們看了大量陌生人的面孔後，大腦生成的圖像和實際圖像很接近。



2022年10月，德克薩斯州奧斯汀分校的研究員發現，在人們聽有聲讀物時掃描他們的大腦，可以用AI解碼出腦海裡的單詞。



如果在腦子裡給自己講故事，AI也可以讀取出大概意思。



2022年11月，史丹佛大學等三所頂尖高校開發出一個叫MinD-Vis的AI，能根據人們的大腦活動生成他們看到的圖像。



從圖像質量和內容準確度看，MinD-Vis比其他模型都強。



研究AI生成圖像的神經學家Thirza Dado說，她相信未來這種技術會發展得更好。「如果我們繼續訓練算法，那麼未來不光能準確描繪出你正在看的臉，還能描繪出你想像中的臉。比如你母親的臉龐，她會表現得很生動。」「透過開發這個技術，我們能解碼和重構人類的主觀體驗，甚至能重現你的夢。真是讓人著迷。這個技術也能用在臨床上，比如和處於深度昏迷狀態的患者交流。」



雖然科學家們都安慰公眾，這不算讀心術，但看著科技一步步發展到這樣，還是有些毛骨悚然啊。自己腦子裡想的話、幻想的場景，都能被科技捕捉到，宇宙中不再有能隱藏秘密的地方。似乎，自己的大腦不是私人房間，而是成了一個人來人往的廣場。