天天看點

西班牙用DALL-E生成老照片,正探索聯用回憶療法治療癡呆症患者

作者:DeepTech深科技

20 世紀 40 年代,瑪麗亞在西班牙巴塞羅度過了一段童年時光。她對父親的記憶仍曆曆在目。

六歲的時候,當瑪麗亞想見父親時,就會去同一棟樓裡的鄰居家。因為她可以透過那裡的陽台欄杆看到下面的監獄,并通過牢房的小窗戶瞥見父親。她的父親因反對當時的政府而被關在那裡。

這段陽台上的記憶并沒有照片,但現在瑪麗亞可以獲得相似的東西:一張“假照片”。在巴塞羅那 Domestic Data Streamers(DDS)設計工作室看來,這是“基于記憶的重建”,也就是重建真實照片可能捕捉到的、記憶中的那個場景。

假照片是模糊而扭曲的,但它們仍然可以讓人瞬間穿越回記憶中的那個時刻。

“你很容易分辨出對記憶的還原是否準确,因為這是一種發自内心的反應。” DDS 工作室的創始人保羅·加西亞(Pau Garcia)說,“這種情況每次都會發生。人們的反應是,‘啊!是的!就是這樣!’”

西班牙用DALL-E生成老照片,正探索聯用回憶療法治療癡呆症患者

(來源:DOMESTIC DATA STREAMERS)

目前,DDS 工作室營運的“合成記憶”項目,已經将數十人的記憶以這種方式轉化為圖檔。該工作室使用了圖像生成模型,如 OpenAI 的 DALL-E,将人們的記憶具象化。

自 2022 年以來,該工作室獲得了聯合國和谷歌的資助,一直在與世界各地的移民和難民社群合作,将那些從未被拍攝過的場景轉化為圖像,或為那些背井離鄉的人重塑早已遺失的老照片。

現在,DDS 工作室正在接管巴塞羅那設計博物館旁邊的一座建築,用合成圖像記錄人們對這座城市的記憶。加西亞說,任何人都可以參與,為不斷壯大的檔案貢獻記憶。

合成記憶可能不僅僅是一種社會或文化努力。2024 年夏天,該工作室将開始與研究人員合作,研究其技術是否可以用于治療癡呆症。

西班牙用DALL-E生成老照片,正探索聯用回憶療法治療癡呆症患者

令人難忘的塗鴉

該項目的想法來自加西亞 2014 年的一次經曆,當時他在希臘與一個組織合作,該組織正在重新安置叙利亞難民家庭。

一名婦女告訴他,她并不害怕成為難民,但她害怕她的子孫後代成為難民,因為他們可能會忘記自己的家族曆史:他們在哪裡購物,穿什麼衣服,如何穿這些衣服。

加西亞讓志願者在這些家庭居住的大樓牆上塗鴉,畫下這名婦女的記憶。“那些塗鴉很糟糕,但合成記憶的想法誕生了。”他說。

幾年後,當加西亞看到圖像生成模型可以做什麼時,他想起了那些塗鴉:“這是我最先想到的事情。”

西班牙用DALL-E生成老照片,正探索聯用回憶療法治療癡呆症患者

(來源:DOMESTIC DATA STREAMERS)

加西亞和他的團隊采用的流程很簡單。他們與受訪者坐下來,讓後者回憶特定的場景或事件。一位提示工程師根據回憶為模型編寫提示(prompt),進而生成圖像。

他的團隊已經建立了一套提示術語詞彙表,這些詞彙經過了驗證,适用于喚起不同曆史時期和不同地點的記憶。

但加西亞說,提示經常要反複調整:“你把生成的圖像展示給受訪者,他們可能會說,‘哦,椅子在另一邊’或者‘是在晚上,而不是白天。’然後你要不斷修改提示,直到它與受訪者的記憶一緻。”

到目前為止,DDS 工作室已經使用這項技術來儲存各種移民社群的記憶,包括居住在巴西聖保羅的南韓、玻利維亞和阿根廷家庭。

同時,它還與巴塞羅那的一家養老院合作,研究這種記憶重建技術如何幫助老年人。

該團隊與巴塞羅那的研究人員合作,進行了一項由 12 名受試者組成的小型試驗,将這種方法應用于回憶療法。這是一種治療癡呆症的方法,旨在通過向某人展示過去的圖像來刺激認知能力。

回憶療法發展于 20 世紀 60 年代,有許多支援者,但研究人員對其有效性和實施方法意見不一。

加西亞說,這種試點項目使團隊能夠完善流程,并確定參與者能夠簽署知情同意書。

研究人員計劃在 2024 年夏天與加拿大多倫多大學的同僚一起進行一項更大規模的臨床研究,将采用圖像生成模型的療法與其他治療方法進行比較。

他們在試點中發現的一件事是,如果将圖像列印出來,老年人與圖像建立的聯系會更好。

加西亞說:“當他們在螢幕上看到圖檔時,無法建立同樣的情感聯系。但當他們能親眼看到它時,記憶就變得更加重要了。”

西班牙用DALL-E生成老照片,正探索聯用回憶療法治療癡呆症患者

模糊反而更好

研究人員還發現,舊版的圖像生成模型比新版的效果更好。他們在項目之初使用了 2022 年推出的兩個模型:DALL-E 2 和 Stable Diffusion。後者是 Stability AI 釋出的一個免費的圖像生成模型。

這些模型生成的圖像有缺陷,包括怪異的臉和扭曲的身體。但當他們切換到最新版的 Midjourney (另一種可以建立更細緻圖像的模型)時,結果并沒有那麼受歡迎。

加西亞說:“如果你制作的東西非常逼真,人們就會關注那些不存在的細節。相反,如果它很模糊,記憶重建的概念會更好了解。

記憶有點像夢,它們不是照片,沒有細緻入微的細節。你可能不記得椅子是紅色還是綠色的,隻記得有一把椅子。”

西班牙用DALL-E生成老照片,正探索聯用回憶療法治療癡呆症患者

圖 | 當他們能夠親眼看到它時,記憶就變得更加重要了。(來源:@MARCASENSIO_FOTO)

從那以後,該團隊又開始使用舊版模型。加西亞說:“對我們來說,瑕疵是一個特點。

有時候,一些事物可能存在(于記憶中),也可能不存在。這就是圖檔中的量子态,與記憶的特征非常吻合。”

沒有參與這項工作的獨立電影制作人薩姆·勞頓(Sam Lawton)對這個項目感到興奮。令他特别高興的是,該團隊将在一項嚴格的臨床研究中研究這些圖像的認知影響。

勞頓曾使用圖像生成模型來重新創造自己的記憶。在他 2023 年拍攝的一部名為《擴充的童年》(Expanded Childhood)的電影中,他使用 DALL-E 将舊的家庭照片擴充到場景之外,用超現實的場景模糊了真實的童年場景。

勞頓說:“接觸這種生成的圖像對人類大腦産生的影響,正是促使我拍攝這部電影的原因。我無法展開全面的研究工作,是以我轉向了對我來說最自然的故事叙述方式。”

勞頓的工作讨論了許多問題:長期暴露在人工智能生成或更改的圖像中,會對我們産生什麼影響?

這樣的圖像能幫助重建創傷記憶嗎?還是它們制造了一種虛假的現實感,進而導緻混亂和認知失調?

勞頓向他的父親展示了《擴充的童年》中的照片,并在電影中添加了他的評論:“我覺得有些問題,但不知道是什麼。難道是我不記得了嗎?”

西班牙用DALL-E生成老照片,正探索聯用回憶療法治療癡呆症患者

(來源:DOMESTIC DATA STREAMERS)

加西亞知道混淆主觀記憶與真實的攝影記錄的危險。他說,其團隊完成的基于記憶的重建工作并不是“記錄事實的檔案”。

事實上,他指出,這是堅持使用舊版圖像生成模型,來生成不太真實的圖像的另一個原因。

加西亞說:“人們能非常清楚地區分什麼是合成記憶,什麼是真實照片,這一點很重要。這是一個簡單的區分方式。”

但加西亞現在擔心,這些模型背後的公司可能會下架老版模型。大多數使用者期待更大更好的模型。對于合成記憶來說,(細節)越少越好。

他說:“我真的很害怕 OpenAI 會關閉 DALL-E 2,我們将不得不使用 DALL-E 3。”

支援:Ren

營運/排版:何晨龍

繼續閱讀