天天看點

撥開迷霧!貝葉斯推理:讀懂“不确定性”

作者:中科院實體所
撥開迷霧!貝葉斯推理:讀懂“不确定性”

本文由「Light科普坊」出品

撰稿:焦述銘

審稿:左超

電影《三大隊》

電影《三大隊》中,程兵曾是一名警察,負責偵破一起命案。程兵一直着手尋找一名疑兇王二勇的下落。一開始,隻有一個模糊的目标人形象,程兵判斷對方是王二勇的可能性很低。後來獲悉一名男子與王二勇長相酷似,程兵對其是目标人的信心增加了一些。

再經過深入調查,發現該名男子不僅愛看法制節目,還熱衷于玩老式俄羅斯方塊遊戲,這兩個與王二勇愛好吻合的線索,使程兵确信他就是自己要找的人,認為對方是王二勇的機率接近100%。

随着一個個新線索被發現,程兵對目标身份的判斷在不斷更新,從最初的低機率懷疑,到最終的高機率确認。這一過程正是運用了貝葉斯推理,不斷修正先驗機率,得出後驗機率的結果。

程兵判斷目标人物是王二勇的過程,實際上是在進行貝葉斯推理。假設有A、B兩袋球,A袋内紅球占3/4,B袋内綠球占3/4。随機給你一袋,通過一個個摸出球的顔色來判斷是A袋還是B袋,這就類似于程兵在确定對方是否為王二勇的過程。

一開始沒線索,假設A、B袋的機率均為50%,這是“先驗機率”。如果摸出一個紅球,因它更可能來自A袋,A袋的機率就上調到75%,這是根據新線索更新後的“後驗機率”。接着如再摸出一個紅球,A袋機率繼續上調至90%。但接下來若連摸出兩個綠球,A袋機率将重新降至50%。繼續下去,再摸出4個球,如果8次中有6紅2綠,A袋機率将高達98.8%,雖難确定絕對是A,但已極有把握。

這一動态更新機率的過程,就是将原先的判斷與新線索不斷融合,使結果越來越精确。貝葉斯推理不隻給出最有可能的答案,還量化了對此答案的确信程度。它代表着一種思維理念:堅持回報疊代,摒棄固步自封,包容不确定性,勤于學習探索,理論與實踐并重。

小百科:什麼是“貝葉斯推理”?

貝葉斯推理是一種在不确定情況下進行機率判斷和決策的數學方法,它源于18世紀英國數學家托馬斯·貝葉斯的研究。

貝葉斯推理的核心原理是:根據已知資訊得出一個“先驗機率”,然後每擷取一條新證據,就利用貝葉斯公式,結合新線索對先驗機率進行修正,得到"後驗機率"的更新值。這一修正過程會不斷重複,持續引入新資訊,使機率估計值逐漸向真實機率靠攏。

具體來說,貝葉斯公式運用了條件機率的乘法法則,将後驗機率表示為:後驗機率=先驗機率*似然函數/證據機率。其中似然函數描述了新證據發生的機率,證據機率是一個歸一化因子。這樣就能通過簡單的機率乘除法,将先驗機率與新證據整合,得到修正後的後驗機率估計。

通過循環疊代,貝葉斯推理讓我們在不斷吸收新資訊的同時,動态調整對事件可能性的判斷。最終不僅給出最有可能的結論選擇,還能量化出對這個選擇的确信程度有多高。

貝葉斯推理都發揮着重要作用,幫助我們在不确定的世界中作出明智的判斷和決策。

撥開迷霧!貝葉斯推理:讀懂“不确定性”

圖1:貝葉斯定理的提出者英國數學家托馬斯·貝葉斯(1702-1761)

美國辛普森殺妻案

美國辛普森殺妻案曾在20世紀90年代引發轟動,辛普森聘請“夢幻律師團”為其辯護。檢察官展示出辛普森曾長期家暴妻子的證據,認為這是“謀殺的前奏”。而辯護律師Alan反駁稱,美國每年雖有400萬婦女遭家暴,但僅1432人被殺,機率隻有1/2800,暗示辛普森可能無辜[1]。

按貝葉斯推理,妻子确已被殺,問題是辛普森是否為兇手。辛普森的家暴行為雖是一個線索,但與1/2800的機率無關。我們應關注的是,在妻子遇害的情況下,兇手正是施暴者的機率有多大。資料顯示,在遭家暴且遇害的婦女中,兇手是家暴男的機率高達90%。這一證據極大增加了辛普森的嫌疑,但Alan的詭辯削弱了其說服力。

這啟示我們,在不确定情況下,不應止步于表面數字,而要注重條件機率之間的關聯。貝葉斯推理教導我們,在擷取新線索時,要動态修正既有判斷,從先驗機率推出後驗機率。

撥開迷霧!貝葉斯推理:讀懂“不确定性”

圖2:1995年法庭上的辛普森

貝葉斯推理的應用

貝葉斯推理應用範圍廣泛,包括二戰密碼破譯、醫學診斷、電商推薦、垃圾郵件識别、金融投資決策、劇本殺遊戲等。在人工智能和計算光學成像領域也扮演重要角色。

我們拍照片時,相機記錄完整光場資料,可直接獲得清晰圖像。但在很多情況下,相機隻能擷取有限的資料,卻需重建出清晰照片。一個典型例子是2019年釋出的首張黑洞照片。由于黑洞在遙遠的宇宙深處,理想條件是建造一個地球大小的射電望遠鏡,但現實中隻有分布在全球各處的8個普通大小望遠鏡采集資料。盡管資料有限,但通過對黑洞的科學認知,從中猜測出一張“合理的”照片成為可能。

撥開迷霧!貝葉斯推理:讀懂“不确定性”

圖3:2019年釋出的曆史上第一張黑洞照片

重建照片既需要理想化地滿足各種限制條件,又需現實化地拟合測量資料。在貝葉斯架構下,可将這兩方面需求量化為機率值,并将它們結合為總體機率值,以此為目标尋找最佳重建結果。研究者曆時兩年,綜合多種算法,最終才獲得了那張被廣為傳播的黑洞照片,盡管無法百分百保證與真實一緻,但已是正确可能性最大的猜測結果。

不止在宇宙探索中需要考慮照片真相的不确定性,我們日常應用中也是如此。例如普通相機隻能拍攝平面圖像,要測量物體的三維形狀,需結合投影儀和相機共同實作。通常需多次投射不同結構光條紋圖案才能擷取足夠資料,如果隻有單張條紋圖案,資料不足會導緻重建結果的不唯一性。在這種情況下,如何順利重建三維模型[2]?

撥開迷霧!貝葉斯推理:讀懂“不确定性”

圖4:結構光三維測量:通常需要依次投影多張不同的條紋圖案[3]

普通相機的另一個局限是隻能記錄光場的振幅(或者說強度),也就是光的明暗,這對于拍攝一張日常普通照片沒有問題。但是在顯微鏡之下,面對所要觀測的透明細胞和微生物,光的振幅常常無法展現出樣本細節,而光的相位資訊更加重要,相位表示了光的傳播路程長短,一個細胞不同部位不同厚度的差異都會造成光相位變化。但光相位又沒辦法直接測量和記錄,而且我們不僅需要樣本的相位照片,對于顯微鏡,還進一步希望相位照片是放大後的結果。

為了獲得高分辨率的相位成像結果,研究者提出了差分相襯(Differential phase contrast, DPC)和傅裡葉疊層顯微成像(Fourier Ptychographic Microscopy, FPM)相結合的方法,簡單說就是通過一個LED燈的陣列照射樣本,每次隻開啟一部分數量的LED燈照明,這意味每次光從不同方向照射顯微鏡下的樣本。在每一個照明模式下,都拍攝一張光強度的照片,最後從所有光強度照片的細節中,可以計算重建出原本不可見的高分辨率的相位成像結果。“世界上沒有免費的午餐”,在這一方案中,要付出的代價是拍攝不同光照條件下照片的數量,常常要超過100張,那麼如果我們隻有5張這樣的照片,資料嚴重不足的情況下,還能同樣獲得高品質的計算結果嗎[4]?

撥開迷霧!貝葉斯推理:讀懂“不确定性”

圖5:在差分相襯和傅裡葉疊層顯微成像相結合的方案中,将不同照明模式下光強度的照片數量從173張至185張降低到僅為5張,輸入經資料訓練的貝葉斯神經網絡,仍然可以預測出顯微鏡下微小生物樣本的高分辨率相位圖像,并且同時附帶生成一張不确定機率圖,表示預測結果中各個不同部分的可信程度[4,5]

普通相機所使用的圖像傳感器通常是一個由很多微小單元組成的陣列,每個小單元用于記錄照片中每個像素的資訊,然而在可見光以外的一些波段,比如紅外,X光和太赫茲,這種陣列傳感器難以制造出來,或者價格非常昂貴,研究者轉而嘗試另一種稱為單像素成像(Single-pixel Imaging, SPI)的替代方案。這種特殊的相機中,傳感器隻有一個像素,每次隻能記錄物體場景整體的光強弱,拍攝者需要每次把不同的投影圖案照射到物體表面,經過很多次不同圖案的照射,單像素探測器收集到足夠多的資料,也可以計算重建出物體圖像來。但同樣這裡的關鍵詞是“足夠多”,如果我們隻希望照射很少量的投影圖案,記錄下很少的資料,能否依舊重建出清晰的物體圖像呢[6]?

撥開迷霧!貝葉斯推理:讀懂“不确定性”

圖6:一個單像素成像系統

圖源:作者自行繪制

以上各種情形下所面臨的共同挑戰在于,實際擷取的圖像資料少得可憐,卻又希望還原出一張完整清晰照片,看起來都是“不切實際的幻想”,寄希望于“空手套白狼”,而人工智能證明了“幻想還是要有的,萬一實作了呢?”。一個深度學習神經網絡數學模型,模拟人的大腦結構,包含了大量的神經元和互相之間的連接配接突觸權重,研究者事先根據不同任務,準備大量訓練資料,比如結構光三維測量中就是單張扭曲變形的條紋圖案和對應的實際三維物體模型,相位顯微成像中就是少數幾張不同照明模式下的光強度照片和高分辨率的相位成像結果,單像素成像中就是數量有限的探測器資料和實際的物體圖像。神經網絡模型經過訓練後,模型中所有的連接配接權重數值得到優化,就學會了怎樣從不充足的資料中猜測出所希望擷取的照片,能夠幫我們完成上面這些看似不可能完成的任務。

撥開迷霧!貝葉斯推理:讀懂“不确定性”

圖7:三種成像系統與貝葉斯神經網絡相結合後重建結果:普通神經網絡隻能給出預測結果(紅色框内),而貝葉斯神經網絡既能給出預測結果(紅色框内),又能給出不确定性的估計(藍色框内)[2,4,6]

普通深度學習模型雖能給出預測結果,但無法量化該結果的可信程度。我們希望人工智能不僅能猜出答案,還要“有自知之明”,給出答案的可信度。

貝葉斯深度學習就可以滿足了這一需求,它将神經網絡目前的連接配接權重值視為先驗機率模型,每個訓練樣本相當于一條新線索,可以不斷将先驗機率更新為後驗機率。如此一來,神經網絡不再固定不變,能同時給出預測結果及其不确定性估計。

舉例來說,在計算成像任務中,普通神經網絡隻能輸出重建的圖像,而貝葉斯神經網絡不僅能重建圖像,還能為每個像素值附加一個不确定度評估。這就展現了不确定世界的更完整圖景。

總結

總的來說,在現實生活中,我們常常面臨種種不确定性問題,無法立即得知準确答案。比如刑偵人員需要從線索中判斷嫌疑人是否為真兇;科學家需要從有限觀測資料中推測出一張清晰的天文照片;醫生需要從症狀和檢查結果中診斷疾病原因;等等。這些問題背後都存在多種可能的答案選擇,我們很難一下子就下定論。

有了貝葉斯推理這一強大工具,我們就能泰然自若地面對這些不确定性。貝葉斯推理教導我們,要先基于已有資訊給出一個初步的機率估計,這就是“先驗機率”。之後隻要不斷擷取新的線索和證據,就可以反複運用貝葉斯公式,将新資訊與先驗機率融合,動态更新出“後驗機率”的新估計值。

通過這種循環疊代的方式,我們就能以一種客觀理性、漸進式的思維方式,有序地将零散的新舊資訊整合起來,逐漸縮小不确定性的範圍,将機率估計值向最終的真實答案靠攏。最終,貝葉斯推理不僅讓我們找到正确可能性最大的答案選擇,還能量化出對這個選擇的确信程度有多高,讓我們對結論的可靠性有個明确認知。

是以,無論是追查真兇,重建天文照片,還是診斷疾病,隻要運用貝葉斯推理,我們就能在不确定的環境中遊刃有餘,作出明智的判斷和決策。

參考資料

[1]Leonard Mlodinow著,郭斯羽譯,醉漢的腳步:随機性如何主宰我們的生活,湖南科學技術出版社(2010)

[2]S. Feng, C. Zuo, Y. Hu, Y. Li, and Q. Chen, "Deep-learning-based fringe-pattern analysis with uncertainty estimation," Optica 8(12), 1507-1510 (2021)

[3]左超,張曉磊,胡岩,尹維,沈德同,鐘錦鑫,鄭晶,陳錢, "3D真的來了嗎?——三維結構光傳感器漫談," 紅外與雷射工程, 49(3), 45 (2020).

[4]Y. Xue, S. Cheng, Y. Li, and L. Tian, "Reliable deep-learning-based phase imaging with uncertainty quantification," Optica 6(5), 618-629 (2019)

[5]L. Tian, X. Li, K. Ramchandran, and L. Waller, "Multiplexed coded illumination for Fourier Ptychography with an LED array microscope," Biomed. Opt. Express 5(7), 2376-2389 (2014)

[6]R. Shang, M. A. O’Brien, F. Wang, G. Situ, and G. P. Luke, “Approximating the uncertainty of deep learning reconstruction predictions in single-pixel imaging,” Commun. Eng. 2, 53 (2023).

監制:趙陽

編輯:趙唯

來源:中國光學

編輯:阿泊