天天看點

《中國人工智能學會通訊》——11.77 特征學習模型在天文光譜識别中的 應用

随着新一代巡天觀測、時域觀測等天文項目的推進,目前的天文資料以“雪崩”之勢增長[18] ,由此導緻了天文資料自動挖掘方法研究的必要性和迫切性。國際上,近年來大規模圖像巡天和大樣本光譜巡天方面已經取得了長足的進展[19] ,特别是一系列光譜巡天計劃的成功實施,使人們獲得了空前豐富的恒星光譜資料,推動了天文學各個分支的蓬勃發展。恒星光譜,無論是連續譜還是線譜,差異極大。恒星光譜主要取決于恒星的實體性質和化學組成。是以,恒星光譜類型的差異反映了恒星性質的差異。采用不同的分類标準,将得到不同的分類系統。

目前最通用的恒星分類法主要依據恒星的溫度由高至低排序(品質、半徑和亮度皆與太陽比較),它将恒星的光譜分成七大類(O、B、A、F、G、K、M),每類再細分為若幹小類。大天區面積多目标光纖光譜天文望遠鏡(Large Sky Area Multi-ObjectFiber Spectroscopy Telescope,LAMOST) [20] 是 最大的天文光譜觀察項目之一,樣本光譜如圖 9 所示(圖中,x 軸表示波長;y 軸表示标準化後的強度。)

《中國人工智能學會通訊》——11.77 特征學習模型在天文光譜識别中的 應用

恒星光譜資料的一個重要特點就是超高維 ( 次元高達 5201)。領域知識顯示恒星光譜類型主要依賴于溫度和光亮。這意味着原始 5201 維的恒星光譜特征是低層次的,而深度學習模型往往通過訓練可以獲得高層次的特征。文獻 [21] 顯示恒星光譜資料中固有的低維局部線性流形結構嵌入在高維空間中。是以,我們給出了局部線性深度學習(LLDL)模型以獲得具有局部線性結構的高層次特征,如圖 10 所示。LLDL 主要包括輸入層、多個 Maxout隐含層和輸出層。Maxout 函數是一個全局的近似器,可以拟合任意凸曲線[22] 。這保證了 Maxout 幾乎在每一處都具有局部線性的性質。這種具有局部線性特性的網絡不僅可以獲得變量之間的相關性,而且使得激勵函數變得可學習。相比于深度神經網絡 (DNN) 中常用的固定、預先指定的激勵函數(如 sigmoid 和 ReLU 等),Maxout 通過适應性的激勵擁有很強的泛化能力。同時,當采用梯度下降訓練算法時,Maxout 函數可以保證梯度在每一個Maxout 神經元上總是傳播的,即便當某個神經元的值為0時。相反,ReLU激勵函數(ReLU max(0, z))因其在神經元的值為 0 時是梯度是不變的,是以有礙于梯度的傳播。

《中國人工智能學會通訊》——11.77 特征學習模型在天文光譜識别中的 應用

由于 DNN 的網絡參數可以達到百萬級甚至億級,使其自然而然成為非常強大的機器學習系統。這同樣導緻了 DNN 的訓練過程緩慢及易于出現過拟合,尤其對超高維和低信噪比的恒星光譜資料。為應對此類問題,我們采用 Dropout [23] 技術來規則化局部線性的 Maxout 網絡。DNN 中的 Dropout政策有點類似于 Bagging [24] ,即許多不同的模型在不同的資料子集上被訓練;而又差別于 Bagging,Dropout 每一步訓練一個模型,所有模型共享網絡參數。例如,假設輸出神經元個數為 N,每一次訓練時,随機地隐去其中部分神經元得到一個模型進行參數更新,總的模型個數為 2 N ,所有這些模型共享參數。

我們在兩個天文資料集 LAMOST 和 SDSS 驗證了 LDLL 模型的有效性。

繼續閱讀