天天看點

《中國人工智能學會通訊》——11.19 動态多任務學習機制

上兩節提出了兩種學習交通路網中任務複雜關系的多任務學習模型。上述的多任務學習方法假設資料是靜态的,且資料中所蘊含的任務關系以及任務與特征間的關系恒定不變。而在交通問題中,這些關系随着時間會産生變化,是以展現出複雜的動态關系模式。例如,在每天的交通模式中,早、午、晚以及淩晨的交通流中所蘊含的模式各不相同,并随時間在不斷變化。本節将對 CRMTL 模型和 THMTL 模型中提出的多任務學習方法進行擴充,使其适用于動态資料環境。由于動态性的擴充原理對 CRMTL 模型和 THMTL 模型相同,下面以THMTL 為例進行闡述,CRMTL 的動态擴充可以類似進行。

假設 t = 1,2,···,L 為資料中的不同時刻,第 i 個任務在 t 時刻的資料為 。當 t 變化時,學習任務間動态的關系,以及任務與特征間動态的關系十分困難。處理動态資料最為直覺的方法便是對任意時刻 t 均建立多任務模型,将時變問題拆分為單獨時刻的靜态問題。這樣的做法簡單,但常常伴随而來的問題是不穩定的學習結果。這種不穩定性是指當單獨對不同時刻進行多任務模組化時,學習出的結果在相鄰時刻的波動性很大。例如,在交通問題中,早 9:00-9:15 與 9:15-9:30 時段的交通規律應當具有很強的相似性,這稱之為交通系統的動态連續性。而在如此鄰近的時刻,如果學習的結果截然不同,便會對時序的交通分析帶來很大的誤差。造成上述現象的原因通常為資料中所隐含的波動性,以及模型的不穩定性。是以,減少時變資料中的波動,以及增強多任務模型的穩定性是解決動态多任務模組化問題的關鍵。為實作上述目的,本節利用交通時間上的連續性特點對模型進行如下處理。

在 CRMTL 與 THMTL 模型的求解中,使用到的梯度項 (W) 的每一列為 ,可知在模型求解過程中所涉及到的與資料相關的項為和 。由原文中的算法時間複雜度的分析得知, 和 均可在算法運作前進行預計算并存儲起來。事實上,當資料進行規則化之後, 即為X i 的協方差矩陣, 代表了 X i 中的每個特征與輸出 y i 之間的相關性。假設動态資料實時地到來,目前時刻為 t,将第 i 個任務所涉及的資料相關項進行如下轉換 :

《中國人工智能學會通訊》——11.19 動态多任務學習機制

其中 ω st 為 s 時刻與 t 時刻間的相似性權重。ω st 定義為

《中國人工智能學會通訊》——11.19 動态多任務學習機制

其中,K(·) 為核函數,例如常用的高斯核函數,K(x) = exp (-x 2 );ρ 為用于控制時間內插補點的尺度系數;s 為與 t 相鄰近的時刻,假定在 Lag 時長的範圍内,相鄰的時刻間都存在連續性關系,則 s=t,t-1,···,t-Lag。式 (3) 利用了時間上的連續性對目前時刻 t 及其鄰近時刻的資料進行了權重平均,其優點是消除了動态資料中所含有的波動。以 THMTL 模型為例,将式 (3) 作為 t 時刻第 i個任務的相關資料項代入式 (2),則動态的多任務層次結構學習方法 (Dynamic THMTL, DTHMTL)在 t 時刻的求解算法中,梯度項 的每一列為

《中國人工智能學會通訊》——11.19 動态多任務學習機制

由于 DTHMTL 模型與式 (2) 的基本形式相同,其差別在于式 (3) 采用的動态性處理方法,是以 DTHMTL 模型可以使用類似算法進行求解。詳情請參看全文。

繼續閱讀