編輯：LRS 好困
【新智元導讀】時間序列分析在現實世界中的應用非常廣泛，覆寫氣象、工業、醫療等衆多領域。近期，清華大學軟體學院機器學習實驗室提出了時序基礎模型TimesNet，在長時、短時預測、缺失值填補、異常檢測、分類五大任務上實作了全面領先。
實作任務通用是深度學習基礎模型研究的核心問題，也是近期大模型方向的主要關注點之一。
然而，在時間序列領域，各類分析任務的差别較大，既有需要細粒度模組化的預測任務，也有需要提取高層語義資訊的分類任務。如何建構統一的深度基礎模型高效地完成各類時序分析任務，此前尚未有成型方案。
為此，來自清華大學軟體學院的團隊圍繞時序變化模組化這一基本問題展開研究，提出了任務通用的時序基礎模型TimesNet，論文被ICLR 2023接收。
作者清單：吳海旭*，胡騰戈*，劉雍*，周航，王建民，龍明盛
連結：https://openreview.net/pdf?id=ju_Uqw384Oq
代碼：https://github.com/thuml/TimesNet
時序算法庫：https://github.com/thuml/Time-Series-Library
TimesNet在長時、短時預測、缺失值填補、異常檢測、分類五大任務上實作了全面領先。
1 問題分析
不同于自然語言、視訊等序列資料，時間序列中單個時刻僅儲存了一些标量，其關鍵資訊更多地被蘊含在時序變化（Temporal Variation）中。
是以，模組化時序變化是各類時序分析任務共同的核心問題。
近年來，各類深度模型被廣泛用于時序分析任務中，例如循環神經網絡（RNN）、時序卷積網絡（TCN）和變換器網絡（Transformer）。
然而，前兩類方法主要關注捕捉臨近時刻之間的變化，在長期依賴上模組化能力不足。
Transformer雖然在模組化長期依賴上具有天然優勢，但是由于現實世界的時序變化極其複雜，僅僅依靠離散時間點之間的注意力（Attention）難以挖掘出可靠的時序依賴。
為此，本文從一個全新的多周期（Multi-periodicity）視角對時序變化進行了分析，如下圖所示。我們觀察到：
- 時間序列天然具有多周期性。
現實世界的時序資料往往是不同周期過程的互相疊加，例如交通資料在短期内的以日為周期變化，而長期則以星期為周期變化。這些不同周期的資料互相疊加、互相幹擾，給時間序列分析帶來了極大挑戰。
- 時間序列呈現周期内與周期間兩種時序變化。
具體地，對于某一特定周期的過程，每個時間點的變化既與臨近時刻有關，也與臨近周期的相似過程高度相關。其中周期内變化對應着短期過程，周期間變化則可以反應連續周期間的長期趨勢。注：如果時間序列沒有明顯周期性，則等價于周期無限長的情況。
2 設計思路
基于以上兩點觀察，我們對TimesNet的結構作出了如下設計：
- 時間序列的多周期性自然地啟發了一個子產品化（Modular）的設計思路，即一個子產品捕捉由某一特定周期主導的時序變化。這種子產品化的設計思路可以将複雜的時間變化解耦，進而有利于後續模組化。
- 對于時間序列的周期内與周期間變化，本文創新性地提出将一維時序資料擴充至二維空間進行分析。如上圖所示，将一維時間序列基于多個周期進行折疊，可以得到多個二維張量（2D tensors），每個二維張量的列和行分别反應了周期内與周期間的時序變化，即得到了二維時序變化（Temporal 2D-variations）。
上圖示例展示了将一維時序資料折疊至二維空間的可視化效果。此處，Period方向反應周期内變化，而Frequency方向代表周期間變化。我們可以看出轉化至二維空間的時序資料具有明顯的二維局部性（2D locality）。
是以，在折疊時序資料後，我們可以直接采用先進的視覺骨幹網絡對時序資料進行特征提取，例如Swin Transformer、ResNeXt、ConvNeXt等。這種設計也使得時序分析任務可以直接受益于蓬勃發展的計算機視覺領域。
3 TimesNet
基于上述思路，我們提出了TimesNet模型，通過子產品化結構将複雜時序變化分解至不同周期，并通過将原始一維時間序列轉化至二維空間實作了周期内與周期間變化的統一模組化。
在這一節中，我們将先介紹将時序資料擴充至二維空間的方法，再介紹模型的整體架構。
3.1 時序變化：1D->2D
時序折疊的流程如上圖所示，主要分為以下兩步：
（1）周期提取
對于一個時間長度為、通道次元為的一維時間序列，可以由時間次元的快速傅立葉變換（FFT）直接提取周期資訊，即：
其中，代表了中每個頻率分量的強度，強度最大的個頻率對應着最顯著的個周期長度。
（2）序列折疊1D->2D
對于標明的個周期，分别對原始的一維時間序列進行折疊，該過程可以形式化為：
其中，為在序列末尾補0，使得序列長度可以被整除。
通過上述操作，我們得到了一組二維張量，其中對應周期為的二維時序變化。
3.2 模型設計
TimesNet的整體架構如圖所示：
整體上，TimesNet由堆疊的TimesBlock組成。輸入序列首先經過嵌入層得到深度特征。對于第層TimesBlock，其輸入為，輸出為：
具體地，如下圖所示，每個TimesBlock包含以下子過程：
（1）折疊時間序列（1D->2D）：TimesBlock首先對輸入的一維時序特征提取周期，再将之轉換成為二維時序變化，即在上一節中涉及的内容：
（2）提取二維時序變化表征（2D Representation）：如前分析，轉換得到的二維時序變化具有2D局部性，是以可以直接使用2D卷積提取特征。此處，我們選用了經典的Inception模型，即：
值得注意的是，因為我們已經将1D時序特征轉換至2D空間，是以我們還可以利用計算機視覺領域的許多前沿模型，例如ResNeXt、ConvNeXt以及基于Attention的Swin Transformer等等。這使得時間序列分析可以與視覺骨幹網絡協同并進。
（3）展開時間序列（2D->1D）：為了後續多周期融合，我們将二維時序變化表征展開至一次元空間：
Trunc(⋅)表示将步驟（1）中Padding(⋅)操作補充的0去除。
（4）自适應融合（1D Aggregation）：為融合多周期資訊，我們将提取到的二維時序表征進行權重求和，選用的求和權重即為步驟（1）中得到的對應頻率強度：
通過将1D時間序列轉化至2D空間的設計，TimesNet實作了「多個周期分别提取二維時序變化，再進行自适應融合」的時序變化模組化過程。
4 實驗
我們在長時預測、短時預測、缺失值填補、異常檢測、分類五大任務上進行了實驗，涵蓋36個資料集、81種不同的實驗設定。
同時，對比了19種不同的深度方法，包含最新的基于RNN、CNN、MLP、Transformer的模型，例如N-BEATS（2019），Autoformer（2021），LSSL（2022），N-Hits（2022），FEDformer（2022），Dlinear（2023）等。
4.1 總體結果
如開篇雷達圖所示，TimesNet在五項任務上均達到了SOTA。
（1）長時預測：在此備受關注的任務上，TimesNet超過了先進的基于Transformer與MLP的模型。
（2）短時預測：此實驗中使用的M4資料集包含6個不同采樣頻率的子資料集，總共超過10萬條資料。TimesNet在此複雜資料分布情況下依然取得了最優的效果，驗證了模型的時序變化模組化能力。
（3）分類任務：在此任務上，TimesNet超過了經典的Rocket算法以及前沿深度學習模型Flowformer。
更多任務的對比請見論文。
4.2 視覺骨幹網絡的泛化性
我們将TimesNet中的Inception網絡替換為不同的視覺骨幹網絡，例如ResNet，ConvNext，Swin Transformer等。
如下圖所示，更先進的視覺骨幹網絡可以帶來更優秀的效果。這也意味着在TimesNet的架構下，時間序列分析可以直接受益于視覺骨幹網絡領域的進展。
4.3 表征分析
為了進一步探索TimesNet的效果來源，我們展示了「模型底層-頂層表征之間的CKA相似度」與「模型效果”之間的關系。其中，CKA相似度越低，代表模型底層-頂層之間的表征差異越大，即更加階層化的表征。
從上述可視化，我們可以觀察到：
- 在預測與異常檢測任務中，效果越好的模型往往底層-頂層的表征相似度越高，表明任務需要更加底層的表征（low-level representations）；
- 在分類與缺失值填補任務中，效果越好的模型往往底層-頂層的表征相似度越低，表明該任務需要階層化表征（hierarchical representation），即更好的全局特征提取能力。
得益于2D空間中的卷積操作，TimesNet可以根據不同任務學習合适的表征，例如預測與異常檢測任務中，學習到低層次表征；而分類與缺失值填補任務中，學習到階層化的抽象特征。這也進一步證明了TimesNet作為基礎模型的任務泛化性。
同時，上述表征分析也為針對專一任務的深度模型提供了設計思路，例如對于預測任務要關注底層細粒度特征的提取，對于填補任務則需要進一步兼顧全局表征的學習。
5 總結
受時間序列本質的多周期屬性啟發，本文提出了一個任務通用的時序分析基礎模型——TimesNet。該模型創新性地将一維時間序列折疊至二維空間，并利用2D卷積取時序特征。這一創新使得時序分析任務可以直接受益于蓬勃發展的視覺骨幹網絡，對于後續研究具有良好的啟發性。
同時，TimesNet在長時、短時預測、缺失值填補、異常檢測、分類五大主流時序分析任務上實作了全面領先，具有優秀的應用價值。
參考資料：
https://openreview.net/pdf?id=ju_Uqw384Oq