傅立葉變換能用來炒股發财？
事實上，幾年前就有公司或者基金把深度學習的最新方法用來做股價預測，用來在股市上一搏了。
比如就有國内的研究人員用LSTM這種遞歸神經網絡來預測風雲莫測的中國股市 。
一些朋友也在私下裡告訴過筆者，某美國的交易機構就用LSTM來做自動化高頻交易，在大規模資金的幫助下，實作了日進鬥金；當然，實際使用時要克服很多工程問題，比如要選取合适的輸入信号、實作和交易所的高速事實通訊等。這些都不在本文探讨之類。
是以，想讀完本文就可以成為億萬富翁的朋友可以散了：）
我們這裡用炒股做個引子，真正想介紹的是如何深入把經典的信号處理技術引入到深度學習技術中，用來分析各種序列資料（sequence data），比如股票價格、金融信号等，乃至更為一般的實體、經濟、社會等活動的動态信号，抽象出有價值的模式，進而對其進行預測和分析。
如果大家對技術細節感興趣，可以參考我們在ICML和 KDD上發表的論文。（注：本文末尾）
長期還是短期投資？
我們以資本市場的投資為例，來引出為什麼要用傅裡葉變換的方法對不同周期的價格信号進行分析。
所有人在進入股市前，都首先要做出一個根本的投資政策：究竟投資有潛力的股票、進而獲得長期回報，還是打打短線，賺一票就走路？顯然，對于不同的政策，用來預測的信号也是不一樣的。
對長期投資者來說，短期的價格波動不應該對其預測的長期股價産生太大影響，這類投資者更應該關注的是股價在更大周期上的波動；用更專業的術語來說就是低頻率、長周期的股價信号應該對預測長期股價更有價值。
對短期投資者、特别對高頻交易的投資者來說，他們更關心的是短期的價格波動，進而以小步快跑的方式獲得累積的收益。也就是說，這類打短線的投資者更對高頻地、短周期的股價波動敏感。
從狀态記憶(State Memory)到多頻率狀态記憶(State-Frequency Memory)
炒股的例子告訴我們，對特定的應用，不同頻率上的信号所起到的作用是不一樣的。這類問題在很多工程應用中都有所展現。
比如對特定物體進行跟蹤。作為一個經典的預測問題，物體跟蹤通過特定的觀察量（比如雷達、雷射雷達等）對某個物體實際的位置進行持續的預測。這個時候，找到符合物體運動周期的特征，并用這些特定頻率上的特征對運動進行分析就非常重要。
同樣地，在分析、預測社會活動時，這種特定周期或頻率的特征模式往往也是非常常見的。比如，在分析交通流量時，上下班周期、在一個星期内不同天的周期等，對交通流量的分析預測都會起到非常關鍵的作用。找到并針對性地量化分析這些周期對預測未來趨勢的影響，往往是分析序列資料的關鍵。
這些都啟發我們：在對信号進行預測時，需要對不同頻率的信号差別對待，針對特定的任務加以合理應用。
而經典的LSTM僅僅對時間信号的狀态向量做為記憶元(Memory Cell)進行模組化，而忽略了另一個重要次元頻率。而我們将狀态(state)-頻率(frequency)聯合起來，形成一個狀态-頻率矩陣（State-Frequency Matrix，SFM） 而非僅僅用一個向量來表示狀态。
矩陣中的每個元素，用它的行來索引不同狀态：每個狀态在實體意義上可以了解成代表某個引發信号波動的因子。另一方面，用SFM的列來檢索不同的頻率，代表不同因子對不同頻率的影響。
有了SFM做為記憶元，我們就可以像一般LSTM裡那樣定義輸入門、輸出門、遺忘門和控制資訊的流向。特别地，如果我們對高頻、短周期信号（比如短期高頻的交易時）更關心，對應SFM矩陣的高頻部分的資訊流就會被輸入門、輸出門標明出來對信号序列進行模組化。反之，如果我們對低頻的、長周期信号（比如長期投資時）更有興趣，那麼我們就可以讓模型聚焦在用SFM中的低頻部分進行分析。
具體SFM矩陣中高、低頻分量的選擇，将由針對特定問題所定義的目标函數，通過訓練的方法來自動完成。比如，我們可以選擇優化高頻交易下的預測準确率或者收益，這時SFM中高頻部分會起到更大的作用，進而被選中。
自适應的定義頻率
另外一個重要的問題是，我們往往在事先無法确定那個頻率上的分量更重要，這是我們可以通過允許模型以自适應的方式來确定這些頻率。具體來說，我們可以把這些頻率分量ω定義為輸入、輸出的函數來機器學習的方法來确定合适的頻率。
同時意味着，随時具體某個任務外界環境的變化，比如出現某個特定金融事件，使得市場發生較平常更激烈動蕩時，我們希望SFM的高頻對應着更高的頻率，來适應市場的變化。
這種自适應的調節分析頻率的能力，有利于我們對那些非平穩（non-stationary）的序列資料進行模組化、分析。
下面圖中可以看到在對某個時間序列模組化時，頻率自适應模型A-SFM是如何随時間不斷地調整其覆寫的頻率段的。
更多的結果和詳細的介紹，大家可以參看我們的論文。
Hao Hu§, Guo-Jun Qi*. State-Frequency Memory Recurrent Neural Networks, in Proceedings of International Conference on Machine Learning (ICML 2017), Sydney, Australia, August 6-11, 2017. [pdf]
Liheng Zhang§, Charu Aggarwal, Guo-Jun Qi*, Stock Price Prediction via Discovering Multi-Frequency Trading Patterns, in Proceedings of ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2017), Halifax, Nova Scotia, Canada, August 13-17, 2017 [pdf]
原文釋出時間為：2018-02-17
本文作者：齊國君
本文來自雲栖社群合作夥伴新智元，了解相關資訊可以關注“AI_era”微信公衆号