機器之心報道
機器之心編輯部
這不是資料洩露了吧？
MNIST 識别的準确率已經卷上 100% 了？近日，預印版平台 arXiv 中的一篇論文《Learning with Signatures》引起了人們的關注。
在這項工作中，作者研究了在學習環境中使用 Signature Transform。該論文提出了一個監督架構，使用很少的标簽提供了最先進的分類準确性，無需信用配置設定（credit assignment），幾乎沒有過拟合。作者通過使用 Signature 和對數 Signature 來利用諧波分析工具，并将其用作評分函數 RMSE 和 MAE Signature 和對數 Signature。
研究人員使用一個封閉式方程來計算可能的最佳比例因子。最終實作的分類結果在 CPU 上的執行速度比其他方法快幾個數量級。作者報告了在 AFHQ 資料集、Four Shapes、MNIST 和 CIFAR10 的結果，在所有任務上都實作了 100% 的準确率。
MNIST 被認為是機器學習的 Hello World，是大家入門時都會用到的資料集，其包含 7 萬張手寫數字圖像，其中 6 萬張用于訓練，1 萬用于測試。MNIST 中的圖像是灰階的，分辨率僅 28×28 像素。盡管問題「簡單」，但實作 100% 識别準确度的算法總是讓人感覺不靠譜，讓我們看看論文是怎麼說的。
論文連結：https://arxiv.org/abs/2204.07953v1
代碼：https://github.com/decurtoydiaz/learning_with_signatures
借助Signature，少量标記樣本媲美深度學習收益
在上個世紀，讓計算機具有學習能力一直是重要的研究方向。近年來，使用深度學習中的有監督和無監督學習已經成為 SOTA 解決方案代表。基于模型的解決方案占主導地位的領域已迅速轉變為資料驅動的架構，并取得了前所未有的成功。然而，由于此類模型的超參數數量多，難以解釋，且其魯棒性缺乏收斂理論保證，是以在一些領域進展停滞不前。
近年來将 Signature Transform 內建到學習架構中已經取得不錯進展，其主要作為 ML 範式中的特征提取器或作為深度網絡内的池化層。由于 Signature 良好理論特性，不少研究者将其作為建構學習問題的一種方式。然而，關于 Signature 的通用架構尚未建立，這主要是因為沒有一個正确定義的得分函數來指導學習機制。
近日，有研究者提出通過使用 Signature Transform 來研究一種新型的學習機制，這是一種最近開發的諧波分析工具，它提供了對不規則采樣資料流的緊湊豐富的描述。研究者探索了這樣一個觀點，即通過将資料轉換為一個緊湊而完整的域，該研究可以通過使用很少的标記樣本來獲得與深度學習相同的經驗收益。
此外，Signature 的通用非線性屬性，不受時間重新參數化影響，使其成為更适合計算機推理知識替代表示的理想候選者。畢竟，人類不需要成千上萬的例子來學習簡單的概念，而隻需要少量精心挑選的例子來快速正确地猜測。Signatures 的出現實作了這一目标，計算機可以迅速地推斷出資訊，因為其表示形式容易了解、豐富且完整。不過這還需要一個得分函數，就像損失和信用配置設定給傳統的學習架構提供了将優化引導到一個可能很好的解決方案的能力一樣。
該研究使用 RMSE、MAE Signature 和 log-signature 來評估圖像分布之間的視覺相似性，以确定 GAN 收斂。從另一個角度來看，RMSE、MAE Signature 和對數 signature 确實是正确定義的得分函數，可用于分類、聚類等任務。在此假設下，本研究旨在進一步研究這種學習架構的行為、性質及其在若幹任務上的泛化能力。
在 Signature 情況下，該研究建議使用基于 Signature Transform 相似性度量。該架構在 CPU 上的工作速度比深度學習方法快幾個數量級，并且避免了在 GPU 上以高計算和環境成本完成的數百萬超參數的繁瑣信用配置設定。這些度量可以捕獲詳細的視覺線索，它們可用于記憶體占用非常小、執行速度快、準确度高的分類任務。
關于信用配置設定，例如反向傳播，一直是現代自動化學習技術的基礎；僅通過一次（pass）（即使用一個 epoch）從資料中提取所有後續資訊在理論上是可行的。但實際上，由于學習機制的限制，很多方法使用不止一次的訓練資料傳遞，這些特點不能歸結為其優勢。給定一個适當的得分函數，signatures 提供一種緊湊表示，計算機可以使用它來推斷細粒度資訊，而無需使用反向傳播，是以避免優化數百萬個超參數。
與其他訓練機制相比，使用帶有 signatures 的學習具有計算優勢，因為标記示例的數量可以大大減少，并且訓練被逐元素均值所取代，這賦予了良好泛化所需的統計魯棒性。
給定一組 signature 順序為元素均值定義為：則 RMSE 和 MAE signature 可定義為：
使用 Signature 的 Few-shot 分類
作者認為，可以使用 signature 和定義分數函數對比測試樣本（在可選的增強和計算元素平均值之後），進而實作 Few-shot 樣本分類。實作極高分類準确率所需的 Signature 數量可能取決于任務的複雜性，某些類别可能隻需要一個，具有更多可變性的類别可能需要數萬到數千個訓練樣本。
為了進一步研究通過對同一測試執行個體的多個變換版本進行平均而引入的多重性的影響，作者使用特定增強技術（如随機對比）展示了可視化結果。
）圖 1：在 AFHQ 的 300 張圖像上帶有簽名的 PCA 自适應 t-SNE，類别：貓（紅色）、狗（綠色）和野生（藍色）。
圖 2：給定 AFQH 樣本的特征變換光譜及其對應變換與随機對比度 (a)-(d) 的比較。
通常，人們會認為在訓練集上實作 100% 準确率肯定是出現了資料洩露問題。對于該研究，社交網絡中的質疑聲較多。
在 reddit 上，有網友表示：「MNIST 資料集中有幾個圖人類的分類方式與标簽不同。100% 的測試集準确率表明網絡實際上比那些錯誤率的 99.7% 的網絡還要差。是以正如其他人所說，100% 準确率的數字非常可疑。」
參考内容：
https://www.reddit.com/r/MachineLearning/comments/u7ouxh/r_authors_claim_to_have_solved_mnist_and_cifar/