雷鋒網 AI 科技評論按：在計算機視覺領域，圖像分類其實是一個最基本的問題，然後一旦遇到極端長尾、開放式的資料集時，即便是最基本的圖像識别任務，也難以很好地實作。伯克利 AI 研究院基于對某段相關的經曆的思考提出了「開放長尾識别」（OLTR）方法，據介紹，該方法可同時處理龐大、稀有、開放類别的視覺識别，是目前視覺識别系統評價中更全面、更真實的一種檢驗标準，它可以被進一步擴充到檢測、分割和強化學習上。這一成果也在伯克利 AI 研究院上進行了發表，雷鋒網(公衆号：雷鋒網) AI 科技評論編譯如下。
現有的計算機視覺環境 VS 現實世界場景
有一天，一位生态學家來找我們。因為他用錄影機拍攝了很多野生動物的照片，希望運用現代計算機視覺技術，基于這些照片的資料庫自動辨識拍到了哪些動物。這聽起來是一個基本的圖像分類問題，是以我們當時很自信，覺得肯定沒問題。然而結果我們卻失敗了。那位生态學家提供的資料庫是極端長尾且開放式的。通常，隻要無法得到足夠的訓練資料，我們就會問對方，有沒有可能提供更多的尾部類别資料，而忽略可能在測試資料中出現的一些開集類别。遺憾的是，要解決那位生态學家的問題，我們無法采用收集更多資料的做法。由于這些生态學家可能要花相當長的時間，才會在野外拍到他們計劃拍攝的珍稀動物。為了拍到一些瀕危動物，他們甚至必須等幾年才能拍到一張照片。如此同時，新的動物物種不斷出現，舊的物種同時正在消失。在這樣一個動态變化的系統之内，類别的總數永遠無法固定。而且，從動物保護的意義上說，識别新發現的稀有動物比識别數量還很多的動物更有價值。如果我們隻能在數量衆多的類别中很好地識别動物，那我們的方法永遠都不會有什麼實用價值。我們嘗試了所有可能采用的方法，能想到的都試過了，比如資料增強、采樣技術、小樣本學習、不平衡分類，但沒有一種現有的方法可能同時處理龐大的類别、稀有的類别和開放的類别（如圖 1）。
圖1：現有的計算機視覺環境和現實世界的場景差距相當大。
自此以後，我們就一直在思考，現有的計算機視覺方法和現實世界的場景存在這麼大的差距，最主要的原因是什麼？不止是野生動物攝影資料存在這樣的問題，在現實生活中，這種問題一再出現，工業和學界都有。假如卷積神經網絡可以在龐大的 ImageNet 圖像資料集中非常順利地将圖檔分門别類，那為什麼在開放的世界中卻仍然無法解決圖檔分類的問題？在視覺識别領域，幾乎所有的問題都有成功的解決之道，如小樣本學習和開集識别。可似乎沒有人把這些問題當作一個整體來看待。在現實世界的應用中，不論是頭部類别還是尾部類别，分類有時不止面臨單獨一種問題。是以，我們認為，這種理論和實踐的差距可能源于視覺識别設定自身。
開放長尾識别（Open Long-Tailed Recognition，OLTR）
在現有的視覺識别環境中，訓練資料和測試資料在封閉世界（比如 ImageNet 資料集）的設定下都是均衡的。但這種設定并沒有很好地模拟現實世界的場景。例如，生态學家永遠都無法收集到均衡的野生動物資料集，因為動物的分布是不均衡的。同樣地，從道路标示、時裝品牌、面孔、天氣環境，到街道環境等等，各種類型資料集的不均衡開放分布都會幹擾人。為了如實地反映這些方面，我們開始正式研究源自自然資料集的「開放長尾識别」（OLTR）。一個實用的系統應該能夠在少數共性的類别和多個稀有類别之中分類，從極少數已知的例子之中總結歸納單獨一個類别的概念，基于某個過去從未見過的類别存在的一個例子，去了解這個類别的獨特性。我們将 OLTR 定義為，從長尾和開放的分布式資料中學習，并且基于一個平衡測試資料集評估分類的準确性，而這個測試資料集要包括在一個連續譜内的頭部、尾部和開集類别（如圖 2）。
圖2：我們這個開放長尾識别的問題必須從一個開放世界的長尾分布式訓練資料中學習，處理整個譜的不平衡分類、小樣本學習和開集識别。
OLTR 并沒有局限于字面上的定義，目前有三個問題和它密切相關，分别是不平衡分類、小樣本學習和開集識别，通常人們都是孤立地看待它們，分别獨立研究。圖 3 概括了它們之間的差異。在評估視覺識别系統方面，新提出的 OLTR 可以成為更廣泛、更現實的檢驗标準。
圖3：不平衡分類、小樣本學習、開集識别和開放長尾識别（OLTR）之間的差異。
注意力 & 記憶的重要性
我們提出将圖像映射到一個特征空間，這樣，視覺概念之間可以基于學習到的度量互相關聯，并且這種度量既認可了封閉世界分類又承認了開放世界的新穎性。我們所提出的動态元嵌入層結合了直接圖像特征和關聯的記憶特征，同時，特征範數表示了對已知類别的熟悉程度，如圖所示 4。
首先，我們通過聚集源自頭部類别和尾部類别的知識獲得了視覺記憶；然後将存儲在記憶體中的視覺概念當作關聯的記憶特征重新注入，以增強原來的直接特征。我們可以将其了解為利用誘導知識（即記憶特征）來幫助實作直接觀察（即直接特征）。我們進一步學習了一個概念選擇器來控制所要注入的記憶特征的數量和類型。由于頭部類别知識已經獲得了豐富的直接觀察，是以它們隻被注入了少量的記憶特征。相反，尾部類别獲得的觀察很少，于是記憶特征裡的關聯視覺概念就非常有用。最後，我們通過計算出獲得視覺記憶的可達性，來調整開放類别的可信度。
圖4：關于文中方法的直覺解釋。我們提出的動态元嵌入層将直接圖像特征和聯想記憶特征結合在一起，用特征範數表示對已知類的熟悉度。
全面提升
如圖 5 所示，本文方法對所有的多/中/小樣本類别以及開放類别進行了綜合處理，在各方面都取得了實質性的提升。
圖5：本文方法相對于普通模型的絕對 F1 分數。本文方法在多/中/少量類别以及開放類别上取得了全面進步。
學習動态可視化
這裡，我們通過将頭部的激活神經元可視化，檢查了記憶特征注入的視覺概念，如如圖 6 所示。具體來說，對于每個輸入圖像，我們識别出了它在記憶特征中排名前 3 的遷移神經元。所有神經元都通過整個訓練集上最高的一組激活更新檔實作可視化。例如，為了将左上角的圖像劃分為尾部類别「公雞」，我們的方法已經學會了依次遷移表示「鳥頭」、「圓形」和「點狀紋理」的視覺概念。在注入特征後，動态元嵌入層的資訊豐富度和識别度變得更高。
圖6：記憶特性裡排前三的注入視覺概念案例。除了右下的失敗情況（标記紅色），其他 3 個輸入圖像都被普通模型錯誤分類，被我們的模型正确分類。例如，為了對屬于尾部類别「公雞」的左上角圖像進行分類，本文方法學會了分别遷移表示「鳥頭」、「圓形」和「點狀紋理」的視覺概念。
重返現實
現在讓我們回到真正的叢林，将我們在本文中提出的方法應用到生态學家在第一部分提到的野生動物資料中。幸運的是，我們的新架構在不犧牲豐富類别的情況下，在稀缺類别上獲得了實質性的進步。具體而言，在圖像數量少于 40 的類别上，我們讓結果提升了大約 40%（從 25% 到 66%）。并且，在開放類别檢測上，我們讓結果提高了 15% 以上。
我們相信，在開放長尾識别環境下開發的計算方法最終可以滿足自然分布資料集的需要。綜上所述，開放式長尾識别（OLTR）是視覺識别系統評價中更全面、更真實的一種檢驗标準，它可以被進一步擴充到檢測、分割和強化學習上。
緻謝：感謝論文《開放世界中的大規模長尾識别》的所有共同作者在撰寫這篇博文中所做的貢獻和讨論。本文中所表達的觀點均屬于本文作者。
此博文基于将在 IEEE 計算機視覺和模式識别會議（CVPR 2019）作口頭陳述的論文，如下：
《開放世界中的大規模長尾識别》（Large-Scale Long-Tailed Recognition in an Open World）
作者：Ziwei Liu*, Zhongqi Miao*, Xiaohang Zhan, Jiayun Wang, Boqing Gong, Stella X. Yu
Paper：https://arxiv.org/abs/1904.05160
Project Page：https://liuziwei7.github.io/projects/LongTail.html
Dataset：https://drive.google.com/drive/folders/1j7Nkfe6ZhzKFXePHdsseeeGI877Xu1yf
Code & Model：https://github.com/zhmiao/OpenLongTailRecognition-OLTR
via https://bair.berkeley.edu/blog/2019/05/13/oltr/ 雷鋒網 AI 科技評論報道