網易易盾實驗室多模态視角資訊融合技術達到國際領先水準 準确率等關鍵名額創新高

本文來自網易雲社群。

近日，網易雲易盾實驗室AI算法研究員的一篇論文《MULTI-VIEW AUTOENCODER FOR IMAGE FEATURE LEARNING WITH STRUCTURED NONNEGATIVE LOW RANK》提出了一種對多視角多模态特征資訊進行有效融合的自編碼器神經網絡，在準确率、NMI、Purity、ARI等各項性能名額上再創新高，較當下多項國際先進的多視角多模态資訊融合技術有顯著性的領先。

當下，人工智能技術應用範圍越來越大。以自編碼器（autoencoder）、卷積神經網絡（CNN）、循環神經網絡（RNN）、長短期記憶網絡（LSTM）為代表的深度學習技術因為擁有良好的特征學習能力，被學術界和工業界廣泛運用于圖像分類、文本語義檢測的實際項目中。然而傳統的自編碼器特征學習技術，忽視了實際資料的多視角特征，隻能針對單一的特征進行網絡訓練和特征學習，無法融合資料多視角特征中大量有用的結構化資訊。

易盾實驗室AI算法研究員撰寫的論文，提出了一種新的對資料多視角特征進行融合和特征提取的自編碼器網絡。它能在其編碼網絡中，對各個視角的特征資訊進行低秩結構化融合。網絡經過訓練學習得到的新特征具有非負性和低秩的結構性質，能夠有效降低不同視角特征之間的噪聲，具有對噪聲的抗幹擾能力和魯棒性。所設計的新型自編碼器網絡通過融合不同視角特征各自攜帶的局部視角資訊，提高新的資料特征的表示能力，有效地提高了資料的分類識别準确率。

需要指出的是，這種對資料多視角特征資訊進行低秩結構化融合的自編碼器網絡方案，對傳統的深度學習技術-自編碼器神經網絡有了很大的創新和改進，對資料語義表示的精準度和分類識别的應用上有較大的性能提高。

看完上面幾段文字，估計很多人犯嘀咕：字都認識，結合在一起，卻有一種看天書的感覺。這裡舉一個通俗易懂的例子，形象地比喻：現行的自編碼器神經網絡技術在資料特征資訊的利用上，隻能能摸出大象的腿、尾巴，不能對大象進行一個完整、全面的資訊描述，無法還原出一個真實的大象。而論文提出的新的多模态視角資訊融合技術，因為能夠對資料的多視角、多模态特征進行綜合提取和有效融合，能把這個大象完整、客觀和真實的呈現出來。

新提出的資料特征資訊融合技術，已經成功應用于易盾内容安全項目中，并在文本特征處理應用方面申請了相關專利。通過提取文本内容資訊的關鍵詞、聯系方式、詞性句法關系等多視角、多模态資訊特征，有效地提高了有害内容的識别率，讓網易雲易盾内容安全的準确率和召回率更上一個台階。

此技術創新相關的論文《MULTI-VIEW AUTOENCODER FOR IMAGE FEATURE LEARNING WITH STRUCTUREDNONNEGATIVE LOW RANK》于ICIP 2018 圖像處理大會期間釋出，一同參加大會的公司包括微軟、谷歌、Facebook等技術巨頭。由于論文的創新性、應用價值大，該論文已被IEEE資料庫收錄。

網易雲易盾

值得一提的是，該論文的主筆為方正，他是IEEE Member（國際電氣和電子工程師協會會員）、 國際期刊 IEEE Transactions on Cybernetics和Neural Processing Letters的技術審稿評審，他來自網易易盾實驗室。網易易盾實驗室成立于2016年，隸屬于網易安全部，目前擁有數十名AI算法專家、安全研究員、政策法規研究專員等。實驗室目前專注探索人工智能技術在安全領域的應用，以及安全相關法規、社會責任等研究。

最後給大家送下福利：對該論文感興趣的同學，可以在這裡下載下傳：https://ieeexplore.ieee.org/document/8451827/authors 

點選免費體驗網易雲易盾安全解決方案。

網易雲免費體驗館，0成本體驗20+款雲産品！

更多網易研發、産品、營運經驗分享請通路網易雲社群。

相關文章：

【推薦】 一個接口的性能問題定位和分析過程