A 品牌推出了一件連衣裙原創爆款，B品牌趁機推出了“同款”，B還很"機智"地修改了連衣裙的裙長、領型或袖型，以此規避知識産權糾紛，不過，這種做法已經行不通了。近日，由阿裡安全和浙江大學合作研發的創新AI算法提出了一種面向服飾版權保護的屬性感覺細粒度相似度學習方法，從傳統關注整體相似度細化到能夠關注于局部區域的特定屬性的相似度，進而進一步提升了甄别“局部抄襲”的準确率，為服飾版權保護提供更強大的技術支援。
也就是說，設計師做了一件原創設計，原來評判系統從整體對比原創者和抄襲者的圖樣，現在AI能迅速采集這件設計上的各個設計點，與抄襲者的設計圖樣比對，如果後者在多個點上與前者達到了某個相似度，系統可立刻判定抄襲成立，并知道哪些設計元素的相似度高。
解讀上述算法的論文《Fine-Grained Fashion SimilarityLearning by Attribute-Specific Embedding Network》（《面向服飾版權保護的屬性感覺的細粒度相似度學習》）被全球人工智能頂級會議AAAI 2020 收錄，2 月 7 日至 12 日，AAAI 2020 在美國紐約召開。
更靈活的服飾版權保護度量方法
從視覺角度如何對原創設計進行保護是“服飾了解”面臨的一個重要問題，也是長久以來的一個巨大挑戰。
服飾圖像通常伴随着嚴重的變形，在風格、紋理、背景上也存在巨大的差異。現有的服飾了解方法在in-shop clothes retrieval [1, 2]，cross-domain fashion retrieval [3, 4] 以及fashion compatibility prediction [5, 6] 等任務上進行了廣泛的研究。
這些方法傾向于考慮圖像整體的特征，為各種服飾學習單一的特征空間。随着時尚産業的發展，服飾傾向于具有更加豐富的屬性，單單從整體特征考慮已無法滿足需求，并且，抄襲通常也不是整體的抄襲，可能僅模仿某種局部設計；再者，對服飾了解的進一步細化能夠提高推薦系統的性能。
是以，浙江大學和阿裡安全的研究者從服飾版權保護出發，基于專業定義的服飾屬性，探索一種靈活有效的細粒度服飾相似度度量方法。
圖 1全局嵌入空間（左） 特定屬性的嵌入空間（右）
如圖1所示，現有方法通常将兩張圖像映射到全局嵌入空間中度量相似性，而研究者提出的方法則根據不同的屬性（比如領型設計、袖長）選擇不同的嵌入空間，進而在相應的空間中計算在指定屬性下服飾的相似性。比如，可以在領型設計空間度量兩件服飾的領型設計是否相似，如果同為圓領，如何使得模型能夠靈活地進行任務切換，根據不同的屬性有不同的輸出？
據上述算法的研究者之一、阿裡安全圖靈實驗室進階算法專家華棠介紹，結合服飾屬性具有“局部性”的固有特點，他們利用視覺注意力機制将圖像從全局特征空間映射到不同的特征子空間中，在子空間中度量具體角度下的圖像相似度。
這種方法具有兩個優點，第一，不同屬性映射到不同子空間中，在不同子空間中度量細粒度的相似關系；第二，模型能夠端到端學習，不同相似性角度下的度量關系互相不影響，可以同時訓練。
模型解析
研究者提出了一個 Attribute-Specific Embedding Network (ASEN) 模型來學習多個特定屬性的嵌入空間。
ASEN 模型的整體結構模型由三部分組成：特征提取、屬性感覺的空間注意力（ASA）和感覺的通道注意力（ACA）。
圖 2 ASEN架構圖
考慮到特定屬性的特征通常與圖像的特定區域有關，隻需要關注某些相關區域。是以，研究者設計了 ASA 子產品，該子產品在特定屬性的引導下定位圖像中與給定屬性相關的服飾部位。
盡管屬性感覺的空間注意力能夠自适應地聚焦于圖像中的特定區域，但是相同區域仍可能與多個屬性相關，例如，領型設計屬性和領型顔色屬性都與領型周圍的區域相關聯。是以，研究者在ASA的基礎上進一步設計了ACA 子產品，同樣在屬性的指導下捕捉與屬性相關的特征元素。
特征提取子產品通過卷積神經網絡（convolutional neural network, CNN）提取圖像特征，ASA和ACA處于旁路，順序對CNN提取到的特征進行條件化映射。注意力子產品以額外的屬性輸入為引導，融合條件和圖像特征，使得最終的圖像特征滿足需要。
ASA 采用attention map的方式，通過融合圖像特征和屬性嵌入，産生注意力權重。首先屬性經過編碼，通過嵌入（Embed）和複制（Duplicate）操作被映射到公共度量空間中，圖像特征同樣經過一步變換（1x1 conv）映射到同樣的空間中。屬性嵌入和圖像特征經過内積運算在不同的空間位置上産生不同的相似度比較值，對不同通道上的相似度比較結果進行聚合（1x1 conv）将得到一個attention map用來調整原圖像特征在空間域上的分布。
雖然 ACA 子產品能夠關注到相關的圖像部位，但是對于由服飾屬性定義的high-level的服飾概念而言，同樣的部位仍然可能和多種屬性相關，比如屬性領型設計和領型顔色都和衣領部位相關。出于這樣的考慮，研究者采用屬性感覺的通道注意力子產品進一步在通道次元上捕捉關鍵的圖像特征。首先屬性同樣被嵌入到高維空間中，其次和圖像特征連接配接輸入到連續的兩個非線性的全連接配接層，分别進行次元縮減和次元增加 [8]，産生的注意力權重對圖像特征進行調整。
實驗成果
研究者以在服飾場景下的細粒度相似度學習為目标，提出了ASEN網絡和兩種不同次元的注意力子產品。ASEN能夠同時學習多種特定屬性的嵌入空間，因而能夠在相應的空間中度量細粒度的服飾圖像相似度，是一種簡潔有效的端到端模型。大量的定量定性實驗證明了模型的有效性和可解釋性。
研究者在 FashionAI、DARN、DeepFashion資料集上進行了特定屬性的服飾檢索實驗，在Zappos50k資料集上進行了三元組關聯預測實驗。
兩種實驗形式不同，但本質相同，即均要求相對于某種屬性，相似服飾的距離近，不相似服飾的距離遠，而屬性特異的服飾檢索實驗對檢索傳回序列的要求更高。結果表明ASEN相對于不同的對比模型，在各種屬性上均能夠取得一緻顯著的性能提升。在屬性特異的服飾檢索實驗中，對不同的query樣本，設定不同的屬性條件，檢索出的結果計算mean AP。表1-3展示了三個資料集上每個屬性下的性能和平均性能。在Zappos50k資料集，研究者采用 [7] 的測試方式，也取得了更高的性能。
表格 1 FashionAI資料集檢索性能
表格 2 DARN資料集檢索性能
表格 3 DeepFashion attribute prediction benchmark檢索性能
表格 4 Zappos50k資料集Triplet Prediction
研究者還展示了一些定性實驗結果，包括在FashionAI資料集上的檢索結果，空間注意力機制可視化結果以及屬性子空間可視化結果；在DeepFashion資料集還進行了in-shop clothes retrieval的reranking結果，顯示了ASEN的潛在應用價值。
下圖3展示了FashionAI資料集上的Top-8檢索結果，對屬性相關部位放大展示，可以看到V領服飾能夠檢索出V領服飾（第一行），無袖服飾能夠檢索出無袖服裝（第二行），而除了目标屬性之外，其他特征表現出明顯的多樣性，例如傳回服飾款式、色調、種類、背景各不相同。圖4展示了對ASA子產品進行可視化的結果模型能夠定位屬性所關聯的部位，對于複雜的背景、模特姿勢等變化具有較強的魯棒性，最後一組圖像展示了對于無法從圖像中識别的屬性的注意力結果。
圖 3 FashionAI資料集檢索結果
圖 4空間注意力子產品可視化結果
研究者還對FashionAI資料集上的八種屬性子空間進行了可視化，相同顔色的點表示圖像具有相同的屬性值，比如同為圓領衣服，在特定屬性的嵌入空間中，具有不同顔色的點可以很好地分離而具有相同顔色的點可以更加聚集。
換句話說，具有相同屬性值的圖像距離較近，而具有不同屬性值的圖像距離較遠，這說明通過ASEN學習的特定屬性嵌入空間對于單一屬性具有良好的判别性。
圖 5特定屬性空間的可視化結果
華棠還介紹，為了通過細粒度的服飾相似度度量提升其檢索性能，最後，他們将細粒度的服飾相似度模型應用到傳統的in-shop clothes檢索任務上來。
首先，使用一般的檢索模型産生初始的檢索傳回序列；接着利用ASEN模型在某種屬性上的細粒度相似性對初始序列進行重排，圖5展示了部分實驗結果。對于第一個例子，研究者通過袖子長度屬性對初步結果進行重新排序，短袖的圖檔排在了前面。很顯然，在重排之後，檢索的結果變得更合理。
圖 6 Fashion Reranking
論文連結：
https://arxiv.org/abs/2002.02814參考文獻
- Liu, Z.; Luo, P.; Qiu, S.; Wang, X.; andTang, X. 2016. Deepfashion: Powering robust clothes recognition and retrievalwith rich annotations. In CVPR, 1096–1104.
- Ak, K. E.; Lim, J. H.; Tham, J. Y.; andKassim, A. A. 2018b. Efficient multi-attribute similarity learning towardsattribute-based fashion search. In WACV, 1671–1679.
- Huang, J.; Feris, R. S.; Chen, Q.; andYan, S. 2015. Cross-domain image retrieval with a dual attribute-aware rankingnetwork. In ICCV, 1062–1070.
- Ji, X.; Wang, W.; Zhang, M.; and Yang,Y. 2017. Cross-domain image retrieval with attention modeling. In ACMMultimedia, 1654–1662.
- He, R.; Packer, C.; and McAuley, J.2016. Learning compatibility across categories for heterogeneous itemrecommendation. In ICDM, 937–942.
- Vasileva, M. I.; Plummer, B. A.; Dusad,K.; Rajpal, S.; Kumar, R.; and Forsyth, D. 2018. Learning type-aware embeddingsfor fashion compatibility. In ECCV, 390–405.
- Veit, A.; Belongie, S. J.; andKaraletsos, T. 2017. Conditional similarity networks. In CVPR, 830–838.
- Hu, J.; Shen, L.; and Sun, G. 2018.Squeeze-and-excitation networks. In CVPR, 7132–7141.
關聯資訊：阿裡安全成立于2005年，目标是面向阿裡巴巴經濟體建立全面的網絡安全、業務安全、資料安全與平台治理的管理機制，利用大資料建構強大的實時風險防禦能力。目前所涵蓋的業務範疇既包括最底層的裝置層、網關層以及流量層的網絡威脅防禦，也包括了業務層的安全治理，例如賬号安全、假貨與欺詐識别、内容合規、資料及資訊保護、營商環境治理等等。同時，安全中台能力還全面輸出給阿裡巴巴經濟體内的跨境公司以及生态夥伴。
阿裡巴巴-浙江大學前沿技術聯合研究中心（Alibaba-Zhejiang University Joint Institute of Frontier Technologies，簡稱AZFT）成立于2017年初，依托浙江大學的雄厚科研實力和阿裡巴巴豐富的生态應用，AZFT緻力于在前沿技術和未來技術上進行研究開發，并将科研成果落地到我們的日常生活中。AZFT現已成立計算機視覺與視訊分析、網絡空間安全、下一代資料庫技術、網際網路資料挖掘、智能設計與美學與體驗、物聯網、知識引擎、智能計算系統8個聯合實驗室。
阿裡安全圖靈實驗室是阿裡安全旗下的機器學習研發團隊，從事安全與風險方面的AI系統研發，核心技術包括計算機視覺、自然語言處理、生物特征識别、圖計算以及異常檢測和分析等。人工智能的應用越來越廣泛，阿裡安全圖靈實驗室也希望能有更多該領域人才的加入，發揮前沿技術力量産生更大的價值。如果您有 2 年以上相關的研究經曆，有該領域的頂會文章或 top 競賽成績，阿裡安全也招聘研究型實習生和正式研究者，有興趣的讀者可以聯系 [email protected]，或加微信 rickymf4。