10月20-10月24日，多媒體方向學術盛會ACM Multimedia 2021 于中國成都正式召開。阿裡巴巴淘系技術與浙江大學聯合舉辦的直播中多模态商品識别Workshop暨第二屆淘寶直播商品識别大賽圓滿結束。
淘系技術通過該 Workshop 開源了業界首個大規模的多模态視訊商品檢索資料集，并聯合浙江大學教授莊越挺、悉尼科技大學教授楊易、天津大學教授韓亞洪等國内外知名學者發起多模态檢索領域的國際挑戰賽，旨在共同推動電商直播場景中多模态商品檢索識别的研究和 AI 技術在實際應用場景中的落地。
在電商應用場景中，淘系技術通過直播商品識别算法，實作淘寶直播過程中商品和直播講解點的有效關聯，讓消費者可以通過點選商品跳轉觀看該商品的真人講解，實作邊看邊買的沉浸式消費體驗。而直播間講解商品多，視覺相似程度高，直播場景複雜度高，給直播中商品檢索識别帶來巨大的技術挑戰。如何基于直播内容的了解，進行多模态商品檢索和識别，是非常值得研究并需持續投入的課題。
基于淘寶直播資料建構的多模态視訊商品檢索資料集Watch and Buy (WAB)，淘系技術于4月27日正式發起第二屆淘寶直播商品識别大賽，相較與第一屆大賽，在賽題設計上引導選手注重全類别的識别效果，特别是長尾的商品類别、視覺紋理簡單商品的識别等，另一方面更加強調多模态資訊(主播講解語音、商品标題)等資訊在精确識别視覺相似講解商品中的重要性。
本屆賽事共吸引來自北京大學、清華大學、中科院、卡耐基梅隆大學、倫敦大學、南京大學、浙江大學等全球知名高校學者組成的587支隊伍參加，曆經3個月的激烈追逐，最終來自中科院計算所、北京大學、中南大學組成的隊伍分别獲得本賽事的冠軍、亞軍和季軍。
直播中多模态商品識别Workshop于10月20日下午在成都舉行，聚集了來自海内外的計算機視覺領域專家們帶來了精彩分享。
其中包括新加坡國立大學計算機學院的KITHCT講座教授Tat-Seng Chua分享的“Deep Visual Analytics: Towards more Effective Multimodal Retrieval, QA and Recommendation”的keynote talk，
北京航空航天大學的劉偲副教授以“Cross Modal Intelligence Analysis and Generation”為主題的學術報告，
還有來自悉尼科技大學青年研究員朱霖潮主題為 “Challenges and Opportunities of Multimodal Understanding”的學術報告，
由淘系技術進階算法專家陳志文帶來題為“Industrial Practice of Multimodal Video Content Understanding”的工業實踐分享。
來自中科院、北大、中南大學、清華、華中科技大學的五位同學進行了口頭報告，分享了他們的參賽方案和成果。
阿裡巴巴淘系技術資深算法專家李曉波表示，“淘寶擁有最大規模的商品庫，淘寶直播作為直播領域的先行者，實作通過直播的方式更好連接配接商品和消費者。在這個過程中，如何通過 AI 的能力，更好的了解視訊直播内容，提升使用者邊看邊買的消費體驗是我們一直的追求。本次 workshop 通過提供真實的多模态商品識别的應用場景、資料，希望能夠促進更多學術和工業的結合，激發更多創新研究和技術落地。”
本屆ACM MM 2021 的大會 co-chair，來自浙江大學的莊越挺教授也表示，“阿裡巴巴提供了真實的高品質的直播商品檢索場景和資料，能夠讓學術界很好的參與到這個問題中。”