EMNLP 是自然語言處理領域的頂級會議，EMNLP 2021 将于 11 月 7 日 - 11 日在多米尼加共和國蓬塔卡納和線上聯合舉行。前段時間，大會公布了接收論文清單，包括長論文、短論文和 demo 論文。
接收清單：
https://2021.emnlp.org/papers剛剛，大會官方又公布了今年的論文獲獎情況，包括最佳長論文（1 篇）、最佳短論文（1 篇）、傑出論文（4 篇）、最佳 Demo 論文（1 篇）。其中，最佳長論文、最佳短論文的一作都是正在讀博的華人學者。
最佳長論文
- 論文：Visually Grounded Reasoning across Languages and Cultures
- 作者：Fangyu Liu、Emanuele Bugliarello、Edoardo Maria Ponti、Siva Reddy、Nigel Collier、Desmond Elliott
- 機構：劍橋大學、哥本哈根大學、Mila - 魁北克人工智能研究所、麥吉爾大學
- 論文連結： https://arxiv.org/abs/2109.13238
論文摘要：如今，應用廣泛的視覺和語言資料集以及預訓練編碼器都是直接采用 ImageNet 的概念和圖像，或從中獲得靈感。但人們很難指望這種基準對計算機視覺做出多大貢獻，因為它的資料來源主要是英文的詞彙資料庫和圖像查詢，會帶有北美或西歐的資料偏見。
為了克服這些偏見，來自劍橋大學等機構的研究者設計了一種新的 protocol 來建構一個代表更多語言和文化的 ImageNet 風格的層次結構，讓概念和圖像的選擇完全由母語人士驅動，而不是自動抓取它們。具體來說，他們關注的是一組不同類型的語言，即印尼語、簡體中文、斯瓦希裡語、泰米爾語和土耳其語。我們通過要求注釋者比較和對比圖像對來引出母語描述，任務是确定這些基礎描述是真是假。借助這種方法，他們建立了一個基于視覺、語言多元文化推理（Multicultural Reasoning over Vision and Language，MaRVL）的多語言資料集。
研究者使用 SOTA 模型建立了一系列基線并發現他們的跨語言遷移表現明顯落後于英語的監督表現。這些結果促使研究者跳出一個狹窄的領域，重新評估目前 SOTA 模型的穩健性和準确性，但也為真正多語言和多元文化系統的發展帶來了新的令人興奮的挑戰。
本文一作劉方宇是來自劍橋大學語言技術實驗室的一名博士二年級學生，主攻 NLP，目前主要關注多模态、自監督、可解釋性等方面的研究。
在得知獲獎後，劉方宇獲得了人們的掌聲。他表示：希望繼續努力，讓多模态技術通向所有人。
最佳短論文
- 論文：CHoRaL: Collecting Humor Reaction Labels from Millions of Social Media Users
- 作者：Zixiaofan Yang, Shayan Hooshmand and Julia Hirschberg
- 機構：哥倫比亞大學
- 論文介紹： https://underline.io/lecture/37879-choral-collecting-humor-reaction-labels-from-millions-of-social-media-users
論文摘要：幽默檢測近年來受到越來越多的關注，因為人們希望了解使用者用比喻語言生成的内容。然而，幽默感覺的個體和文化差異非常大，使得收集具有可靠幽默标簽的大規模幽默資料集變得非常困難。該研究提出了一個在 Facebook 文章上生成感覺幽默标簽的架構，稱為 CHoRaL。該架構使用自然可用的使用者對文章的反應，無需手動注釋。CHoRaL 針對幽默和非幽默提供了二進制标簽和連續分數。該研究了提出了迄今為止最大的帶有幽默标簽的資料集，其中的資料來源于與 COVID-19 相關的 78.5 萬篇文章。此外，該研究通過從文章中提取詞彙語義和情感特征來分析社交媒體中與 COVID 相關的表達資訊，并建構了性能與人類相似的幽默檢測模型。CHoRaL 可以開發任何主題的大規模幽默檢測模型，為社交媒體上的幽默研究開辟了一條新的途徑。
本文一作楊子小帆是來自哥倫比亞大學口頭語言處理組的博士生，大學就讀于北京大學。她的研究興趣主要集中在計算副語言學和跨語言自然語言處理。
傑出論文
- 論文 1：MindCraft: Theory of Mind Modeling for Situated Dialogue in Collaborative Tasks
- 作者：Cristian-Paul Bara、Sky CH-Wang、Joyce Chai
- 機構：密歇根大學、哥倫比亞大學
- https://arxiv.org/abs/2109.06275
論文摘要：理想的自主智能體意味着它們能夠以人類的方式進行協作。特别是「心智理論（theory of mind）」在人類的協作和交流中發揮着重要作用。為了在情境互動中實作心智理論模組化，該研究通過讓成對的人類主體在「我的世界」中玩遊戲，提出了一個細粒度的協作任務資料集。随着遊戲中互動的展開，該研究捕捉了合作夥伴對世界和彼此的信念的相關資訊，為研究情境語言交流中的人類協作行為帶來了豐富的機會。為了未來開發出能夠推斷協作夥伴信念狀态的 AI 智能體，該研究針對幾種心理任務理論建構并展示了計算模型及其結果。
- 論文 2：SituatedQA: Incorporating Extra-Linguistic Contexts into QA
- 作者：Michael Zhang、Eunsol Choi
- 機構：得克薩斯大學奧斯汀分校
- https://arxiv.org/abs/2109.06157
論文摘要：對同一問題的答案可能會根據語言外的語境（例如時間地點）而變化。為了研究這一挑戰，該研究提出了一個開放式檢索 QA 資料集 SITUATEDQA，其中系統必須在給定具體時間和地點等語境的情況下為問題生成正确答案。為了建構 SITUATEDQA，該研究首先在現有的 QA 資料集中找出一些問題。研究者發現很大一部分資訊搜尋問題的答案取決于語境。對于此類依賴語境的問題，該研究衆包可替代語境及其相應答案。該研究表明，現有模型難以生成經常更新或不常見問題的正确答案。是以該研究進一步量化了現有模型是如何根據過去收集的資料進行訓練的，即使提供了更新的語料庫，也無法泛化地回答目前提出的問題。該研究的分析表明，開放檢索 QA 基準應該包含語言外的語境，以保持與全局和未來的相關性。
- 論文 3：When Attention Meets Fast Recurrence: Training Language Models with Reduced Compute
- 作者：Tao Lei
- 機構：ASAPP 公司
- https://arxiv.org/abs/2102.12459
由于計算時間和成本的增加，大型語言模型變得越來越難以訓練。該研究提出了一種名為 SRU++ 的高效架構，結合了快速循環和序列模組化的注意力。SRU++ 表現出強大的模組化能力和訓練效率。在 ENWIK8、WIKI-103 和 BILLION WORD 等資料集上的标準語言模組化任務中，該模型獲得了更好的 bpc（bits-per-character）和困惑度 ppl（perplexity）。同時，與表現最好的 Transformer 模型相比，該模型的訓練成本僅為前者的 1/10 到 1/3。例如，該模型在 8-GPU 的機器上，在 ENWIK8 資料集上得到 SOTA 結果隻用 了 1.6 天進行訓練。該研究進一步證明了 SRU++ 達到接近 SOTA 的性能僅需要極少的注意力。該研究的結果表明聯合利用快速循環和少量注意力将是用于加速模型訓練和推理的一個重要方向。
- 論文 4：Shortcutted Commonsense: Data Spuriousness in Deep Learning of Commonsense Reasoning
- 作者：Ruben Branco、Antonio Branco、Joao Antonio Rodrigues、Joao Ricardo Silva
論文摘要：常識是一種典型的人類能力，自人工智能誕生以來，它一直是對人工智能的核心挑戰。Transformer 神經語言模型在自然語言處理任務（包括常識推理）中取得了令人印象深刻的結果，甚至在某些基準測試中超過了人類的表現。最近，其中一些進展受到質疑：訓練資料中所謂的資料僞影已經明顯表現為虛假相關性和 shallow shortcuts，某種程度上造成了這些出色的結果。
在本文中，研究者試圖将這種分析進一步深入到常識相關的語言處理任務領域，對涉及常識推理的各項基準進行了研究，并進行了一些關鍵的壓力實驗，進而深入了解模型是在學習問題内在的可遷移能力，還是僅僅利用資料中偶然的 shortcuts。
結果表明，大多數試驗過的資料集都是有問題的，模型采用了非穩健特征，似乎沒有學習和歸納到資料集傳達或舉例說明的整體任務。
最佳 Demo 論文
- 論文：Datasets: A Community Library for Natural Language Processing
- 作者：Quentin Lhoest, Albert Villanova del Moral, Yacine Jernite, Abhishek Thakur, Patrick von Platen, Suraj Patil, Julien Chaumond, Mariama Drame, Julien Plu, Lewis Tunstall, Joe Davison, Mario Šaško, Gunjan Chhablani, Bhavitvya Malik, Simon Brandeis, Teven Le Scao, Victor Sanh, Canwen Xu, Nicolas Patry, Angelina McMillan-Major, Philipp Schmid, Sylvain Gugger, Clément Delangue, Théo Matussière, Lysandre Debut, Stas Bekman, Pierric Cistac, Thibault Goehringer, Victor Mustar, François Lagunas, Alexander Rush and Thomas Wolf
- 機構：Hugging Face
- https://arxiv.org/pdf/2109.02846.pdf
論文摘要：随着新任務、大模型、新基準的不斷提出，公共 NLP 資料集的規模、類型和數量正在迅速增長。但資料集的增長也帶來了重大挑戰，包括接口标準化、版本化和文檔化。
為了克服這些挑戰，Hugging Face 建立了一個名為 Datasets 的 NLP 社群庫，旨在将終端使用者接口、版本和文檔标準化，同時提供輕量級前端，該前端對于小型資料集和網際網路級别的資料庫來說是差别不大的。該庫的設計采用了分布式、社群驅動的方法來添加資料集并記錄使用情況。經過一年的開發，該庫已經擁有了 250 多個貢獻者，還支援了很多新穎的跨資料集研究項目和共享任務。
參考連結：
https://2021.emnlp.org/blog/2021-10-29-best-paper-awards