【AI視野·今日NLP 自然語言處理論文速覽 第十二期】Tue, 22 Jun 2021

AI視野·今日CS.NLP 自然語言處理論文速覽

Tue, 22 Jun 2021

Totally 39 papers

👉上期速覽✈更多精彩請移步首頁

Daily Computation and Language Papers

A Discriminative Entity-Aware Language Model for Virtual Assistants Authors Mandana Saebi, Ernest Pusateri, Aaksha Meghawat, Christophe Van Gysel 高品質的自動語音識别ASR對于虛拟助手VAS至關重要。但是，ASR通常在包含命名實體的VA請求上表現不佳。在這項工作中，我們從觀察開始，是以命名實體的許多ASR錯誤都與真實世界知識不一緻。我們擴充了先前的鑒别性N克語言模組化方法，以利用捕獲實體類型實體和實體實體關系的特征，從知識圖KG融入真實世界知識。我們通過高效的晶格救援過程應用我們的模型，在一些覆寫覆寫不太流行的實體的一些合成測試集中實作了超過25的相對句子錯誤率縮減，并在均勻采樣的VA測試集上降低了劣化。

Iterative Network Pruning with Uncertainty Regularization for Lifelong Sentiment Classification Authors Binzong Geng, Min Yang, Fajie Yuan, Shupeng Wang, Xiang Ao, Ruifeng Xu Lifelong學習能力對于情緒分類器來說至關重要，以處理網上的持續注釋資訊流。然而，對于深神經網絡而言，執行終身學習是不可避免地訓練逐漸訓練的災難性忘記或幹擾。在本文中，我們提出了一種具有終身情緒分類IPRL的不确定性正則化方法的新穎疊代網絡修剪，其利用網絡修剪和重量正則化的原理。通過以疊代方式執行具有不确定性正則化的網絡修剪，IPRL可以适應單個BERT模型，以便在避免災難性的遺忘和幹擾時使用來自多個域的連續到達資料。具體而言，我們利用疊代修剪方法去除大型深網絡中的備援參數，以便可以采用釋放空間來學習新的任務，解決災難性的遺忘問題。在學習新任務時，我們還使用基于貝葉斯線上學習架構的不确定性正常化來限制BERT中的舊任務權重的更新，這使得能夠正向後傳輸，即學習新任務，即學習新任務，即學習新任務可以提高過去的性能保護舊知識的任務丢失。此外，我們提出了與每層BERT的特定于一層特定的低維剩餘功能，這使得IPRL在學習新任務時不易丢失在基本BERT網絡中儲存的知識。關于16個受歡迎的評論Corpora的廣泛實驗表明，所提出的IPRLS方法SIG很大地優于終身情緒分類的強大基線。為了再現性，我們送出代碼和資料

Self-Calibrating Neural-Probabilistic Model for Authorship Verification Under Covariate Shift Authors Benedikt Boenninghoff, Dorothea Kolossa, Robert M. Nickel 我們正在為Autheration驗證AV主題變異性和錯誤識别解決兩個基本問題。兩個争議文本主題的變化是大多數AV系統錯誤的主要原因。另外，觀察到，由深學習AV機制産生的底層機率估計不符合各個訓練資料中的實際情況。是以，機率估計差異很差。我們正在從Pan 2020擴充我們的架構，以包括貝葉斯因子評分BFS和一個不确定性适應層UAL來解決這兩個問題。 2020 21 PAN AV共享任務資料的實驗表明，該方法顯着降低了局部變化的敏感性，并顯着提高了系統的校準。

Explicit Interaction Network for Aspect Sentiment Triplet Extraction Authors Peiyi Wang, Lianzhe Huang, Tianyu Liu, Damai Dai, Runxin Xu, Houfeng Wang, Baobao Chang, Zhifang Sui 方面情緒三重态提取Aste旨在識别目标，他們的情感極性和意見解釋句子的情緒。 Aste可以自然地分為3個原子子組織，即目标檢測，意見檢測和情緒分類。我們認為目标意見對組合組合，組成特征提取，以及子任務之間的互動将是成功的關鍵。然而，由于缺陷的子任務制定，子最優特征表示或缺少子任務互相作用，是以可能在一到一個情況下失敗，或者導緻的不存在情緒三元組。在本文中，我們将Aste劃分為目标意見聯合檢測和情緒分類子任務，這與人類認知符合，并相應地提出序列編碼器和表編碼器。表編碼器提取令牌對等級的情緒，進而可以容易地捕獲目标和意見之間的組成特征。要在子任務之間建立顯式互動，我們利用表格表示來指導序列編碼，并将序列功能注入到表編碼器中。實驗表明，我們的模型優于六個受歡迎的ASTE資料集的現有技術的狀态。

Learning to Rank Question Answer Pairs with Bilateral Contrastive Data Augmentation Authors Yang Deng, Wenxuan Zhang, Wai Lam 在這項工作中，我們提出了一種新穎且易于應用資料增強政策，即雙邊一代大，具有對比的教育訓練目标，用于提高具有現有标記資料的排名問題答案對的性能。具體而言，我們與具有兩個預訓練的生成模型的原始負QA對形成僞陽QA對相比，一個用于問題的一個問題，另一個用于答案生成，其在原始資料集中的有限正QA對上進行微調。使用增強資料集，我們設計了對比較的教育訓練目标，用于學習追逐問題答案對。三個基準資料集的實驗結果，即TREC QA，Wikiqa和Antique，表明我們的方法通過充分利用現有的标記資料來顯着提高排名模型的性能，并且可以輕松應用于不同的排名模型。

Extractive approach for text summarisation using graphs Authors Kastriot Kadriu, Milenko Obradovic 自然語言處理是一種重要的學科，目的是通過其數字代表了解文本，這是由于我們寫作和說話的多樣化，往往不夠準确。我們的論文探讨了不同的圖形相關算法，可以使用提取方法解決文本摘要問題。我們考慮兩個度假句重疊和編輯測量句子相似度的距離。

STEP-EZ: Syntax Tree guided semantic ExPlanation for Explainable Zero-shot modeling of clinical depression symptoms from text Authors Nawshad Farruque, Randy Goebel, Osmar Zaiane, Sudhakar Sivapalan 我們專注于探索零射擊學習ZSL的各種方法及其對挑戰性的最具挑戰性但重要的監督學習任務，令人挑戰的訓練資料稀缺，即抑郁症狀檢測來自文本的DSD。我們從練習臨床醫生開始綜合綜合我們的ZSL模組化和抑郁症狀樣本和抑郁症症狀線索策劃過程。我們接下來分析了各種狀态的ZSL模型的準确性及其任務的潛在增強功能。此外，我們繪制用于使用ZSL的基于分層文本的解釋機制的架構，我們調用，文法樹引導語義解釋步驟。最後，我們總結了我們得出結論，我們可以使用ZSL模型來實作合理的準确性和解釋性，通過提出的解釋性指數EI來測量。這項工作是我們的知識，在準确性和解釋性方面，首先要徹底探索ZSL模型對DSD任務的療效的效果。

Conversational Agents in Software Engineering: Survey, Taxonomy and Challenges Authors Quim Motger, Xavier Franch, Jordi Marco 通過專門的科學和工業研究，在人力計算機互動領域使用自然語言界面正在進行激烈的研究。該領域的最新貢獻，包括經常性神經網絡等深度學習方法，上下文意識政策和使用者中心設計方法的潛力，使社群的注意力引起了基于軟體的對話系統，通常稱為會話代理或聊天。盡管如此，并鑒于該領域的新穎性，一般上下文獨立于目前研究涉及所有研究視角的會話代理的目前研究狀态。本文通過了這種背景，通過對二次研究的系統文獻綜述報告了對會話試劑的目前研究狀态的調查。進行的研究旨在通過清楚地介紹近期文獻在各種領域，研究重點和背景下發表的彙總知識來發展詳盡的觀點。是以，本研究提出了對會話代理領域所涉及的不同次元的整體分類，這預計将幫助研究人員并為自然語言界面領域的未來研究奠定基礎。

Ad Text Classification with Transformer-Based Natural Language Processing Methods Authors Umut zdil, B ra Arslan, D. Emre Ta ar, G k e Polat, kr Ozan 在本研究中，提出了一種基于NLP的基于NLP的方法，為線上廣告平台上建立的廣告文本的扇區天際分類。我們的資料集包括來自12個不同部門的大約21,000個标記的廣告文本。在該研究中，使用來自變壓器BERT模型的雙向編碼器表示，它是最近用于自然語言處理文獻中的文本分類等字段中的變壓器的語言模型。使用預訓練的BERT模型獲得用于土耳其語的分類效率。

ArgFuse: A Weakly-Supervised Framework for Document-Level Event Argument Aggregation Authors Debanjana Kar, Sudeshna Sarkar, Pawan Goyal 大多數現有資訊提取架構Wadden等人，2019年Veysehet al。，2020，2020側重于句子級任務，幾乎無法從給定檔案捕獲綜合資訊。在我們的努力中，從冗長的文本記錄生成精确的文檔級資訊幀，我們介紹了資訊聚合或參數聚合的任務。更具體地，我們的目标是過濾在句子級别提取的無關和備援的參數提及，并渲染文檔級資訊幀。已經觀察到大多數現有的作品解決檔案級事件參數提取的相關任務yang等人，2018a zheng等人，2019a和突出實體識别Jain等，2020使用監督技術。要從大量标記資料中删除依賴性，我們使用弱監督技術探索資訊聚合的任務。特别是，我們介紹了一種帶有多個篩子的提取算法，它采用主動學習政策在低資源設定中有效地工作。對于此任務，我們已經注釋了我們自己的測試資料集，包括131個文檔資訊幀，并已釋出代碼和資料集，以進一步研究該新域中的研究前景。據我們所知，我們是第一個在英語中建立這項任務的基線結果。我們的資料和代碼是公開提供的

CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction Authors Tao Chen, Haizhou Shi, Siliang Tang, Zhigang Chen, Fei Wu, Yueting Zhuang 自DS首次引入關系提取RE任務以來，已啟動降低遠端監督DS生成教育訓練資料的噪聲的旅程。在過去的十年中，研究人員應用了多執行個體學習MIL架構，找到來自一包句子的最可靠的功能。雖然MIL袋的模式可以大大降低DS噪音，但它無法在資料集中代表許多其他有用的句子功能。在許多情況下，這些句子特征隻能通過額外的句子級别的人類注釋以沉重的成本來擷取。是以，界定監督的RE模型的性能被界定。在本文中，我們超越典型的MIL架構，并提出了一種新穎的對比執行個體，學習CIL架構。具體地，我們将初始密耳視為關系三重編碼器和每個執行個體的負對對的限制正對。實驗證明了我們提出的架構的有效性，并在NYT10，GDS和KBP上的先前方法進行了重大改進。

Pay Better Attention to Attention: Head Selection in Multilingual and Multi-Domain Sequence Modeling Authors Hongyu Gong, Yun Tang, Juan Pino, Xian Li 多頭注意每個注意力頭都收集來自輸入序列的不同部分的突出資訊，使其成為序列模組化的強大機制。多語言和多域學習是序列模組化的常見場景，其中關鍵挑戰是最大化正面傳輸并減輕跨語言和域的負面傳輸。在本文中，我們發現非選擇性關注共享是在所有語言和域中實作良好概括的次優。我們進一步提出了注意力共享戰略，以友善多語言和多域序列模組化參數共享和專業化。我們的方法自動了解不同語言和域的共享和專門的注意頭，以減輕其幹擾。在包括語音識别的各種任務中評估，文本到文本轉換文本和語音，所提出的注意力共享政策始終如一地帶來了基于多主題關注的序列模型。對于文本轉換的語音，我們的方法在多語言設定中平均超過13個語言方向，在多域設定中的2.0 bleu超過3個域中的2.0 bleu。

Empower Distantly Supervised Relation Extraction with Collaborative Adversarial Training Authors Tao Chen, Haochen Shi, Liyuan Liu, Siliang Tang, Jian Shao, Zhigang Chen, Yueting Zhuang 随着近期監督DS關系提取的進展，吸引了相當大的關注，以利用多執行個體學習MIL來從嘈雜的DS蒸餾高品質的監督。在這裡，我們超越标簽噪聲，并确定DS密爾的關鍵瓶頸，以至于其低資料使用率，作為MIL，MIL Abandons的高品質監督，大量的教育訓練執行個體，這導緻了低資料使用率和阻礙模型教育訓練從擁有豐富的監督。在本文中，我們提出了協作的對抗教育訓練來改善資料使用率，這些教育訓練在不同層次協調虛拟對抗訓練增值稅和對抗性訓練。具體而言，由于增值稅是免費的，我們使用執行個體級别增值稅，以回收由MIL放棄的執行個體。此外，我們在袋子水準上部署以釋放米爾的高品質監督的全部潛力。我們所提出的方法為先前的現有技術提供了一緻的改進5個絕對AUC分數，這驗證了資料使用率問題的重要性和我們方法的有效性。

Does Robustness Improve Fairness? Approaching Fairness with Word Substitution Robustness Methods for Text Classification Authors Yada Pruksachatkun, Satyapriya Krishna, Jwala Dhamala, Rahul Gupta, Kai Wei Chang 在跨越群組中減少模型結果中的差異的現有偏差減緩方法專注于資料增強，脫疊模型嵌入，或在教育訓練期間添加基于公平的優化目标。分别，已經開發了認證的文字替代穩健性方法，以減少雜散特征的影響和模型預測的同義替代。雖然他們的最終目标是不同的，但他們旨在鼓勵模型對輸入的某些變化進行相同的預測。在本文中，我們調查了經過認證的單詞替代穩健性方法的效用，提高了多個文本分類任務的賠率平等和機會平等。我們觀察到認證的穩健性方法改善公平性，并使用穩健性和偏置緩解方法在訓練中導緻兩端的改善

Out of Context: A New Clue for Context Modeling of Aspect-based Sentiment Analysis Authors Bowen Xing, Ivor W. Tsang 基于方面的情緒分析ABSA旨在預測關于給定方面的審查中表達的情緒。 ABA的核心是模拟上下文與給定方面之間的互動，以提取方面相關資訊。在現有工作中，通常采用注意機制和依賴性圖網絡網絡來捕獲上下文與給定方面之間的關系。而上下文隐藏狀态的權重和用作饋送到分類器的最終表示。然而，可以已經丢棄與給定方面相關的資訊，并且可以在現有模型的上下文模組化過程中保留不利資訊。此問題無法通過後續子產品來解決，并且首先存在兩個原因，它們的操作在編碼器生成的上下文隐藏狀态下進行，其值不能在編碼器第二之後改變，現有編碼器僅考慮上下文而不是給定的方面。為了解決這個問題，我們争論給定的方面應該被視為上下文中的上下文中的新線索。至于解決方案，我們根據不同的備份設計了幾個方面了解的上下文編碼器，這是一個方面感覺LSTM和三個方面感覺伯特。他們緻力于生成針對ABSA任務量身定制的Aspect Advine的隐藏狀态。在這些側面感覺的上下文編碼器中，給定方面的語義用于調節資訊流。是以，可以保留方面相關資訊，并且可以在生成的隐藏狀态中排除方面無關資訊。我們對具有實證分析的幾個基準資料集進行了廣泛的實驗，展示了我們所提出的方面了解的上下文編碼器的效率和優勢。

ROPE: Reading Order Equivariant Positional Encoding for Graph-based Document Information Extraction Authors Chen Yu Lee, Chun Liang Li, Chu Wang, Renshen Wang, Yasuhisa Fujii, Siyang Qin, Ashok Popat, Tomas Pfister 自然閱讀單詞對于資訊提取的單詞令人至關重要。盡管圖表卷積網絡GCNS在模拟了文檔的空間布局模式上進行了最近的進步，但它們具有有限的能力捕獲圖表中給定的單詞級節點表示的讀數訂單。我們提出閱讀訂單等級的位置編碼繩，這是一種新的位置編碼技術，旨在了解文檔中的單詞的順序呈現。繩索為相對于單詞級别圖連接配接而生成相對于目标字的鄰近單詞的獨特閱讀訂單代碼。我們研究了兩個基本的文檔實體提取任務，包括Word标簽和Word組在公共場所資料集和大規模支付資料集上分組。我們展示繩索一緻地改善了現有的GCN，其餘量高達8.4 F1得分。

Calliar: An Online Handwritten Dataset for Arabic Calligraphy Authors Zaid Alyafeai, Maged S. Al shaibani, Mustafa Ghaleb, Yousif Ahmed Al Wajih 書法是阿拉伯語遺産和文化的重要組成部分。它已被過去用于裝飾房屋和清真寺。通常，這種書法由具有審美識别的專家手動設計。在過去的幾年裡，通過拍攝裝飾建築照片或使用數字裝置繪制它們的照片來說，已經有很大的努力來數字化這種類型的藝術。後者被認為是一種線上形式，通過在螢幕上記錄裝置移動，電子筆來跟蹤圖形。在文獻中，有許多離線資料集與書法的多樣性。但是，沒有用于阿拉伯語書法的線上資料集。在本文中，我們說明了我們的方法，用于收集和注釋一個名為Carlar的阿拉伯語書法的線上資料集，其中包括2,500個句子。 Calliar是用于筆劃，字元，單詞和句子級預測的。

Challenges in Translation of Emotions in Multilingual User-Generated Content: Twitter as a Case Study Authors Hadeel Saadany, Constantin Orasan, Rocio Caro Quintana, Felix do Carmo, Leonardo Zilio 雖然情緒是普遍的概念，但從一種語言轉移不同的情緒色調對于人類翻譯者并不總是直接的，更不用說機器翻譯系統。此外，認知狀态是通過言語和文化環境的言語的口頭解釋來建立。有許多口頭背景，情緒的表達構成了消息的關鍵組成部分。這對于使用者生成的内容UGC尤其如此，它可以是産品或服務，推文或社交媒體文章的審閱的形式。最近，它已經成為多語種網站，如Twitter，提供了UGC的自動翻譯，以便到達他們的語言上不同的使用者。在這種情況下，翻譯使用者的情緒的過程完全自動，沒有人為幹預，既不用于郵政編輯也不是為了準确檢查。在這項研究中，我們評估自動翻譯工具是否可以是在使用者生成的多語言資料中傳輸情感的成功真實實用程式，例如推文。我們展示了語言現象特定的推特資料，在不同語言翻譯情緒中提出挑戰。我們在語言特征清單中總結了這些挑戰，并展示了這些功能的不同語言對的頻繁。我們還評估常用方法的能力，用于評估MT系統在源文本中儲存情緒的性能。

CPM-2: Large-scale Cost-effective Pre-trained Language Models Authors Zhengyan Zhang, Yuxian Gu, Xu Han, Shengqi Chen, Chaojun Xiao, Zhenbo Sun, Yuan Yao, Fanchao Qi, Jian Guan, Pei Ke, Yanzheng Cai, Guoyang Zeng, Zhixing Tan, Zhiyuan Liu, Minlie Huang, Wentao Han, Yang Liu, Xiaoyan Zhu, Maosong Sun 近年來，預教育訓練的語言模型PLMS的大小由跨越式和界限增長。然而，這些大規模PLMS的效率問題限制了其在現實世界場景中的使用率。我們為使用PLMS提供了一套成本有效的技術，以處理預教育訓練，微調和推理的效率問題。 1我們介紹知識繼承，通過利用現有的PLM而不是從頭開始教育訓練模型來加速預教育訓練過程。 2我們探讨了大規模PLMS及時調整的最佳實踐。與傳統的微調相比，提示調整顯着降低了特定參數的任務數量。 3我們實作了一個新推理工具包，即Infmoe，用于使用具有有限的計算資源的大規模PLM。基于我們的經濟高效的管道，我們預先教育訓練了兩個型号的編碼器解碼器雙語模型，具有110億參數CPM 2及其具有1980億參數的相應MOE版本。在我們的實驗中，我們将CPM 2與MT5進行了比較下遊任務。實驗結果表明，CPM 2具有優秀的普通語言智能。此外，當在單個GPU上導通具有數十億個參數的大規模模型的推動時，我們驗證了Infmoe的效率。所有源代碼和型号參數都可用

Do Encoder Representations of Generative Dialogue Models Encode Sufficient Information about the Task ? Authors Prasanna Parthasarathi, Joelle Pineau, Sarath Chandar 預測對話中的下一個話語取決于使用者輸入文本的編碼，以在資料驅動方法中生成适當和相關響應。雖然所生成的語言的語義和句法品質進行評估，但更頻繁地沒有評估輸入的編碼表示。由于編碼器的表示對于預測适當的響應是必不可少的，對編碼器表示的評估是一個具有挑戰性的重要問題。在這項工作中，我們展示了通過人工或自動度量生成的文本來展示不足以适當地評估對話模型的語言了解的聲音，并且為此，提出了一組探測任務，以評估不同語言編碼器的編碼器表示用于對話模型。從實驗中，我們觀察到一些探測任務更容易，甚至更加難以學習的複雜模型架構。并且，通過實驗，我們觀察到基于RNN的架構在文本生成的自動度量上具有比變壓器模型更好的性能，而是比探測任務的變壓器模型更好，訓示RNNS比變壓器更好地保持任務資訊。

A Brief Study on the Effects of Training Generative Dialogue Models with a Semantic loss Authors Prasanna Parthasarathi, Mohamed Abdelsalam, Joelle Pineau, Sarath Chandar 在對話任務中為下一個話語生成教育訓練的神經模型學會了解教育訓練集中的n克序列，其中教育訓練目标等負面日志似然Nll或跨熵。這種常用的教育訓練目标不會促進對上下文的替代響應。但是，最小化替代教育訓練目标的影響，促進模型以産生替代響應并在語義相似性上進行評分，并未得到很好地研究。我們假設語言生成模型可以通過學習在訓練期間生成替代文本來改善其分集，并将語義損失最小化作為輔助目标。我們探讨了在目标面向對話中的下一個話語一代的兩種不同大小的資料集上的這個想法。我們制作兩個觀察1最小化語義目标改進的響應中的語義目标改進的多樣性，但隻有與最小化的NLL中的較大資料集多個資料集多發2大語言模型嵌入式可以更有用作是作為初始化的語義損失目标更有用對于令牌嵌入。

Multi-Pair Text Style Transfer on Unbalanced Data Authors Xing Han, Jessica Lundin 文本樣式傳輸旨在通過釋放句子或在不改變内容的情況下将句子轉換為另一個域中的文本。通過必要的是，現有技術方法已經發展以适應非平行訓練資料，因為它經常有多種資料源的尺寸，具有标記和未标記的句子的混合。此外，每個源中定義的固有樣式可能是不同的。無論不同的組如何，通用雙向的正式風格傳輸可能對不同的應用程式不完全呈很好。在這項工作中，我們開發了一個任務自适應元學習架構，可以使用單個模型同時執行多對文本樣式轉移。所提出的方法可以自适應地平衡多個任務中的元知識的差異。結果表明，我們的方法導緻更好的定量性能以及相幹風格的變化。通過這種方法處理不平衡資料和不比對域的共同挑戰。

TweeNLP: A Twitter Exploration Portal for Natural Language Processing Authors Viraj Shah, Shruti Singh, Mayank Singh 我們呈現Tweenlp，一個停止門戶網站，組織Twitter的自然語言處理NLP資料并建構可視化和探索平台。它培養了來自各種NLP會議和一般NLP讨論的4月2021年4月2021年的推文。它支援多個功能，如TweetExplorer，以便通過主題探索推文，在整個組織會議周期内從Twitter活動中的洞察力，發現流行的研究論文和研究人員。它還建立了會議和研讨會送出截止日期的時間表。我們設想Tweenlp通過将關于與NLPExplerer Scientific文獻搜尋引擎的研究報告有關的推文來設計為NLP社群的集體記憶單元。目前系統托管在

JointGT: Graph-Text Joint Representation Learning for Text Generation from Knowledge Graphs Authors Pei Ke, Haozhe Ji, Yu Ran, Xin Cui, Liwei Wang, Linfeng Song, Xiaoyan Zhu, Minlie Huang 現有預先訓練的模型，用于知識圖形，将kg文本文本生成簡單地單調文本到文本預訓練模型，如kg上的kg或t5到文本資料集，這在很大程度上忽略了編碼期間的圖形結構，并且缺乏精心設計的預訓練任務以明确模型圖形文本對齊。為了解決這些問題，我們提出了一個名為ConnectGt的圖表文本聯合表示學習模型。在編碼期間，我們設計了一個結構意識的語義聚合子產品，該聚合子產品插入每個變壓器層以保留圖形結構。此外，我們提出了三個新的預訓練任務，明确提升圖形文本對齊，包括各個文本圖重建，并通過最佳傳輸在嵌入空間中的圖表文本對齊。實驗表明，ConnectGT在各種kg上獲得了新的最新狀态到文本資料集。

Transformers for Headline Selection for Russian News Clusters Authors Pavel Voropaev, Olga Sopilnyak 在本文中，我們探讨了用于對話評估的各種多語言和俄語預訓練的變壓器模型，用于對話評估2021在标題選擇上的共享任務。我們的實驗表明，組合的方法優于個性化的多語言和單語模型。我們展示了許多方法來獲得句子嵌入的方法，并在其中的頂部學習排名模型。我們分别達到87.28和86.60分别為公共和私人測試的準确性。

Hybrid approach to detecting symptoms of depression in social media entries Authors Agnieszka Wo k, Karol Chlasta, Pawe Holas 情緒和詞彙分析廣泛用于檢測抑郁或焦慮症。已經記錄了一個人與健康個體相比，人類使用情緒障礙的語言存在顯着差異。盡管如此，可以進一步提高這些詞彙方法的有效性，因為目前的分析側重于社交媒體條目的内容，而不是它們是如何寫的。在這項研究中，我們專注于這些短文本彼此相似的方面，以及如何建立它們。我們通過應用COLLGRAM分析來提出一種創新的抑郁篩查問題方法，這是從文本擷取語言資訊的已知有效方法。我們将這些結果與基于BERT架構的情感分析進行比較。最後，我們建立了一個混合模型，實作了71的診斷準确性。

A Condense-then-Select Strategy for Text Summarization Authors Hou Pong Chan, Irwin King 選擇然後壓縮是一種流行的混合，由于其高效率，文本摘要架構。此架構首先選擇突出的句子，然後獨立地将每個標明的句子融入簡潔的版本。但是，壓縮句子分别忽略文檔的上下文資訊，是以容易删除突出資訊。為了解決這個限制，我們提出了一種小說濃縮，然後選擇文本摘要的架構。我們的架構首先同時融入每個文檔句子。原始檔案句子及其壓縮版本成為提取的候選人。最後，提取器利用文檔的上下文資訊選擇候選者并将它們組裝成摘要。如果在冷凝期間删除突出資訊，則提取器可以選擇原始句子以保留資訊。是以，我們的架構有助于避免損失突出資訊，同時保留句子水準壓縮的高效率。在CNN Dailymail，Duc 2002和PubMed資料集上的實驗結果表明，我們的架構優于Select然後壓縮架構和其他強基線。

Enhancing Question Generation with Commonsense Knowledge Authors Xin Jia, Hao Wang, Dawei Yin, Yunfang Wu 問題生成QG是生成自然和文法問題，可以通過特定答案來回答給定的上下文。之前的序列序列模型遭受詢問高品質問題需要與背景的緻商知識的問題，這在大多數情況下無法直接從教育訓練資料學習，導緻剝奪了知識的不令人滿意的問題。在本文中，我們提出了一種多任務學習架構來引入問題生成過程的型号知識。我們首先從成熟資料庫中檢索相關的偶數知識三元組，并從源上下文中選擇具有轉換資訊的Triples。基于這些内容豐富的知識三元，我們設計了兩個輔助任務，将緻辭語言合并到主要的QG模型中，其中一個任務是概念關系分類，另一個任務是尾部概念生成。 Squad的實驗結果表明，我們的建議方法能夠顯着提高自動和人類評估名額的QG性能，證明将外部勤義知識與多任務學習結合在一起可以幫助模型産生人類的人類和高品質問題。

Process for Adapting Language Models to Society (PALMS) with Values-Targeted Datasets Authors Irene Solaiman 1 , Christy Dennison 1 1 OpenAI 語言模型可以産生有害和偏置的輸出并表現出不良行為。我們提出了一種将語言模型調整到社會PALM的過程，其中具有目标資料集，通過在反映預定的一組目标值集的資料集上制作和微調來顯着改變模型行為的疊代過程。我們使用三個名額定量度量評估我們的過程，該名額與人類評估，将争取遵守目标值，以及分析與給定社會類别相關的最常見詞的産出和定性度量的毒性評分。通過每次疊代，我們基于從評估的觀察到的缺點添加其他教育訓練資料集示例。與廣泛GPT 3語言模型大小的基線和控制模型相比，PALMS在所有名額上顯着更好地表現出廣泛的GPT 3語言模型尺寸，而不會影響能力完整性。我們發現PALMS的有效性随着模型規模而增加。我們表明，顯着調整語言模型行為與小型手腕的資料集是可行的。

Abstract Geometrical Computation 11: Slanted Firing Squad Synchronisation on Signal Machines Authors J r me Durand Lose, Aur lien Emmanuel 在蜂窩自動機上射擊隊心同步是有限許多細胞的動态同步，而無需任何先前的範圍。這可以被認為是具有無限速度的信号。大多數所提出的結構自然地轉換為信号機器的連續設定，并在空間時間圖中同步地産生分數圖，即在水準線上積累。在一系列名為Abstract Geometrical Computation的一系列文章中研究了信号機。

Toward Knowledge Discovery Framework for Data Science Job Market in the United States Authors Mojtaba Heidarysafa, Kamran Kowsari, Masoud Bashiri, Donald E. Brown 資料科學領域的增長需要更好的工具來了解這種快節奏的成長域。此外，來自不同背景的個體對職業科學家的職業生涯感興趣。是以，為個人群組織提供定量指南，以了解就業市場所需的技能至關重要。本文介紹了一個架構，用于分析美國中的資料科學相關工作的作業，同時提供通路該市場洞察的界面。所提出的架構包括三個子子產品，允許連續資料收集，資訊提取和基于Web的儀表闆可視化，以研究資料科學相關工作和技能的空間和時間分布。這項工作的結果顯示了資料科學工作的主要分支機構的重要技能，并試圖提供基于技能的基于技能的這些資料科學分支機構的定義。此應用程式的目前版本部署在Web上，允許個人和機構調查通過行業鏡頭進行資料科學職位所需的技能。

QuaPy: A Python-Based Framework for Quantification Authors Alejandro Moreo, Andrea Esuli, Fabrizio Sebastiani Quapy是一種用于執行量化A.K.A.的開源架構，在Python中編寫的監督普遍估計。量化是通過監督學習訓練量子的任務，其中量化是估計未标記資料樣本中感興趣類别的相對頻率A.k.a.的患病率值的預測因素。雖然通過将标準分類器應用于每個未标記的資料項來進行量化，并且計算已配置設定給每個類的資料項的數量，但已經證明了該分類和計數方法通過專門設計用于量化的方法優先表明。 Quapy提供了許多基線方法和進階定量方法的實作，用于定量導向模型選擇的例程，其中幾種廣泛的評估措施以及正常用于該領域的魯棒評估協定。 Quapy還使可用于測試量詞的可用資料集，并提供可視化工具，以促進結果的分析和解釋。該軟體是開源的，并通過BSD 3許可證公開提供

Leveraging Language to Learn Program Abstractions and Search Heuristics Authors Catherine Wong, Kevin Ellis, Joshua B. Tenenbaum, Jacob Andreas 歸納程式合成或從所需行為的示例推斷方案，為建立可解釋，堅固，更廣泛的機器學習系統提供一般範式。有效的程式合成取決于兩個關鍵成分，從中建構程式的強大功能庫，以及用于查找解決給定任務的程式的有效搜尋政策。我們介紹抽象和程式搜尋的LAP語言，一種使用自然語言注釋的技術，以指導圖書館的聯合學習和綜合搜尋模型。當內建到藝術庫學習系統的狀态DreamCoder時，即使在測試時間沒有自然語言提示，也會在三個域編輯，圖像構圖和抽象推理中提高搜尋效率和泛化的速度。

Understanding the Dynamics between Vaping and Cannabis Legalization Using Twitter Opinions Authors Shishir Adhikari, Akshay Uppal, Robin Mermelstein, Tanya Berger Wolf, Elena Zheleva 大麻合法化受到許多美國的歡迎，但其各州的作用在煙草E卷煙用作大麻嘔吐中的作用尚不清楚。同時，大麻吐溫與新的肺病和青少年使用升高有關。要了解大麻合法化對更新的影響，我們設計了一個觀察研究，估算了休閑大麻對e卷煙使用者職業大麻态度發展的因果關系。我們收集并分析了包含關于大麻和juul的意見的推特資料，這是一個非常受歡迎的電子卷煙品牌。我們使用弱監督學習為個人推文過濾和分類進行姿态檢測。我們發現，休閑大麻合法化政策對使用者已經贊成e香煙的使用者的态度的發展增加了影響。

Interventional Video Grounding with Dual Contrastive Learning Authors Guoshun Nan, Rui Qiao, Yao Xiao, Jun Liu, Sicong Leng, Hao Zhang, Wei Lu 視訊接地旨在從未定向于未經過時的視訊的時刻為給定的文本查詢本地化。現有方法更多地關注視覺和語言刺激的對齊，基于各種可能的比對或回歸政策，即p y x。是以，由于資料集的選擇偏差，這些模型可能遭受語言和視訊特征之間的虛假相關性。 1要揭示模型和資料背後的因果關系，我們首先從因果推斷的角度提出了一種新穎的範式，即介入視訊接地IVG，它利用後門調整來基于結構化因果模型SCM和DO COMPULUS PY來解除選擇偏置。做x。然後，我們提出了一種簡單但有效的方法來近似未觀察到的混淆，因為它無法直接從資料集中采樣。 2同時，我們介紹了一種雙重對比學習方法DCL，通過最大化查詢和視訊剪輯之間的互資訊MI來更好地對齊文本和視訊，以及在視訊中的目标時刻的開始結束幀之間的MI之間的MI來學習更多資訊資訊視覺表現。三個标準基準測試的實驗表明了我們方法的有效性。

TCIC: Theme Concepts Learning Cross Language and Vision for Image Captioning Authors Zhihao Fan, Zhongyu Wei, Siyuan Wang, Ruize Wang, Zejun Li, Haijun Shan, Xuanjing Huang 對圖像标題的現有研究通常代表使用具有低級别事實對象和關系的場景圖的圖像，并且無法捕獲進階語義。在本文中，我們提出了一個主題概念擴充圖像标題TCIC架構，其包含主題概念來代表進階跨子產品語義。在實踐中，我們将主題概念模拟為存儲器矢量，并提出具有主節點TTN的變壓器，以結合那些用于圖像标題的矢量。考慮到主題概念可以從兩種圖像和标題中學到，我們為基于TTN的表示學習提供了兩個設定。在視覺側，TTN被配置為将基于場景圖的特征和主題概念作為視覺表示學習的輸入。在語言側，TTN被配置為将标題和主題概念作為文本表示重新構造的輸入。兩個設定旨在使用相同的基于變壓器的解碼器生成目标字幕。在教育訓練期間，我們進一步調整從圖像和相應标題中學到的主題概念的表示，以強制跨派式學習。與藝術模型的某些狀态相比，Coco上的實驗結果表明了我們的方法的有效性。

Non-native English lexicon creation for bilingual speech synthesis Authors Arun Baby, Pranav Jawale, Saranya Vinnaitherthan, Sumukh Badam, Nagaraj Adiga, Sharath Adavanne 雙語英語揚聲器将英語交給他們的語言之一。他們的英語是一個非本土人，他們的對話是一種代碼混合方式。雙國文本到這種非母語揚聲器語音TTS系統的可懂性取決于捕獲非​​母語揚聲器使用的音素序列的詞典。然而，由于缺乏非原生英語詞典，除了母語詞典之外，現有的雙語TTS系統還聘請了廣泛使用的母語英語詞彙。由于文本中的音頻和母語英語詞位的非本地語音發音不一緻，是以這種TTS系統中合成語音的可懂度顯着降低。

Context-Aware Legal Citation Recommendation using Deep Learning Authors Zihan Huang, Charles Low, Mengqiu Teng, Hongyi Zhang, Daniel E. Ho, Mark S. Krass, Matthias Grabmair 律師和法官花費大量時間在起草決定時引用适當的法律權威。在本文中，我們開發了一個引用推薦工具，可以幫助提高意見起草過程的效率。我們教育訓練四種類型的機器學習模型，包括基于引用清單的方法協作過濾和三種基于上下文的方法文本相似性，Bilstm和Roberta分類器。我們的實驗表明，利用當地文本背景提高了建議，深度神經模型實作了體面的表現。我們表明非深度文本的方法從對結構化案例中繼資料的通路中受益，但是在從長度不足的上下文預測時，深度模型僅受益于這種通路。我們還發現，即使在廣泛的教育訓練之後，盡管其普及的好處，但羅伯塔也不會表現出反複性的神經模型。我們對Roberta模型的行為分析進一步表明，預測性能跨時間和引用類穩定。

Improving Compositional Generalization in Classification Tasks via Structure Annotations Authors Juyong Kim, Pradeep Ravikumar, Joshua Ainslie, Santiago Onta n 組成概括是通過組合已知元件來系統地拓展到新的資料分布的能力。雖然人類似乎具有概括方向性的能力，但藝術神經模型的狀态奮鬥這樣做。在這項工作中，我們研究了分類任務的組成概括并提出了兩個主要貢獻。首先，我們研究了将自然語言序列轉換為序列資料集到分類資料集的方法，該資料集還需要組成泛化。其次，我們表明，提供結構暗示，提供解析樹木和實體連結，因為變壓器模型的注意面罩有助于組成泛化。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩請移步首頁

pic from pexels.com