喜歡我們，點選上方AINLPer，關注一下，極品幹貨即刻送達！
引言
本次給大家分享的是今年騰訊微信AI團隊入選ACL的兩篇文章，第一篇文章主要是針對中文詩歌生成的問題，介紹中文現代詩歌生産的修飾控制編碼器，該編碼器具有隐喻、拟人化等修辭功能。第二篇文章主要是針對遞歸神經網絡RNNs在全局資訊模組化上的不足，提出了一種全局上下文增強的深度轉換架構（美其名曰：GCDT）。其在NER、Chunking上都得到了比較好的結果。
本文概要
1
First Blood
2
Double Kill
3
Aced
4
Attention
正文開始
1
First Kill
TILE: Rhetorically Controlled Encoder-Decoder for Modern Chinese Poetry Generation
Contributor : WeChat AI（微信AI團隊）
Paper: https://www.aclweb.org/anthology/P19-1192
Code: None
文章摘要
為了将修辭學應用到中文漢語詩歌的生成上，本文提出了一種用于現代漢語詩歌生成的修辭控制編碼器。我們的模型依賴于一個連續的潛在變量修辭控制器在編碼器中捕獲各種修辭模式，然後結合基于修辭的混合物，生成現代漢語詩歌。在隐喻、人格化、自動化的評估方面，我們的模型相比于最先進的基線具有很大的優勢，并且人工評估顯示，我們的模型生成的詩歌在流暢性、連貫性、意義和修辭美學方面都優于基本方法。
本文三大看點
1、提出的第一個同時使用隐喻和拟人産生現代中國詩歌的作品，并且在提高詩歌美學方面具有很強的優勢。
2、提出了一種新穎的隐喻和拟人生成模型。
3、大量的實驗表明，我們的模型在自動評估和人工評估方面都優于目前的水準
修辭模型介紹
在介紹模型之前，我們首先形式化生成任務。輸入是K個使用者提供的關鍵字
來指定的詩歌主題。期望輸出是由n行
組成的一首詩。因為我們采用sequence-to-sequence架構和生成一個逐行詩,這個任務可以扮演一個文本生成,需要重複一行一行的輸出，行與行之間具有連貫性且與主題相關，即要考慮到之前
行
和主題關鍵詞
。為了控制修辭模式，修辭标簽r可以作為使用者的輸入，也可以作為基于上下文的自動預測值。是以，詩歌行生成的任務可以形式化如下：
如上所述，将修辭模型融入到詩句中，需要控制修修辭模型的使用方式以及記憶語境主題資訊。為此，我們首先提出了兩種條件可變的自編碼模型來有效地控制什麼時候生成修辭格句子，以及使用哪種修辭格模式。第一個模型是手動控制CVAE模型(MCCVAE)。它接收使用者的輸入信号作為修辭來生成詩歌中的目前句子，用于使用者可控制的詩歌生成任務。第二種模型是自動控制CVAE (ACCVAE)，它自動預測什麼時候使用合适的修辭形式，并根據上下文資訊生成目前的句子。整體的模型架構如下圖所示：
針對上圖，作者對手動控制CVAE模型(MCCVAE)、自動控制模型CVAE (ACCVAE)、主題記憶元件、修辭控制編碼器做了詳細的公式推導和介紹，有興趣的小夥伴可以下載下傳論文看一下。
主要實驗結果
機器評估結果對比：
人工評估結果對比：
實際生産效果對比：
2
Double Kill
TILE: GCDT: A Global Context Enhanced Deep Transition Architecture for Sequence Labeling
Contributor : 北京交通大學&&微信AI團隊
Paper: https://arxiv.org/pdf/1906.02437.pdf
Code: None
文章摘要
目前最先進的序列标記系統通常基于遞歸神經網絡(RNNs)家族。然而，RNNs連續隐藏狀态之間的淺連接配接和全局資訊模組化的不足限制了這些模型的潛在性能。在本文中，我們試圖解決這些問題，并是以提出了一個全局上下文增強的深度轉換架構，用于序列标記GCDT。我們在句中的每個位置加深狀态轉換路徑，并進一步使用從整個句中學習到的全局表示來配置設定每個标記。在兩個标準序列标記任務上的實驗表明，在隻給出訓練資料和單詞嵌入(Glove)的情況下，我們的GCDT在CoNLL03 NER任務上取得了91.96 F1的成績，在CoNLL2000分塊任務上取得了95.43 F1的成績，在相同的設定下，GCDT的表現優于最佳報告結果。此外，通過利用BERT作為一個額外的資源，我們得到了最好的結果，在NER上的結果是93.47 F1以及在Chunking上的結果為97.30 F1。
本篇文章三大看點
1、首先介紹了用于序列标記的深度轉換體系結構，并在句子級别使用全局上下文表示(GCDT)進一步增強了它。
2、在NER和Chunking這兩個主要任務上，GCDT的性能顯著優于以前的系統。此外，通過利用BERT作為額外資源來增強GCDT，我們報告了這兩個任務的最新進展。
3、對GCDT中的全局上下文表示、模型複雜性和各種元件的影響進行了詳細的研究。
GCDT模型介紹
整體的GCDT結構圖如下圖所示：
Token Represention
給定一個句子
使用N個token，我們的模型首先通過連接配接三個主要嵌入來捕獲每個token表示
1、其中字元級嵌入
是由卷積神經網絡實作的
2、從Glove2初始化的查找表中得到預先訓練的詞嵌入
3、全局上下文嵌入g是從雙向DT中提取。
全局嵌入g是通過全局上下文編碼器的所有隐藏狀态
上的平均池計算得到的(圖1中右側部分)。為簡便起見，我們可以将“DT”作為增強門控遞歸單元(GRU Chung et al.， 2014)，關于DT的更多細節将在下一節中描述。是以g的計算如下:
序列标簽編碼器
然後，将連接配接的token嵌入
輸入序列标記編碼器中。
序列标簽解碼器
考慮到這句話中的第t個單詞，将序列标記編碼器
的輸出以及過去嵌入
的标簽的輸出輸入解碼器，然後将解碼器
的輸出轉換為
，在标簽詞彙表上進行最終的softmax。在形式上，将單詞
的标号預測為機率方程。
從上面的過程和結構圖可以看出，GCDT首先沿着順序軸用DT編碼全局上下文，用于豐富token表示。在每個時間步，我們使用序列标記解碼器聯合編碼過去的标簽資訊，而不是求助于CRF。此外，我們使用波束搜尋算法來推斷測試時标簽的最可能序列。
主要實驗結果
在CoNLL03上面的結果：
在CoNLL2000 Chunking Task上的結果：
3
Aced
如果論文你不友善一篇一篇的下載下傳，你還可以直接通路我的GitHub直接下載下傳所有文章位址：
https://github.com/yinizhilian/ACL_Paper
Attention：歡迎關注AINLPer微信公衆号，了解更多最新的關于深度學習、自然語言處理相關的知識。