語言是人與人交流的工具，也是網絡使用者與網際網路連接配接的方式。傳統人類寫作是以表達和傳遞為目的的對主觀和客觀世界的記錄，從日常生活到資訊、法律、辦公、金融等行業都有廣泛應用。進入到網際網路時代，資訊爆炸帶來了個人、企業、政府對網際網路語言文本處理的強大需求；同時，提升資訊生産速度、延展其覆寫面的需求也不斷增加。技術人員開始探讨如何讓機器輔助人類更高效、更準确地處理和分析資訊，随着自然語言處理（NLP）技術的不斷發展，讓機器生成有價值的資訊也成為可能。現今，「機器寫作」也已不僅僅是「可利用機器來完成寫作流程中的程式化環節」，近年自然語言處理模型性能的不斷突破，促使其從規則、模闆寫作發展到了以神經網絡模型為核心的「智能機器寫作」，從輔助記者創作逐漸走向自動化寫作，應用場景也從模闆化的資訊類資料報告，深入到分析報告、詩歌創作、長故事文本創作、廣告營銷文本寫作等更豐富、複雜的内容形式，貫穿資訊監管、素材采集、文本編輯、文本創作、修改優化到敏感資訊稽核等多項業務環節。
機器之心希望通過本報告《智能寫作：人工智能商業應用的制高點——智能寫作中人工智能技術的應用現狀及趨勢展望》，展示「智能寫作」産業全貌，為傳媒、企業服務、電商、廣告營銷、金融等行業資訊化與技術人員及從業者系統性展示 AI 技術應用可能性，同時通過對「智能寫作」領域頭部公司代表産品的技術應用思路的詳盡剖析與所對應細分市場競品的網羅式盤點，為自然語言處理技術領域的研究研發人員、軟硬體開發工程師、産品經理，提供技術研發、産品設計、産品商業化政策層面詳實的調研參考。
報告目錄
部分應用案例5.3 美團點評：資訊流摘要式文本寫作
主要産品：資訊流文本的創意優化
針對資訊流的落地場景，主要有三個功能：
- 可以針對某條分發内容自動摘要生成标題；
- 能生産有關單個商戶的一句話核心賣點描述；
- 生成完整的内容頁包括标題及多條文案的短篇推薦理由，進而實作線上點選轉化率的優化
盈利模式及盈利情況：尚未商業化應用案例及效果：
抽成式标題生成在 CTR/CVR/點選曝光量、人工檢驗通過率、效率優化都累計獲得了 10% 以上的提升。生成式方向探索過程中，對低質内容的标題生成，線上上獲得了接近 10% 的效果提升。
實際應用展示（來源：網絡公開資訊）
技術思路及主要技術：
1）資訊流标題生成：實際應用時，通過抽取和生成的協同使用來實作，主要方式是以業務效果為導向的偏工程化方法（生成内容即作為新增的候選集之一，參與整體的預估排序），另外一個是我們正在探索的一種 Copy 方法（對 Copy 和 Generate 機率做獨立模組化，其中重點解決在受限情況下的「Where To Point」問題。
- 抽取式标題思路及技術模型：源資料在内容中台完成可分發分析後，針對具體内容，進行系統化插件式的預處理，包括分句拼句、繁簡轉換、大小寫歸一等，并進行依存分析；而後将所有可選内容作品質評估，包括情感過濾、敏感過濾等通用過濾，以及規則判别等涉及表情、備援字元處理與文法改寫的二次基礎優化；在召回子產品中，通過實體識别+TF-IDF 打分等方式來評估候選内容标題基礎資訊品質，并通過門檻值召回來保證基礎閱讀體驗，進而避免一些極端的 Bad Case；最後，針對候選标題直接做句子級别的點選/轉化率預估，負責質感、相關性及最終的業務目标的優化。整個流程的基礎模型是 Bi-LSTM＋Attention 模型（輸入層是 PreTrain 的 Word Embedding，經過雙向 LSTM 給到 Attention 層，Dropout 後全連接配接，套一個交叉熵的 Sigmod，輸出判别），模型既可以對整句序列做雙向語義的模組化，同時可以通過注意力矩陣來對詞級進行權重。在它的基礎上，嘗試添加過 ELMo 的 Loss，在模型的第一層雙向 LSTM 進行基于 ELMo Loss 的 Pre Train 作為初始化結果，線上上名額也有小幅的提升。而在原文受限問題上，則通過深度模型來表征深層的語義，輔以更多的特征工程來表征使用者能感覺到的淺層資訊，如屬性、Topic 等。在效率上，采用了谷歌的自注意力的機制來替換 RNN-LSTM 的循環結構，解決原文表征訓練效率和長依賴問題。
2 大技術關鍵點——在标題創意度衡量上，重點對語義＋詞級的方向上來對點選/轉化率做模組化，同時輔以線上 E&E 選優的機制來持續擷取标注對，并提升線上自動糾錯的能力；在受限上，抽象了預處理和品質模型，來通用化處理文本創意内容的質控，獨立了一個召回子產品負責體驗保障。并在模型結構上來對原文做獨立表示，後又引入了 Topic Feature Context 來做針對性控制。進而在降低「标題黨」機率的同時提高内容相關性。
- 生成式标題思路及技術模型：為了保證控制和泛化性，初期将标題剝離原文獨立模組化，通過 Context 銜接，這樣能引入更多的非标資料，并在逐漸完成積累的情況下，才開始嘗試做原文的深度語義表示。除了嘗試目标單獨模組化和結合原文模組化的過程，在描述的泛化性方向也做了不少的嘗試，比如盡可能地描述廣而泛主題。諸如「魔都是輕易俘獲人心的聚餐勝地」，因為隻面向上海的商戶，内容符合聚餐主題，泛化能力很強，但仍然不能作為一個普适的方案解決問題。這個功能主要應用的是 RNN-Base 的 Seq2Seq 模型的整體結構。Encoder 端使用的資料包括基于原文和商戶了解的主題表示和原文的雙向語義表示，輸出給注意力層。技術團隊借鑒了 NMT 的一部分研究思想，調整了 Transformer 的結構，在原結構上額外引入了 Context Encoder，并且在 Encoder 和 Decoder 端加入了 Context 的 Attention 層，來強化模型捕捉 Context 資訊的能力。Decoder 端生成文本時，通過注意力機制學習主題和原文表示的權重關系，進而生成文案。
- 業務導向的文本生成目标：營銷類文本的評價模式是業務相關的點選率，但是這與語言模型最終産出最小化 Word 級别的交叉熵 Loss 的目标不一緻，是以在具體落實時，通過三個方向解決問題：第一是在 Context 中顯式地标注抽取式模型的 Label，讓模型學習到兩者的差異；第二是在預測 Decoder 的 Beam Search 計算機率的同時，添加一個打分控制函數；第三則是在訓練的 Decoder 中，建立一個全局損失函數參與訓練，類似于 NMT 中增加的 Coverage Loss。考慮到穩定性和實作成本，最終嘗試了第一和第二種方式。
- 标題 E&E 機制：采用一種 Epsilon Greedy 政策來持續擷取标注資料，并提升線上自動糾錯的能力。這個政策類似經典的 Epsilon 算法，差別是引入創意狀态，根據狀态将 Epsilon 分成多級。目的是将比較好的創意可以配置設定給較大機率的流量，而不是均分，差的就淘汰，以此來提升效率。在初期優化階段，這種方式發揮了很大的作用。具體根據标題和圖檔的曆史表現和預設相比，将狀态分成 7 檔，從上到下效果表現依次遞減，流量配置設定比例也依次降低，這樣可以保證整個系統在樣本有噪音的情況下實作線上糾偏。
2）商戶文案生成：
文案生成和标題生成能夠通用整體的生成模型架構，最大差別是由文案的載體"商戶"所決定。為了保證産出的文本的準确性和品質，在輸出端需要進行解碼控制。一是通過建構機制來讓模型自己學習到目标，二是在 Decoder 的 Beam Search 階段動态地加入所需的控制目标。主要有賣點控制、風格控制、多樣性控制控制等控制方法。
- 賣點控制：在 Hard Constrained 方面，整理了重要的賣點和實體如地域、品類等，在目标了解過程中直接加入 Context。對于 Soft Constrained，通過賣點的共現計算一個簡單的條件機率，并将賣點依此條件機率随機添加進 Context 中，進而讓模型通過注意力學習到受限關系。最後在 Decoder fuction 部分，新增了一個 Hard&Soft Constrained 的比對打分項，參與最終的機率計算。
- 風格控制：實作方法和賣點控制非常相似，隻是風格其實是通過不同内容之間的差異來間接進行實作的。比如大衆點評頭條、PGC 類的内容與 UGC 類的的寫作風格，就存在極大的差異。内容屬性的差異可作為一個 Context 的控制信号，讓模型捕獲。
- 多樣性控制：自然語言生成模型選取輸出文本時通常優先考慮機率最大的序列，并不考慮多樣性，而多樣性又是自動生成營銷性文本最需要解決的問題。對此，大衆點評直接對全局結果進行優化，在預測時把一個聚合頁 Context 放到同一個 batch 中，batch_size 即為文案條數，對已經生成序列上進行實體重複檢測和 n-gram 重複檢測，将檢測判重的加一個懲罰性打分，這個簡單的思想已經能非常好的解決多樣性問題。
其他同類産品概述（營銷行業）：
營銷行業的人工智能寫作産品主要應用在 SEO 廣告、資訊流廣告、郵件廣告及電商産品介紹中，相比資訊類産品而言，營銷類産品更需要解決的是内容個性化的問題，實作根據地點、使用者特點、品牌形象的個性化，以及對文章進行多種風格的改寫就成了主要的方向。對這一領域的探索集中爆發在 2018 年，但是國内對營銷類寫作産品展開研發的主要是與電商相關的上市網際網路公司如阿裡、京東、大衆點評，百度。百度最先開始結合人工智能技術與大資料，開發生成方案的工具，但是在兩年的嘗試後轉向了輔助資訊寫作。而國外對營銷廣告工具開展研發的則主要是第三方廣告及技術服務商，這類公司大多都獲得了投資并有了比較完善的盈利模式。SEO 廣告領域，Articoolo 的産品使使用者能針對一個主題生成多篇不同風格的文章，主要模式是進行原創撰寫或改寫，除了能為有 SEO 廣告和内容營銷需求的客戶定制服務之外，還針對個人使用者提供按篇銷售的收費模式。Dentsu Aegis Network 的項目 Leo 專門根據谷歌廣告系統針對性地生成 SEO 文案，在具體案例中，可以實作單次點選成本降低 30%-42% 的情況下，廣告點選率提高 3 到 10 個百分點。2018 年創立的微思寫作除了基礎的糾錯、預測寫作功能，也針對網站 SEO 優化、軟文推廣、自媒體創作等領域研發了智能仿寫工具，對文章進行重寫。藍色光标子公司捷報資料研發的妙筆機器人，可以在 1 秒内改編出數千篇新聞稿，保證中心内容不變并且根據不同傳播管道特性變換風格，自動插入相關圖檔、商品連結、名詞解釋和延伸閱讀。通過搜尋引擎的稽核标準和評判原則對内容和結構進行改進、改編出内容标題與原文相似度極低的 seo 稿件，提高稿件在搜尋結果中的排名，進而提高釋出稿件的通路量。并且能監督品牌傳播效果，針對内容閱讀互動、網站流量、粉絲量的增長，以及使用者關注或流失的原因、促成留存轉化的關鍵點等等進行分析，不斷調整政策。除此之外，該機器人還能「蹭熱點」，由輿情機器人判斷新聞的調性是正面還是負面，進而選擇采納與否，再對分析主體、比對圖檔、名詞解釋、定義标簽等常用傳播點進行分析，在這之後，妙筆推薦出關鍵資訊點比對的熱點新聞，并對原文内容的每個段落比對進行分析，在合适位置插入熱點新聞資訊，進而成功「蹭」到熱度。Phrasee 專注解決電子郵件營銷優化的問題。
一鍵點選就可以生成數百萬種像人類語言的、符合品牌要求的文本變體。該産品會檢視廣告創作者在過去 12 個月裡使用的所有營銷文案的表現，通過 NLG 處理技術，着眼于數千種語言特征。它的神經網絡知道廣告閱聽人會對什麼樣的情感、文體學和詞彙的組合做出反應，進而識别出帶來更好結果的個别政策。該公司通過「定制語言模型」來适應特定品牌的形象，以保證文本和品牌形象是相關的，并且支援多國語言生成。主要行業包括零售，旅遊和度假，電信和金融服務。三年裡，為 Virgin Holidays 活動生成的人工智能電子郵件主題欄的表現一直好于人工撰寫的主題欄。電子郵件營銷管道收入大幅增長，相當于數百萬英鎊，用于 Gumtree 網站後，點選量增加 35%-50%，幫助 superdry 增加 26% 點選率，幫助 wowcher 降低 31% 的單人成本，幫助 Dominos 實作了驚人的 753% 的投資回報率，此前該公司利用 Phrasee 的 ai 生成的電子郵件主題行，實作了 57% 的電子郵件打開率增長。近期，該公司又針對 Facebook 和 Instagram 的資訊流模式推出了新工具。
Persado 主要關注線上廣告。已經進行了 4000 次活動，平均轉化率提高了 49.5%。他們利用世界上最全面的營銷語言知識庫，擁有超過 100 萬個标記和評分的 25 種語言的單詞，短語和圖像。通過将單詞與資料相結合，Persado 将營銷創意分解為六個關鍵要素，然後對數千種潛在的消息組合進行實驗，以生成效果最佳的内容。可以實作 25 種語言生成 AI 驅動的廣告素材、情感語言個性化、品牌定制、針對廣告分發平台的定制、風格定制、付費社交廣告的即時文本和圖檔生成、使用者情緒洞察和反應資料、廣告效果報告和廣告管理等，涉及行業包括金融服務、旅行和酒店、電信技術和消費者服務。目前使用者超過 250 家，平均點選率提升 68％，平均轉換率提升 76％。目前獲得融資 6600 萬美元。
京東和阿裡對文案的嘗試都集中在各自電商平台上的商品文案優化上，試圖通過為内部商家提供高效高品質的智能文案，來降低商家創意成本，提升平台内容品質。京東研發了李白寫作和莎士比亞兩個産品，李白寫作通過關鍵字輸入可一秒生成上萬條相關文章或者素材語句，為電商平台輸出高品質的商品特點介紹，詳細說明，促銷語，導購文章，評測文章等内容，打造豐富的營銷生态體系，也能為資訊平台量身定制不同類型的文章，如快報，評測，知識百科等，還具備寫詩能力。被應用到京東發現好貨，會買專輯、千人千面、7Fresh 等頻道的内容寫作。據悉，在李白寫作上線短短數月，已取得每日發稿超千篇、累計引入訂單超過萬單，為發現好貨、會買專輯等頻道帶來了數千萬 GMV 的銷售業績。莎士比亞系統在借鑒傳統 NLG 和語言模型方法的基礎上，基于該平台自身在商品标簽和搜尋資料庫層面積累的大資料，從句子層面做結構解析、訓練模型和語言生成，進而能夠一秒鐘「吐」出千條文案，并根據使用者不同的需求自主選擇各類行文風格。且可以根據使用者矯正行為，實作機器自己優化算法。比如自動「記憶」使用者選擇及未選擇的文案，在下次類似檢索時進行優先級排序，也會記錄使用者的修改以改善下次的文案品質。2019 年，京東整合了此前莎士比亞和李白京東兩大 AI 智能文案系統，并增加了對視訊内容智能創作的支援，形成了覆寫文案、圖像、視訊處理等多種内容創作的綜合性智能創作平台「AI 閃電」。阿裡釋出的「AI 智能文案」産品順利通過了圖靈測試，該産品結合淘寶、天貓的海量優質内容與自然語言算法，主要聚焦于商品文案，已經實作了三項核心能力——高度模拟人寫文案（提供描述型、特價型、逗趣型等多種文案寫作風格）、自由定義字數、實時線上樣本學習。其背後的技術邏輯，是基于深度神經網絡的 sequence2sequence 模型，融合了注意力機制、位置編碼、copy 機制等，實作對商品逐次生成文案。具體的生成流程是，阿裡媽媽的 AI 智能文案首先從上億幾乎覆寫了淘寶所有類目和商品的文案樣本中，清洗出數百萬規模的高品質訓練樣本。再通過對位置資訊進行編碼，改變每個詞生成時的機率分布，實作長度可控。最後，結合品質控制模型，拟合人對生成結果的判斷。随着資料的不斷積累，品質控制模型對結果的判斷會更加準确，同時可以更好地指導生成網絡的疊代。以最基礎的短标題文案為例，阿裡媽媽「AI 智能文案」的生産能力已達到 1 秒 20000 條。