本期為TechBeat人工智能社群第456期線上Talk！
中原標準時間11月22日(周二)20:00，微軟亞洲研究院研究員——宋恺濤與南京大學碩士研究所學生——餘博濤的Talk将準時在TechBeat人工智能社群開播！
他們與大家分享的主題是: “面向文本/音樂序列任務的Transformer注意力機制設計”，屆時将分别講解在文本和音樂序列任務中的Transformer注意力機制設計，包括1）Transcormer，通過設計三流注意力機制（Triple-stream Self-attention）和滑動語言模型（Sliding Language Models）來實作高效的語言打分；2）Museformer，通過設計細粒度-粗粒度（Fine- and Coarse-Grained）結合的注意力機制以實作高效的音樂生成。
Talk·資訊
▼
主題：面向文本/音樂序列任務的Transformer注意力機制設計
嘉賓：微軟亞洲研究院研究員 宋恺濤
南京大學碩士研究所學生 餘博濤
時間：中原標準時間 11月22日 (周二) 20:00
地點：TechBeat人工智能社群
http://www.techbeat.net/
長按識别二維碼，一鍵預約TALK！
Talk·介紹
▼
Transformer憑借其強大的注意力機制，逐漸成為文本、語音、音樂、圖像等任務的通用模型結構。然而，在典型的序列任務中，Transformer的注意力機制還有比較大的提升空間，以實作高效的序列模組化。在本次talk中，我們将介紹在文本和音樂序列任務中的Transformer注意力機制設計，包括1）Transcormer，通過設計三流注意力機制（Triple-stream Self-attention）和滑動語言模型（Sliding Language Models）來實作高效的語言打分；2）Museformer，通過設計細粒度-粗粒度（Fine- and Coarse-Grained）結合的注意力機制以實作高效的音樂生成。
分享一
當下基于Transformer的語言模型是否已經能夠滿足自然語言進行中的所有任務？如何針對不同的任務來設計更加有效的語言模型呢？我們在NeurIPS 2022上針對語言評分這一任務特性，設計了一個全新的Transformer模型——Transcormer。該模型提出了一個全新的滑動語言模型，并設計了一種三流自注意力機制 。基于這樣的設計，Transcormer模型能夠在利用雙向資訊的同時，隻需要計算一次便可以得到每個單詞的機率分布。該方法在解決語言評估的任務上，具有更好的性能和更高的效率。
Talk提綱如下：
- 語言評分的任務定義
- 過去預訓練模型的優缺點
- 滑動語言模型的設計
- 實驗結果
- 工作總結
分享二
随着深度學習的快速發展，自動音樂創作成為新興研究方向。Transformer模型被應用于音樂生成任務中并取得良好效果，但長序列模組化（如何高效模組化通常長度超過10000的音樂序列）和音樂結構模組化（如何使生成的音樂具有更好的音樂重複結構）仍然是該領域的重大挑戰。是以，在NeurIPS 2022上，我們提出Museformer，它使用一種細粒度和粗粒度相結合的注意力機制來解決這些挑戰。
Talk提綱如下：
- AI+藝術
- 背景介紹：symbolic music，音樂生成中的挑戰
- Museformer模型和細-粗注意力機制的核心思想和具體設計
- 實驗和結果分析
- 總結
Talk·預習資料
▼
[1] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
[2] Improving Language Understanding by Generative Pre-Training
[3] XLNet: Generalized Autoregressive Pretraining for Language Understanding
[4] arXiv: https://arxiv.org/abs/2210.10349
[5] Demo: https://ai-muzic.github.io/museformer
[6] Code: https://github.com/microsoft/muzic
Talk·提問交流
▼
在Talk界面下的【交流區】參與互動！留下你的打call🤟和問題🙋，和更多小夥伴們共同讨論，被講者直接翻牌解答！
你的每一次貢獻，我們都會給予你相應的i豆積分，還會有驚喜獎勵哦！
Talk·嘉賓介紹
▼
宋恺濤
微軟亞洲研究院研究員
宋恺濤，微軟亞洲研究院。博士畢業于南京理工大學計算機科學與應用專業。研究方向為自然語言處理，包括機器翻譯，預訓練模型，語言生成等領域。在ICML、NeurIPS、KDD、ACL、IJCAI、ICCV、TIP、COLING、ICASSP、InterSpeech等頂級會議及期刊發表了多篇論文，其谷歌學術被引2200+餘次。他的多項研究成果應用在微軟的産品中。
個人首頁：
https://scholar.google.com/citations?user=LLk9dR8AAAAJ&hl=en
餘博濤
南京大學碩士研究所學生
餘博濤，南京大學碩士研究所學生，導師為胡偉副教授，正在尋求海外讀博機會。主要研究方向包含自然語言處理、AI音樂和深度學習。
個人首頁：
https://btyu.github.io/
長按識别二維碼，一鍵預約TALK！
-The End-
如果你也想成為講者
▼
自薦 / 推薦
單人Talk | 團隊專場 | 錄播or直播 | 閉門交流
多種方式任你選擇！
推薦講者成功也有獎勵哦~
關于TechBeat人工智能社群
▼
TechBeat(www.techbeat.net)隸屬于将門創投，是一個荟聚全球華人AI精英的成長社群。
我們希望為AI人才打造更專業的服務和體驗，加速并陪伴其學習成長。
期待這裡可以成為你學習AI前沿知識的高地，分享自己最新工作的沃土，在AI進階之路上的更新打怪的根據地！
更多詳細介紹>>TechBeat，一個荟聚全球華人AI精英的學習成長社群
點選“閱讀原文”，
⤵一鍵送你進入Talk頁面