陸小華（天津大學新媒體與傳播學院院長，講席教授；天津大學網絡空間國際治理研究基地負責人；本刊學術顧問）
來源：《青年記者》2023年第17期
導 讀 人工智能根據人類提示直接生成的内容進入傳播，推動智能傳播走向新階段，多模态傳播成為重要傳播模式。傳播模式正在發生複雜多樣變化
與傳播有關的基礎技術不斷發展，推進新舊媒體代際更替的同時，也産生了不同的傳播模式，如報紙雜志與印刷傳播、廣播電視與電波傳播、網際網路與網絡傳播、移動平台與移動傳播、推薦算法與智能傳播，等等。
換一種次元解剖數字變革中傳播模式的變化，就會發現現實傳播世界中還存在其他傳播模式，如多模态傳播，展現着新媒體傳播的特殊規律與底層邏輯，對現實傳播活動産生了巨大影響，成為智能傳播新階段傳播力、影響力、引導力的重要制約因素和推動力量。
智能内容生成技術的發展和其根據人類提示直接生成内容進入傳播的特點，使智能傳播走向新階段，人工智能輔助人類生産、分發的内容，和人工智能直接生成的内容開始共同影響人。以往新聞傳播學綜合文本、圖像、視訊等内容形态所概括的多媒體内容概念以及相應的傳播規律，難以概括今天和今後的現實。因而，應當借用人工智能所使用的“多模态”概念，一方面，以多模态傳播來認識展現智能變革中颠覆式創新的傳播模式，加深對多模态傳播規律的認識；另一方面，基于深化對監管規則和協同治理格局的認識，提升有效運用多模态傳播的能力。
多模态傳播，是适應智能變革的颠覆式創新傳播方式。智能傳播階段，人工智能直接生成的内容已經進入傳播，不僅可以根據人類的提示生成報告、方案、詩歌、綜述等文本性内容，生成代碼、網頁、資料分析等數字内容，還可以生成圖檔、視訊等多媒體内容。随着生成式AI技術的發展，人工智能未來還可能根據人類提示或其他方式的指令，直接生成其他形态的内容，甚至會有一些今天我們不視其為内容的“内容”。更重要的是，這些“内容”也可能進入傳播，成為影響人類資訊擷取、知識萃取、觀點表達、意識形成的重要力量。是以，從技術與内容相結合的視角，從傳播模式演化走向、演化規律的角度來看，多模态傳播已經到來，并正成為決定傳播力、影響力的重要因素。
要把握傳播規律，實作更有效傳播，就不能僅從技術次元認識傳播模式變化，不能僅從印刷傳播、電波傳播、網絡傳播等的遞進把握傳播規律，還應從數字變革、智能變革中傳播底層邏輯變化所實際存在的傳播模式變化來認知和把握。需要以新的眼光和思維重新認識、體悟這個時代的傳播規律與競争模式，相應調整自己的思維方式與行為方式。
多模态内容與多模态傳播在人工智能領域，多模态指對文本、圖像、語音等異構模态資料的感覺、識别、處理、了解、協同推理，進而更準确地了解外部世界。
多模态傳播中的多模态内容，至少包括九類：一是融合傳播理念中把文本、圖檔、圖表、視訊、語音、表情包等融為一體的融合性内容；二是提供資訊流、儀式感、互動性的廣播電視機構的專業直播，充分融合各種新媒體表達手段的新媒體直播和個性鮮明的手機直播；三是具有可聽、可視、可互動、可感受、可體驗、可分享諸種特性的新形态内容；四是基于資料挖掘的資料可視化内容；五是基于線上資料庫平台的資料集和資料流内容，如路透、彭博的金融資訊服務系統；六是展現新媒體理念、處理方式和表達邏輯的資料産品，如把疫情資料與位置相關聯、自動抓取更新、釋出後再稽核校正的約翰斯·霍普金斯大學的“全球疫情地圖”；七是各種可帶來沉浸式體驗的技術手段如VR等使用、傳播的互動性内容；八是基于深度學習、虛拟現實等生成合成類算法制作的文本、圖像、音頻、視訊、虛拟場景等内容；九是基于多模态大模型的智能内容生成工具、應用等直接生成的内容。
多模态傳播，即包括人工智能在内的數字技術和應用輔助數字内容生産所生産的内容和生成式人工智能所生成的内容，在推薦算法等助力下進行傳播的傳播模式。與智能傳播相比，多模态傳播不僅關注基于資料分析、算法推薦的智能傳播的特點、規律、方法，更關注深度合成技術、智能内容生成技術生成的多模态内容的傳播特性、傳播規律、傳播方法、傳播模式。
從融合移動傳播走向多模态傳播在新聞傳播各環節探索運用人工智能，是正在迅速發展的人工智能新技術新應用催生的變化。
從借助短信發送新聞而使短信演變為第五媒體開始，移動需求成為第一需求，移動傳播成為傳播的主要特征。随着數字技術應用于内容采集、生産、制作、分發，傳播從以文字表達為主的抽象傳播，走向更多借助視訊、圖檔、圖表的具象傳播。數字技術引發的變革，“有圖有真相”等傳播效應，加速了文字、圖檔、圖像等多種内容形态、表達方式的結合乃至融合，并在移動傳播中充分展現，進而形成既融合多媒體内容又展現移動傳播要求的融合移動傳播形态。
在數字技術推動下，傳播形态已經演變為融合移動傳播，即既是移動的，也是融合的，兩者在新的層面已經以新的邏輯結合。是以，任何媒體、傳播者的傳播活動都面臨新的競争環境，有新内涵與新競争邏輯。它表現在以下四個方面。
一是技術條件、社會發展改變了專業傳播者的生存環境與競争邏輯
一些媒體目前還較多停留在傳統營運形态，就是因為沒有看到競争邏輯變化。科技改變生活是我們面臨的基本社會現實，每一個人今天都在通過手機擷取資訊，其心理結構和資訊判斷方式發生了根本性變化。移動網際網路高度滲透在社會各個層面，忽略了這點，就忽略了所面臨的基本外在環境。
二是群體行為、閱聽人需求改變了傳播路徑與影響邏輯
内容産品品質與閱聽人觀看動力之間的關系非常值得研究。如果以新的眼光看電影和電視劇的傳播就會發現，盡管電影電視劇本身是内容入口，但是決定人們看不看這部電影電視劇的資訊傳遞方式、傳播路徑已經發生根本性變化。當年《流浪地球》從原來的排片靠後逆勢上行，靠的就是移動獲知。移動獲知、大屏觀看、社交認同、共情驅動，這四點決定了當今影視劇的基本傳播路徑。共情驅動帶來了新的觀衆群。而一些影視劇的傳播總體上還停留在通過制造話題、做一點劇透引發人們的觀看興趣。如果影視劇的基本傳播架構和傳播邏輯不改變，就很難赢得較大觀衆群體。許多品質不錯的電視劇、電影的收視率、票房不如預期，就與此有關。
三是影像傳播正在向多資訊次元影像傳播轉變
我們讨論視訊時一般習慣于将其分為長視訊、中視訊、短視訊。在融合移動傳播條件下，看待視訊的眼光和思維方式如果隻是影像長短，不考慮叙述邏輯和多資訊次元，就不能适應數字變革中的技術條件和閱聽人需求。今天，電視機構、視訊制作機構所生産内容的構成正在發生變化，不僅更注重傳播價值，而且更注意提供知識性、方法性内容，這是激烈競争中的傳播主體謀求新競争優勢的一種選擇。目前，視訊内容産品制作應該更注重尋找價值點和切入點，探求與閱聽人需求之間的共鳴點，最終找到與閱聽人價值觀的共振點。把握這四點來處理影像本身的叙述邏輯，才能受到閱聽人歡迎。
四是内容想象、多元互動拓展專業傳播的内涵和創意邏輯
如果把影視劇的傳播視為一種專業傳播，其内涵及創意邏輯都已經發生了重要變化。以科學傳播為例，今天的閱聽人希望看到的并不僅是現有科學知識的影像化和知識化普及，更是能夠刺激想象力、好奇心，滿足人們探索未知、探索未來之需求的内容。今天科學傳播必須有人文價值支撐，必須既有溫度也有硬度。是以，科創、科技和科幻類的作品、節目就變得更受人們歡迎。這種分析架構同樣可以适用于其他領域。
五是推動發展、造福人類的追求拓展了内容産品的表現空間和叙述邏輯
中國已經越來越走向世界舞台中心，中國閱聽人的視野比以往更加寬廣。是以，内容生産要更加考慮國際國内傳播要求的打通和适用，不僅要表達自己，還要展現出交流互鑒、分享知識、增進了解和深化認識的意願。《哪吒》的成功是以全球視野重新發掘了中華民族文化符号，北京冬奧會吉祥物“冰墩墩”也是以新的眼光重新打造了經典的中國元素之一熊貓。這些成功的案例提醒我們今天要如何處理全球化與民族特色之間的關系，也提醒我們如何把握本地内容與全國傳播、廣域傳播、全球傳播之間的關系。不僅要善于講中國故事，還要善于講文明互鑒故事，這才是向世界講好中國故事的重要切入點之一。
更重要的是，要從融合移動傳播走向多模态傳播，走向内容與數字科技的新形态結合，以更适應新媒體傳播底層邏輯的變化規律。這就需要準确把握數字科技發展的新趨向，以更強的科技思維和對數字科技路線的把握，特别是對可用技術及其帶來的影響有清晰的認知，進而實作從制作多模态内容走向适應智能傳播新階段要求的多模态傳播。
多限制條件：智能内容生成發展與應用伴随生成式人工智能帶來的巨大影響，更多主體投入資源加入競争，同時，相關規則制定、協同監管等力度顯著大于以往一些新技術出現之時。而且，也出現了一些值得深思的案例。
最新案例之一是專利開放。2023年8月11日，阿裡達摩院宣布向社會免費開放100件AI專利許可，覆寫了圖像技術、視訊技術、3D視覺等諸多AI技術領域，包括“交通信号燈感覺”“疑似侵權圖檔檢測”“時序資料預測”“點雲資料處理”“智能字幕生成”等具有廣闊應用場景的專利。這是規模最大的一次中國人工智能專利開放行動。
曆史地看，網際網路曆史上不乏以免費、開放政策構築生态以增強競争力的先例。移動作業系統競争中，安卓系統早期就是以免費授權方式進入與蘋果公司iOS系統競争的。Android作業系統最初由安迪·魯賓開發，主要支援手機，2005年8月被谷歌公司收購。2007年11月，谷歌與84家硬體制造商、軟體開發商及電信營運商組建開放手機聯盟，共同研發改良Android系統。随後谷歌以Apache開源許可證的授權方式，釋出了安卓的源代碼。2008年10月，第一部安卓智能手機釋出，之後安卓逐漸擴充到平闆電腦、電視、數位相機、遊戲機、智能手表等。2011年第一季度，安卓在全球的市場佔有率首次超過諾基亞手機使用的塞班系統，躍居全球第一。2013年第四季度，安卓手機的全球市場佔有率已達78.1%。2018年10月29日，安卓正式向歐盟區域收取授權費。
客觀上，安卓系統憑借開放引來了大量開發者，促進其生态完善。2023年以來，諸多大模型開發者開放API接口，以吸引其他開發者圍繞大模型開發各種應用。阿裡達摩院免費開放100件AI專利許可，客觀上既給大模型的發展與競争引入了新因素和新條件，也将給新聞傳播出版領域智能内容生成技術的應用提供新機會，這個行業的技術提供商可以利用各種開放專利和接口開發行業應用。
另一個案例是2023年6月28日兩名作家在美國加州北區法院對Open AI公司發起版權集體訴訟，指控Open AI公司未經授權利用原告享有版權的圖書訓練ChatGPT，謀取商業利益。這被稱為“第一起具有代表性的ChatGPT版權侵權之訴”。起訴狀指出，原告沒有授權Open AI使用自己享有版權的圖書進行模型訓練，但ChatGPT能夠根據提示詞生成較為準确的摘要（雖然也存在少量的錯誤内容）。原告從既有事實和資訊推斷，ChatGPT之是以可以準确生成特定圖書的摘要，唯一可解釋的原因便是Open AI擷取、複制了涉案圖書，并用于旗下大語言模型（GPT3.5 或GPT4）的訓練。[1]
這個案例有四點值得大模型研究者、行業使用者和監管者特别關注。
一是此案原告發現大模型侵權的方法，可能在國内被後來者借鑒
此案原告是通過讓ChatGPT輸出自己享有版權圖書的摘要，來證明被告不經授權使用了原告享有版權圖書進行ChatGPT背後大模型的訓練。“雖然很多内容都被用來訓練大語言模型，但圖書一直是訓練資料集中核心的語料素材，因為其提供了高品質長篇寫作的最佳範例。”[2]在2018年6月發表的企業論文《通過生成式預訓練提升語言了解力》中，Open AI披露GPT-1的訓練依賴于“BookCorpus”的資料集。“BookCorpus”包含7000本涉及探險、奇幻、浪漫等不同領域的圖書。客觀地看，目前，圖書是大模型訓練所使用資料集的重要部分。據統計，截至2023年6月底，國内相繼釋出了90多個大模型。這些大模型訓練所使用的資料集是否包含了未經授權的圖書？是否存在潛在法律風險？如何看待、應對大模型發展的這些限制條件？
二是此案原告引用企業論文證明其侵權，将抑制披露大模型技術細節
從此案相關報道看，原告起訴書引用了相關企業論文，來證明其侵權，如上文提到的《通過生成式預訓練提升語言了解力》。通過公開檢索Open AI主動披露資訊（企業論文）的方式，原告希望論證GPT系列模型的訓練建立在未經授權侵權利用海量圖書内容的基礎之上。比如，2020年7月發表的企業論文《語言模型是小樣本學習者》中，Open AI披露GPT-3訓練資料集中15%的内容來源于兩個名為“Books1”“Books2”的電子圖書語料庫。“根據Open AI的披露，Books1的規模是BookCorpus的9倍（約6.3萬本書），Books2是42倍（約29.4萬本書）。”由此原告推斷“‘Books1’大機率來源于‘古登堡項目’或‘古登堡語料庫标準化項目’”“‘Books2’極大可能來源于網絡上的‘影子圖書館’”。[3]實際上，2023年3月Open AI釋出GPT-4企業論文，但表示出于行業競争形勢和産品應用安全角度考量，不再對訓練資料集的結構和内容進行相關披露。
三是此案原告讓大模型“自證原理”的方法提供了啟示和借鑒
此案原告證明Open AI侵權時，同ChatGPT對話，讓其“進行自我介紹”以作為佐證。其内容包括提供服務的方式和價格，如網絡頁面方式每月20美元，應用程式開發者通過API接口與ChatGPT交換資料則按量計費。這既讓人們看到一種大模型的使用方法，也提示大模型開發者、行業應用開發者和服務提供者要更加重視大模型所生成的“自我介紹”内容，要在訓練時就從多個次元提示其生成自我介紹内容，并評估其準确度和衍生風險。
四是大模型通過網際網路提供服務須研究國際人工智能監管規則
2023年6月14日，歐洲議會以499票贊成、28票反對、93票棄權的壓倒性優勢通過了《人工智能法案》草案。這意味着，即将進入歐洲議會、歐盟成員國和歐盟委員會确定該法案最終條款的“三方談判”階段。2021年，歐盟委員會已經提出首部監管人工智能的法律草案，歐洲議會和歐盟理事會就此草案進行了多輪修訂和讨論。基于大模型的生成式人工智能上線後，這部法律草案增加了相應的條款。
值得注意的，一是該草案第二條就該法律适用範圍作出明确規定，即适用于在歐盟境内将人工智能系統投放市場或投入使用的實體（無論該實體是在歐盟境内還是在第三國）、在歐盟境内使用人工智能系統的實體，以及在第三國使用人工智能系統，但系統輸出結果用于歐盟境内或對歐盟境内人員産生影響的實體。這實際上明确了該法律的域外管轄原則。
二是将人工智能風險分為不可接受的風險、高風險、有限的風險和極小風險四級，對應不同的監管要求。提出嚴格禁止對人類安全造成不可接受風險的人工智能系統，包括部署潛意識或有目的操縱技術、利用人們的弱點或用于社會評分的系統。
三是法案要求每個歐盟成員國都設立一個監督機構。[4]
四是這部法案因ChatGPT的上線而增加了新的條款，提升了大模型透明度和風險評估要求，要求披露是否使用受版權保護的材料來訓練大模型。[5]這部法律是值得包括中國在内的大模型及其行業應用研究者、服務提供者注意研究的。畢竟，域外使用者也可能使用國内開發的多模态大模型。
這兩個案例，展現了生成式人工智能進入多限制條件的發展環境，即将或已經進入多元度競争階段。如何适應人工智能領域的靈活監管、協同監管，如何敏銳地發現、防範可能存在的版權、侵權風險，是智能内容生成技術服務提供者和使用者必須面對的重大問題。
多元度競争：智能傳播新階段的基本特征冷靜觀察，多元度競争是智能傳播新階段的基本特征。
一是從内容影響力形成角度觀察，多模态傳播中的多模态内容之間在競争。多模态内容的九類内容，文本、圖檔、圖表、視訊、語音、表情包等融為一體的融合性内容和各種直播，是深度融合轉型中媒體的着力點，數量、品質、品種不斷提升；但同時，資料可視化内容、資料産品、新形态内容、互動性内容影響力越來越大。
二是人工智能直接生成的内容與人類制作的内容正在形成影響力競争。AIGC直接生成内容的針對性、知識性、體驗感在ChatGPT上線後激發的各種效應，就展現了這一點。
三是人工智能生成的多模态内容間的競争。初期，人們關注的是能否作詩、寫方案、改代碼等；之後能否根據提示生成多種風格圖檔、視訊成為人們關注的重點。這些圖檔、視訊既具有可用性，對人類工作有直接替代可能，還具有奇特性，會産生出人意料的成果。
四是正在形成智能内容生成競争的，不僅包括以各種行業定向開發吸引使用者，也包括以開放API接口等構築生态。
五是智能内容生成多樣使用方式所形成的競争。在ChatGPT、文心一言等上線初期，人們關注的是其根據使用者提示所生成的内容是否準确和專業、是否有針對性。而這個階段，更有想象力的使用者看重的，是大模型生成内容的不确定性，并努力用各種提示詞組合，探索、放大智能内容生成的不确定性，進而利用其激發創意、拓展應用價值。
因而，在智能傳播新階段，對多模态内容的認知水準，對智能内容生成利用方式的想象力和不拘一格的利用能力，某種意義上，就決定了其智能競争力。
【本文為國家社會科學基金重大項目“數字新聞學理論、方法、實踐研究”（準許号：20＆ZD317）階段性成果】
參考文獻：[1][2]Kaysen.ChatGPT版權第一案：OpenAI面臨六項指控，因輸出圖書摘要被“抓包”[EB/OL].（2023-08-06）.https://new.qq.com/rain/a/20230805A052PM00.
[3]Kaysen.ChatGPT版權第一案：OpenAI面臨六項指控，因輸出圖書摘要被“抓包”[EB/OL].https://new.qq.com/rain/a/20230805A052PM00.“古登堡項目”（Project Gutenberg）是一個彙集“超過版權保護期限”的線上電子書庫，常被用于人工智能模型訓練。2020年9月，“古登堡項目”宣布已經收錄超過6萬本書。2018年，一個人工智能研究團隊在其基礎上，建立“古登堡語料庫标準化項目”（Standardized Project Gutenberg Corpus）。“影子圖書館”一詞由美國社會科學研究理事會2011年發表的《新興經濟體中的媒體盜版問題》文章創造，指代侵權收錄大量書籍并向公衆免費開放的網站.
[4]王衛.搶占監管先機 歐盟《人工智能法案》進入最終談判階段[N].法治日報，2023-07-03（6）.
[5]歐洲議會準許《人工智能法案》，要求披露生成式AI訓練資料版權[EB/OL].澎湃新聞.(2023-06-15).https://baijiahao.baidu.com/s?id=1768733657042960752&wfr=spider&for=pc.
本文引用格式參考： 陸小華.多模态傳播與多元度競争：智能傳播新階段[J].青年記者,2023(17):60-63.