天天看點

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

作者:人人都是産品經理
AI技術正在飛速地發展和進化中,而在這股AI發展浪潮中,AIGC這一概念成功出圈,人們逐漸可以借用AI自主生成各式各樣的内容或資料。那麼,目前AIGC行業發展到了怎樣的階段?其中的關鍵性應用模型ChatGPT,又有着怎樣的表現?
AIGC産業生态迎來爆發期:一份ChatGPT調研報告

一、AIGC行業介紹及發展趨勢

1. AIGC産業生态迎來爆發期

AIGC(AI-Generated Content,人工智能生産内容)最基本的能力是生成内容,包括文本、圖像、視訊、代碼、3D内容或者幾種媒介類型轉換組合,形成的“多模态内容”。生成算法、預訓練模型、多模态等AI技術累積融合,以及深度模型方面的技術創新,共同催生了AIGC的大爆發。

AIGC是相對于過去的PGC、UGC、AIUGC而提出的。過去的傳統AI偏向于分析能力,基于已有内容 ;現在的AI基于訓練資料和生成算法模型,可以自主生成各種形式的内容和資料。

2022年,AIGC(AI-Generated Content,人工智能生成内容)爆火出圈。

2022年10月,Stable Diffusion、DALL-E 2、Midjourney等可以生成圖檔的AIGC模型風行一時。

2022年12月,OpenAI釋出能夠回答問題、生成代碼、構思劇本和小說的聊天機器人模型ChatGPT ,将人機對話推向新高度。 目前,從提供預訓練模型的基礎設施層公司到專注打造AIGC産品和應用工具的應用層公司,圍繞 AIGC生長出繁榮的生态,技術創新引發的應用創新浪潮疊起,中國有望憑借領先的AIGC技術賦能各行各業。

2. AIGC市場規模到2025有望達500億元

在傳統PGC和UGC模式下,内容生成領域存在産能限制和品質限制,PGC受制于人力資源的供給側限制,UGC 雖然降低了PGC的生産門檻,但因使用者創作能力和工具 功能的局限存在品質限制。AIGC突破内容生成産能和品質限制,應用廣泛,市場規模将會大幅擴大。

根據《中國AI數字商業産業展望2021-2025》報告預測AI數字商業内容的市場規模将從2020年的40億元,增加到2025年的495億元。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

3. AIGC産業生态體系呈現上中下三層架構

目前AIGC産業生态體系的雛形已現,呈現上中下三層架構,第一層為上遊基礎層,是由預訓練模型為基礎搭建的AIGC技術基礎設施層。

第二層為中間層,即垂直化、場景化、個性化的模型和應用工具。在預訓練的大模型基礎上快速抽取生成 場景化、定制化、個性化的小模型,實作在不同行業、垂直領域、功能場景的工業流水線式部署。

第三層為應用層,即面向C端使用者的文字、圖檔、音視訊等内容生成服務。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

4. AIGC落地場景:AI繪畫、AI模組化、聊天機器人ChatGPT等

2022年被稱為AIGC元年,多個AI領域迅速發展,繪畫、音樂、新聞創作、主播等諸多行業被重新定義 。目前AIGC正在從簡單的降本增效(以生成金融/體育新聞為代表)向創造額外價值(以提供繪畫創作素材為代表)轉移,文本-圖像-視訊的跨模态/多模态内容生成正在進展中。

已有的落地場景包括AI繪畫、AI模組化、聊天機器人ChatGPT等。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

二、ChatGPT介紹及發展趨勢

1. 文本生成式AI:聊天機器人ChatGPT

OpenAI:由馬斯克、美國創業孵化器Y Combinator總裁阿爾特曼、全球線上支付平台PayPal聯 合創始人彼得·蒂爾等矽谷科技大亨于2015年12月創立,主要用于制造“通用”機器人和使用自然語言的聊天機器。

2020年5月, OpenAI 釋出了以Transformer為基礎的NLP(自然語言生成)預訓練模型GPT-3,此前已經曆過GPT-1、GPT-2。

2022年11月30日,OpenAI公司釋出聊天機器人模型ChatGPT,ChatGPT對GPT-3模型進行微調, 并引入RLHF(基于人類回報的強化學習)方法。隻需向ChatGPT文字提出需求,即可讓其完成回答問題、書寫代碼、創作文本等指令,釋出一周内使用者量超過百萬。

ChatGPT的連續對話能力、強大的了解力、回答的準确度和創造性使其迅速走紅。World Of Engineering資料顯示,ChatGPT釋出短短兩個月時間,使用者數便突破1億。具體而言,ChatGPT能了解并生成文字,屬于AIGC(AI-Generated Content,人工智能生産内容)技術應用中的文本生成模态應用模型。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告
AIGC産業生态迎來爆發期:一份ChatGPT調研報告

2. ChatGPT可能改變搜尋引擎使用方式

ChatGPT屬于AIGC的範疇,能夠回答連續性的問題、質疑不正确的假設,甚至拒絕不合理的要求,大幅提高了AI在人機對話時的準确度和可控性,将有望改變人類使用搜尋引擎的方式。

Open AI的CEO稱AIGC的最終目标是做一個類似于新時代的搜尋引擎。目前ChatGPT展示出來的内容輸出品質和内容覆寫次元,已經可以直面“搜尋引擎”與“問答社群”。

外媒The Information 報道顯示,微軟可能在2023年3月之前将ChatGPT引入自家的搜尋引擎Bing,用人工智能來回答一些搜尋查詢,此舉或将改變搜尋引擎的運作模式,革新性地提升搜尋引擎效率。

StatCounter資料2020-2022谷歌全球市場佔有率超90%,ChatGPT出現将挑戰谷歌搜尋引擎的霸主地位。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

3. ChatGPT已能覆寫較多能力域

由于ChatGPT包含了更多主題的資料,能夠處理更多小衆主題。ChatGPT能力範圍可以覆寫回答問題、撰寫文章、文本摘要、語言翻譯和生 成計算機代碼等任務。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

4. ChatGPT具備諸多先進性特征

chatGPT嵌入了人類回報強化學習以及人工監督微調,因而具備了了解上下文、連貫性等諸多先進特征,解鎖了海量應用場景。目前,ChatGPT所利用的資料集隻截止到2021年。在對話中,ChatGPT會主動記憶先前的對話内容資訊(上下文了解),用來輔助假設性的問題的回複,因而ChatGPT也可實作連續對話,提升了互動模式下的使用者體驗。同時,ChatGPT也會屏蔽敏感資訊,對于不能回答的内容也能給予相關建議。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

5. ChatGPT商業化程序加快

微軟近日考慮宣布将向OpenAI進行近百億美元的投資,此前微軟分别于2019年和2021年對OpenAI進行投資,若此次投資完成微軟将擁有OpenAI 49%的股權。微軟對單個100GPU的收費是3美元/時,按照 ChatGPT加載模型和文本的速度,生成一個單詞的費用約為0.0003美元;而ChatGPT的回複通常至少有30個單詞,是以ChatGPT每回複一次,至少花OpenAI 1美分。微軟既能提供錢,又能提供算力。

2023年1月,ChatGPT的活躍使用者數或已達1億,可能是史上增長最快的消費者應用。因通路量過大, OpenAI對ChatGPT進行了大規模限流,包括限制每小時的提問數量,以及高峰時段排隊等舉措。

OpenAI于2023年2月正式推出ChatGPT Plus版本(率先對美國地區使用者開放),收費20美元/月,Plus版 ChatGPT全天可用,無需排隊。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

6. 國内外科技巨頭積極布局生成式AI,部分公司已有成型産品

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

在ChatGPT釋出後,谷歌CEO在公司内部釋出了“紅色警報” (Code Red),敦促團隊解決ChatGPT對公司搜尋引擎業務構成的威脅,同時準許了在谷歌搜尋引擎中加入AI聊天機器人的計劃。2月4日,谷歌注資3億美元投資ChatGPT競品——Anthropic,谷歌将獲得約10%的股份, Anthropic計劃将次輪資金用于購買谷歌雲計算部 門的計算資源;Anthropic開發了一款名為Claude的智能聊天機器人,據稱可與ChatGPT相媲美(仍未釋出)Anthropic和Open AI淵源頗深,其聯合創始人曾擔任OpenAI研究副總裁。

微軟将ChatGPT視為新一代技術革命,将ChatGPT整合進Bing搜尋引擎、Office全家桶、Azure雲服務、Teams程式等産品中,微軟近期宣布推出視訊會議及遠端協作平台的進階付費版Microsoft Teams Premium,訂閱者可享用OpenAI GPT提供支援的大型語言模 型技術,用AI自動生成會議筆記,此舉或對Zoom、谷歌會議等平台形成巨大沖擊。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

百度:1月10日,百度宣布将更新百度搜尋的“生成式搜尋”能力,智能解答使用者的搜尋提問;2月7日,百度宣布将在3月份 完成其ChatGPT産品的内測,面向公衆開放,該項目名字為文心一言(ERNIE Bot),百度指出,生成式AI和搜尋引擎是互補關系而不是替代;據路透社報道,百度計劃于 3 月将類似 ChatGPT 的 AI 對話服務作為獨立應用推出,之後再逐漸将其合并到搜尋引擎中。

騰訊:2月3日,騰訊公布一項人機對話專利,能夠實作機器與使用者之間自然且順暢的溝通 ,廣告為主,支援廣告智能制作,以 AIGC技術生成廣告文案和視訊,降低 了制作成本,目前市場規模快速增長,未來 5 年内 AIGC 産生的圖檔的占比預計會達到 10-30% 前期可作為UGC和PGC的輔助,幫助廣告主設計文案,到後期就是AI技術整體的發展,後期可能是有望代替人工的工作。

位元組:已經開始布局,主要是 AI+内容,比如自動生成投稿和輔助寫作,在今日頭條上利用AIGC生産内容,目前 AIGC 整體的生成品質的内容還是較好的,要好于普通的UGC,但和PGC相比還有所欠缺。抖音方面也有應用,通過 AI 的模式來生成短視訊。

阿裡、京東等電商類平台:在智能客服領域有布局,其次是 AI+營銷,例如阿裡巴 巴,可以結合商品,自動生成高品質文案描述商品,提高營銷效率 。

三、ChatGPT商業化

1. ChatGPT試點訂閱計劃

2023年2月2日,OpenAI釋出ChatGPT試點訂閱計劃——ChatGPT Plus,每月20美元 ChatGPT Plus訂閱者可獲得比免費版本更穩定、更快的服務,及嘗試新功能和優化的優先權。

2. 類人聊天機器人

類人聊天機器是一種旨在模拟與使用者進行類人對話的電腦程式。它們已被應用于多個行業,包括客戶服務、電子商務和娛樂等。

ChatGPT帶來的變革:此前的聊天機器人隻能根據設定問題 回複固定内容,同chatGPT融合之後,将文本生成、圖像生成、多模态轉換技術融合起來,環境感覺、了解能力在大幅增強,實作和人的形似到神似。基于ChatGPT的類人聊天機器人可以提供客戶服務、虛拟代理、内容創意和文本生成、 以及資訊知識提供等服務。

1)國外重點企業

openAI:公司核心宗旨在于“實作安全的通用人工智能(AGI)”,目前推出的“ChatGPT類人聊天機器人”火爆全球,其公司在圖檔生成和視訊生成的應用上也有很深的造詣。

Google:公司在AIGC領域布局很久,目前也有“bard”類人聊天機器人的誕生試用,在AIGC的多種技術領 域也處于前列。

2)國内重點企業

百度:是國内布局AI賽道最早的公司之一,目前已宣布“文心一言”類人聊天機器人将很快進入公測環節,圖檔 生成方面也有突破。

小冰:從微軟獨立拆分出來的人工智能公司,推出的 “小冰”機器人是目前全球範圍内承載互動量最大的人工智能系統。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告
AIGC産業生态迎來爆發期:一份ChatGPT調研報告

3 月 9 日消息,在準許通過 BlueMail 應用程式之後,蘋果近日再次準許了一款适用于 Apple Watch 的 ChatGPT 應用程式 watchGPT,使用者可以在 Apple Watch 上和 ChatGPT 聊天了。

3. ChatGPT+傳媒:實作智能新聞寫作,提升新聞的時效性

ChatGPT可以幫助新聞媒體工作者智能生成報道,将部分勞動性的采編工作自動化,更快、更準、更智能地生成内容。

  • 2014年3月,美國洛杉矶時報網站的機器人記者Quakebot,在洛杉矶地震後僅3分鐘,就寫出相關資訊并進行釋出;
  • 美聯社使用的智能寫稿平台 Wordsmith 可以每秒寫出2000篇報道;
  • 中國地震網的寫稿機器人在九寨 溝地震發生後7秒内就完成了相關資訊的編發;
  • 第一财經“DT稿王”一分鐘可 寫出1680字。

4. ChatGPT+影視:拓寬創作素材,提升作品品質

ChatGPT可以根據大衆的興趣身定制影視内容,進而更有可能吸引大衆的注意力,獲得更好的收視率、票房和口碑。

ChatGPT可以為劇本創作提供新思路,創作者可根據ChatGPT的生成内容再進行篩選和二次加工,進而激發創作者的靈感,開拓創作思路,縮短創作周期。

ChatGPT 有着降本增效的優勢,可以有效幫助影視制作團隊降低在内容創作上的成本,提高内容創作的效率,在更短的時間内制作出更高品質的影視内容:

  • 2016年,紐約大學利用人工智能編寫劇本《Sunspring》, 經拍攝制作後入圍倫敦科幻電影48小時前十強;
  • 2020年,美國查普曼大學的學生利用OpenAI 的GPT-3模型創作劇本 并制作短片《律師》;
  • 國内海馬輕帆科技公司推出的“小說轉劇本”智能寫作功能,服務了包括《你好,李煥英》《流浪地球》 等爆款作品在内的劇集劇本30000多集、電影/網絡電影劇本8000多 部、網絡小說超過500萬部。

5. ChatGPT+營銷:打造虛拟客服,賦能産品銷售

ChatGPT虛拟客服為客戶提供24小時不間斷的産品推薦介紹以及線上服務能力,同時降低了商戶的營銷成本,促進營銷業績快速增長。

ChatGPT虛拟客服能快速了解客戶需求和痛點,拉近商戶與消費人群的距離,塑造跟随科技潮流、年輕化的品牌形象。

ChatGPT虛拟客服比人工客服更穩定可靠,在人工客服有限并且素質不齊的情況下,虛拟客服展現的品牌形象和服 務态度等由商戶掌控,比人工客服的可控性、安全性更強 。

2月10日,京東雲宣布将推出産業版ChatGPT:ChatJD、ChatJD智能人機對話平台,預計參數量達千億級,将率先落地在零售、金融等兩個領域。

6. ChatGPT+娛樂:人機互動加強,激發使用者參與熱情

ChatGPT可以成為線上的實時聊天對象,增加互動的趣味性和娛樂性。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

2月8日,悅商集團也宣布将推出類ChatGPT技術的DEMO産品,在微信,支付寶,百度等小程式裡應用,進一步完善使用者互動體驗。并且依托支付寶、微信、百度等多平台生态服務商的身份,悅商集團可快速融合多家網際網路巨頭推出的類ChatGPT産品進一步完善YCloud系統,為客戶打造最前端的技術服務。

YCloud主要面向全球微商行業,緻力于為高速增長的靈活就業人員提供數字化服務工具。可以進一步幫助客戶縮減人員成本,降本增效,實作用科技助力個體、實體經濟發展的目标。

遊戲:國内《逆水寒》宣布首個遊戲版ChatGPT,玩法加持,為遊戲行業普及打下技術基礎。據國信證券研報梳理,目前完美世界、昆侖萬維、騰訊、網易、世紀華通、三七互娛、天娛數科、湯姆貓、恺英網絡、凱撒文化等公司均已布局遊戲AI業務。

7. ChatGPT+教育: 賦予教育教材新活力,讓教育方式更個性化、更智能

ChatGPT給教育工作者提供全新的教學工具,學生可以通過自主提問的方式快速查缺補漏,讓每個學生得到更個性化、更智能的教育。

8. ChatGPT+金融:幫助金融機構降本增效,讓金融服務更有溫度

金融機構可以通過ChatGPT實作金融資訊、金融産品介紹内容的自動化生産,提升金融機構内容生産的效率。

通過ChatGPT塑造虛拟理财顧問,讓金融服務更有溫度。

9. ChatGPT+醫療:賦能醫療機構診療全過程

ChatGPT賦能優化問診、治療、康複等多環節,快速了解患者的病情并給出較合理的及時回報,通過人性化的方式第一時間撫慰患者,進而舒緩患者的情緒,加速其康複;同時,讓醫者有更多的時間和精力集中在關鍵患者的關鍵治療環節。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

2021年11月開始,九峰醫療在江西省11個地市上百個縣城的鄉鎮衛生院部署了上千家AI工作站。該系統的AI教育訓練子產品為基層放射科醫生提供教學資料(影像片、标注、影像學征象、診斷建議)。

10. ChatGPT+辦公:大幅提升辦公效率

ChatPDF:上傳PDF檔案然後通過問答形式讓它幫你檢索資訊,相當于AI幫你讀完了整個PDF檔案,你想知道什麼直接問它就行,中英文都能支援目前的免費版最大可傳200頁的PDF,超過了就要用自己的OpenAI API了。

平替版有Humata(humata.ai),功能相同,頁數上限是60,2款同時用可以交叉對比,避免錯漏。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

ChatExcel:北大團隊做的,和上面相似,隻不過上傳的是Excel,然後可以通過自然語言下指令,對表格進行任意調整,調用的是OpenAI專為表格處理做的API服務OpenAI Tabulate。

美中不足的是這還隻是一個demo,隻支援1MB以内、不超過10列的excel檔案,也沒有收費選項,局限性很大。

Chat思維導圖:

  • boardmix AI助手 https://mp.weixin.qq.com/s/A0verAqqSXDcd83Gt0xU_g
  • https://new.qq.com/rain/a/20230224A06UPN00
AIGC産業生态迎來爆發期:一份ChatGPT調研報告
AIGC産業生态迎來爆發期:一份ChatGPT調研報告

代碼開發:利用 ChatGPT 輔助開發代碼,提高開發效率,包括代碼補全、自然語言指令生成代碼、代碼翻譯、bug 修複等。

四、ChatGPT相關核心算法

1. 基于 Transformer 的預訓練語言模型

ChatGPT 強大的基礎模型采用 Transformer 架構,Transformer是一種基于自注意力機制的深度神經網絡模型,可以高效并行地處理序列資料。

原始的 Transformer 模型包含兩個關鍵元件:編碼器和解碼器。編碼器用于将輸入序列映射到一組中間表示,解碼器則将中間表示轉換為目标序列。

編碼器和解碼器都由多層的注意力子產品和前饋神經網絡子產品組成。其中自注意力子產品可以學習序列中不同位置之間的依賴關系,即在處理每個位置的資訊時,模型會考慮序列中其他所有位置上的資訊,這種機制使得 Transformer 模型能夠有效地處理長距離依賴關系。在原始 Transformer 模型基礎上,相繼衍生出了三類預訓練語言模型:編碼預訓練語言模型、解碼預訓練語言模型和編解碼預訓練語言模型。

2. 編碼預訓練語言模型

這類模型在預訓練過程中隻利用原始 Transformer 模型中的編碼器。相應的預訓練任務通常選用掩碼語言模組化任務(Masked Language Modeling), 即掩碼住(用特殊字元 [MASK] 替換)輸入句子中一定比例的單詞後,要 求模型根據上下文資訊去預測被遮掩的單詞。其中有有代表性的工作包括 BERT,ALBERT,RoBERTa等。

BERT 模型是最經典的編碼預訓練語言模型,其通過掩碼語言模組化和下一句預測任務,對 Transformer 模型的參數進行預訓練。

ALBERT 是一個輕量化的 BERT 模型,作者通過分解詞向量 矩陣和共享 Transformer 層參數來減少模型參數個數。

RoBERTa 相較于 BERT 模型,RoBERTa 在預訓練階段,采用了更多的語料以及動态掩碼機制(不同輪次同一樣本掩碼不同的單詞),去掉了下一 句預測任務,同時采用了更大的批大小。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

3. 解碼預訓練語言模型

GPT (Generative Pre-trained Transformer) 是由 OpenAI 提出的隻有解碼器的預訓練模型。相較于之前的模型,不再需要對于每個任務采取不同 的模型架構,而是用一個取得了優異泛化能力的模型,去針對性地對下遊任務進行微調。包括 GPT-1、GPT-2 和 GPT-3,上圖列舉了 GPT 若幹模型的資訊。

GPT-1 在文章“Improving Language Understanding by Generative PreTraining”中被提出。在 GPT 被提出之前,大多數深度學習方法都需要大量人工标注的高品質資料,但是标注資料的代價是巨大的,這極大程度上限制了模型在各項任務性能的上限。如何利用容易擷取的大規模無标注資料來為模型的訓練提供指導成為 GPT-1 中需要解決的第一個問題。

另外自然語言處理領域中有許多任務依賴于自然語言在隐含空間中的表征,不同任務對應的表征很可能是不同的,這使得根據一種任務資料學習到的模型很難泛化到其他任務上。是以如何将從大規模無标注資料上學習到的表征應用到不同的下遊任務成為 GPT-1 需要解決的第二個問題。

GPT-1 的結構很簡單,由 12 層 Transformer Block(自注意力子產品和前饋神經網絡子產品)疊加而成。針對第一個問題,GPT-1 中使用了自左到右 生成式的目标函數對模型進行預訓練。這個目标函數可以簡單了解為給定前 i − 1 個 token,對第 i 個 token 進行預測。基于這樣的目标函數,GPT-1 就可以利用無标注的自然語言資料進行訓練,學習到更深層次的文法資訊與語義資訊。

針對第二個問題,在完成了無監督的預訓練之後,GPT-1 接着使用了有标注的資料進行有監督的微調使得模型能夠更好地适應下遊任務。給定輸入 token 序列x1, x2, …, xm 與标簽 y 的資料集,對模型的參數進行再次訓練調整,用到的優化模型是在給定輸入序列時預測的标簽最接近真實值。

具體來說,GPT-1 在大規模無标注語料庫上預訓練之後,再利用有标注資料在特定的目标任務上對模型參數進行微調,實作了将預訓練中獲得的 知識遷移到下遊任務。

在 GPT-1 提出之前,自然語言處理領域常用的預訓練方法是 Word2Vec在此之後,GPT-1 提出的兩步走的訓練方法成為許多大型語言模型的訓練範式。

從這個角度來看,GPT-1 和 Word2Vec 在 具體下遊任務中發揮的作用是類似的,通過無監督的方法擷取自然語言的隐含表示,再将其遷移至其他目标任務。但是從更高的層面來看,GPT-1 與以 往的詞向量表示方法是不同的,其資料量與資料規模的增大使得模型能夠學習到不同場景下的自然語言表示。圖 2.1是 GPT-1 原文中的總覽圖,左側是 GPT-1 的架構以及訓練時的目标函數;右側是對于不同任務上進行微調 時模型輸入與輸出的改變。

與 GPT-1 中的通過預訓練-微調範式來解決多個下遊任務不同,GPT-2更加側重于 Zero-shot 設定下語言模型的能力。

Zero-shot 是指模型在下 遊任務中不進行任何訓練或微調,即模型不再根據下遊任務的資料進行參數 上的優化,而是根據給定的指令自行了解并完成任務。

簡單來講,GPT-2 并沒有對 GPT-1 的模型架構進行創新,而是在 GPT-1 的基礎上引入任務相關資訊作為輸出預測的條件,将 GPT-1 中的條件機率 p(output|input) 變為 p(output|input;task);并繼續增大訓練的資料規模以及模型本身的參數量,最終在 Zero-shot 的設定下對多個任務都展示了巨 大的潛力。

雖然 GPT-2 并沒有模型架構上的改變,但是其将任務作為輸出預測的條件引入模型進而在 Zero-shot 的設定下實作多個任務的想法一直延續至今。這樣的思想事實上是在傳達隻要模型足夠大,學到的知識足夠多,任何有監督任務都可以通過無監督的方式來完成,即任何任務都可以視作生成任務。

GPT-3使用了與 GPT-2 相同的模型和架構。文中為了探索模型規模對于性能的影響,一共訓練了 8 個不同大小的模型,并将最大的具有 1750 億參數的模型稱為 GPT-3。上圖綜合統計了 GPT-1、GPT-2 和 GPT-3 的 參數量,模型架構以及預訓練的資料集,友善讀者直覺上了解 GPT 的疊代趨勢。

GPT-3 最顯著的特點就是大。大展現在兩方面,一方面是模型本身規模大,參數量衆多,具有 96 層 Transformer Decoder Layer,每一層有 96 個 128 維的注意力頭,單詞嵌入的次元也達到了 12,288;另一方面是訓練過程中使用到的資料集規模大,達到了 45TB。

在這樣的模型規模與資料量的情況下,GPT-3 在多個任務上均展現出了非常優異的性能,延續 GPT-2 将無監督模型應用到有監督任務的思想,GPT-3 在 Few-shot,One-shot 和 Zero-shot 等設定下的任務表現都得到了顯著的提升。

雖然 GPT-3 取得了令人驚喜的效果,但是也存在許多限制,例如天然的從左到右生成式學習使得其了解能力有待提高;對于一些簡單的數學題目仍不能夠很好完成,以及模型性能強大所帶來的社會倫理問題等。

同時由于 GPT 系列模型并沒有對模型的架構進行改變,而是不斷通過增大訓練資料 量以及模型參數量來增強模型效果,訓練代價巨大,這使得普通機構和個人無法承擔大型語言模型訓練甚至推理的代價,極大提高了模型推廣的門檻。

今年1月24日,即ChatGPT釋出第二個月,微軟宣布數十億美元投資 OpenAI,并且計劃在算力、商業化以及 AI 技術方面進行長期合作。據報道,本輪融資後OpenAI公司估值高達290億美元,接近2000億元人民币。随後2月7日,微軟推出ChatGPT版Bing(必應)搜尋引擎和Edge浏覽器,并在3月更新GPT-4後同時更新,引發全球廣泛關注。

如今新的 AI 浪潮下,微軟開始希望全面評估GPT大模型對于人類、整個 AI 技術行業發展的影響。具體來說,本論文核心主題是關于GPT-4的人工智能系統,它展示了人工智能的一種形式,即人工通用智能(AGI)。論文通過實驗研究與讨論GPT-4在推理、創造力、演繹等核心思維能力方面的表現,以及它在文學、醫學和編碼等領域獲得專業知識的範圍,和它所能執行的各種任務。

此外,該檔案還探讨了如何定義AGI本身,建構缺失元件以實作AGI,并更好地了解最近LLMs所展示的智能起源。論文指出,微軟團隊測試了語言了解方面的回報。最終,GPT-4很好地完成了多個任務并超過ChatGPT水準。

另外,微軟團隊還利用1994年國際共識智力定義執行多個實驗測試,以觀察GPT-4在推理、解決問題、抽象思考、了解和快速學習等方面能力,最終現實,GPT-4擁有對世界的常識并在這基礎上做出推理的能力,甚至可以用ABC記譜法創作音樂,并按人類要求修改。

AIGC産業生态迎來爆發期:一份ChatGPT調研報告

是以結果表明,微軟認為,GPT-4是一種非常強大的人工智能系統,它在許多任務和領域中表現出了驚人的能力,并且在某些方面甚至可以與人類相媲美。然而,GPT-4仍然存在一些局限性和挑戰,需要進一步研究和發展才能實作更深入、更全面的AGI系統。

高盛3月27日釋出報告指出,全球預計将有3億個工作崗位最終被 AI 取代。假設生成式 AI 實作了各企業承諾的能力,勞動力市場将面臨挑戰,AI 可以接手美國和歐洲高達四分之一的工作。報告預計,随着勞動生産力提高,AI 應用有望使全球在下一個10年内,推動全球GDP(國内生産總值)年複合增長率将達到7%。

五、ChatGPT可能遇到的問題

1. 合規性問題

ChatGPT産生的答複是否産生相應的知識産權?

ChatGPT進行資料挖掘和訓練的過程是否需要獲得相應的知識産權授權?

ChatGPT是基于統計的語言模型,這一機制導緻回答偏差會進而導緻虛假資訊傳播的法律風險,如何降低其虛假資訊傳播風險?

2. 技術性問題

ChatGPT的回答可能過時,因為其資料庫内容隻到2021年,對于涉及2022年之後,或者在2022年有變動的問題無能為力。

ChatGPT在專業較強的領域無法保證正确率,即使在雞兔同籠此類初級問題中仍然存在錯誤,并且英文回答和中文回答存在明顯差異化。

ChatGPT對于不熟悉的問題會強行給出一定的答案,即使答案明顯錯誤,依然會堅持下去,直到明确戳破其掩飾的内容,會立馬道歉,但本質上會在不熟悉的領域造成誤導。

本文由 @情入藥 原創釋出于人人都是産品經理。未經許可,禁止轉載。

題圖來自 Unsplash,基于CC0協定。

該文觀點僅代表作者本人,人人都是産品經理平台僅提供資訊存儲空間服務。

繼續閱讀