生成式AI報告：人才對人工智能未來的影響超過了算力

·無論是模型還是應用，都離不開硬體廠商或雲服務商，算力目前是最稀缺的資源，是大模型成本結構中最顯著的部分，GPU是訓練模型與加速推理的關鍵算力硬體，GPU的性能實際上決定了這個新興行業的步調。但長期來看，人才對人工智能未來的影響超過了算力。

·巨頭忙于研發大模型，尚未顧及深度切入具體應用場景，這是初創企業的藍海，也有發展道路上的暗礁。 目前生成式AI市場處于技術主導的早期階段，存在千億美元市值的平台性企業的機會。3年内，颠覆式的AI應用的核心驅動力來自于底層模型的創新，模型的作用将大于産品設計的作用。

啟明創投合夥人周志峰。

7月7日，在2023世界人工智能大會啟明創投論壇“生成式AI與大模型：變革與創新”上，啟明創投聯合未盡研究釋出《生成式AI》報告。在AI 2.0時代，經過大規模資料預訓練得到的大模型可直接被下遊各種任務使用，無論是模型還是應用，都離不開硬體廠商或雲服務商，算力目前是最稀缺的資源，GPU（圖形處理器）是訓練模型與加速推理的關鍵算力硬體。但長期來看，人才對人工智能未來的影響超過了算力。

報告認為，目前生成式AI市場處于技術主導的早期階段，存在千億美元市值的平台性企業的機會。3年内，颠覆式的AI應用的核心驅動力來自于底層模型的創新，模型的作用将大于産品設計的作用。

啟明創投合夥人周志峰表示，人類科學技術的進步在不斷加速，就像海洋上一浪推一浪，頻率越來越高，浪越來越多。我們處在生成式AI發展的早期，未來的發展速度會非常快，任何一個偉大的科技趨勢出現時，都會摻雜泡沫，希望大家能夠忽略産業周期，忽略噪音和泡沫，踏踏實實埋頭做事，才能推動AI向前發展。

算力是最稀缺資源，理論上大模型訓練成本随時間推移而下降

人工智能的發展已經走過70多年時間。報告顯示，四代底層技術的進步推動了四波人工智能的發展。第一波小規模專家知識用了40年走完；第二波淺層機器學習用了20年走完；第三波深度學習用了8-10年走完，并取得一定成就。最近這一波AI新浪潮，以2017年基于Transformer的預訓練模型為起點，并在2020年GPT-3大模型釋出後突破技術奇點。

報告提出了AI 1.0時代和AI 2.0時代。在AI 1.0時代，需要針對特定任務，利用相關資料研發特定模型，任務和模型耦合。AI 2.0時代，經過大規模資料預訓練得到的大模型，帶來了好的效果和泛化能力，可以直接被下遊各種任務使用。

AI 2.0時代裡的公司将分為三層：一是基礎設施層，主要是解決大模型訓練/推理/部署的工具鍊廠商和提供GPU資源的智算中心，智算中心再往下是新一代AI晶片或下一代通用GPU。二是模型層，主要是研發大模型并對外提供AI模型服務或者API（應用程式程式設計接口）服務，包括訓練和推理時需要的GPU資源。除了這類底座大模型，也包括提供針對特定行業或場景的垂直模型的公司。三是應用層，即專注于解決某個特定領域的應用公司，包括自研大模型的應用公司和利用第三方大模型的應用公司。

新的應用要有新的基礎設施。AI 2.0的基礎設施是以提供智能算力為中心的智算中心。無論是模型還是應用，都離不開硬體廠商或雲服務商，算力目前是最稀缺的資源，也處于最容易獲利的要津，是大模型成本結構中最顯著的部分，GPU是訓練模型與加速推理的關鍵算力硬體，GPU的性能實際上決定了這個新興行業的步調。報告顯示，訓練一次類似GPT-3的大模型，即1750億參數規模、3000 億token， 需要3.15*10^23FLOP的算力需求。如果隻用1片英偉達V100晶片，在FP16精度的28TFLOP的理論算力下，需要訓練357年；要縮短訓練時間，就要增加硬體投入，但算力使用效率就會下降。 如果隻用1片FP16精度下理論算力312TFLOP的英偉達A100晶片來重新訓練一次GPT-3，則需32年。報告提到，理論上随着硬體性能提升、軟體優化程度提高等，大模型訓練成本會随時間推移而下降。

生成式AI密切結合研究與創新，通往AGI的路上要研究的問題更多了

随着算力與模型的進步，更多初創企業正在湧入，面臨着競争和可能的巨頭碾壓。但競争促進了創新，與2022年快速湧現出的生産力工具方向的創業公司不同，2023年，有更多比例的新公司聚焦在底層技術的創新。大模型創業公司也開始分化，在通用大模型創業公司方興未艾的同時，面向醫療、電商、科研、工業、自動駕駛和機器人等特定方向的垂直大模型公司開始出現。

報告認為，現在仍是AI 2.0的早期，基礎架構和核心技術并不是特别成熟；巨頭忙于研發大模型，尚未顧及深度切入具體應用場景。這是初創企業的藍海，也有發展道路上的暗礁。 目前生成式AI市場處于技術主導的早期階段，存在千億美元市值的平台性企業的機會。3年内，颠覆式的AI應用的核心驅動力來自于底層模型的創新，兩者無法解耦，模型的作用将大于産品設計的作用。

在前沿研究領域，2022年和2023年是生成式人工智能技術取得突破的兩年，報告梳理論文發現，生成式人工智能領域的一個突出特征是研究與創新過程的密切結合，許多在企業内部實作，迅速推出産品。從GPT-4的技術報告到微軟的研究論文，都展示出大模型所具有的接近于人類的文字處理能力、數學推理能力等，但在通往通用人工智能（AGI）的路上，需要研究和解決的問題反而更多了，如信心校準、長期記憶、持續學習、個性化、規劃和概念跨越、透明度、認知謬誤和非理性等。過去半年最重要的研究方向是破解和了解大模型神秘而又令人興奮的智能“湧現”，大模型既需要超越對下一個詞的預測能力，也需要一個更豐富複雜的“慢思考”深層機制，來監督“快思考”預測下一個詞的機制。

報告顯示，最好的前沿研究一定是研究和解決技術規模應用中遇到的問題，如研究如何減少幻覺，調教大模型更加準确地輸出真實内容，訓練出更強的推理能力；如何更集約地訓練模型，降低門檻，推出新産品，讓各行各業和消費者都能用上；如何能像人一樣與真實的實體世界互動；如何成為人類複雜工作的助手，設計并幫助執行科學實驗；如何影響就業，進而做出政策的響應；如何讓人工智能安全和可信。

長期來看，人才對人工智能未來的影響超過了算力。中國研究人員釋出的論文在數量上已經超過了美國，但金字塔頂端，無論是研究還是創業，美國仍然占據明顯優勢。在全球範圍内，人工智能研究創新的重心正從高校轉移至企業，美國擁有頂尖學者最多的前三大機構分别是谷歌、微軟與Meta，合計招攬了美國頂級學者的30%，中國仍以高校為主。