看不懂生成式AI時代的商業化前路？對大模型訓練和部署成本感到困擾？來，聽聽54位産學研投大咖的回答。
爆！爆！爆！好火爆的一場AI主題盛會。
智東西4月19日報道，為期兩天的2024中國生成式AI大會，今日在京圓滿收官。
54位産學研投嘉賓代表全程幹貨爆棚，報名咨詢人數逾5200人，超過1800位觀衆到場參會，線上觀看人次更是超過850萬。
參會觀衆們的熱情溢滿了1230平方米主會場，連分會場收費制的具身智能、AI智能體技術研讨會和免費開放的中國智算中心創新論壇都座無虛席，展區附近交流讨論聲此起彼伏。
▲中國智算中心創新論壇座無虛席，連追加兩排座椅，還有不少觀衆站着聽會
還有多個“行業首發”：會上，2024「AI生産力創新先鋒（AiiP）-中國生成式AI企業TOP50」正式揭曉，李未可科技釋出面向眼鏡等未來終端定向優化的自研WAKE-AI多模态大模型，58同城宣布其大語言模型平台今晚将上線Llama 3。
▲智一科技聯合創始人、智車芯産媒矩陣總編輯張國仁公布年度榜單
大會以“重構世界 奔赴未來”為主題，聚集54位産學研投嘉賓代表同台共探生成式AI全産業鍊的發展現狀與未來趨勢，為業界把握時代脈搏提供原創性、高品質的洞見參考。
清華大學計算機NLP實驗室是國内開展NLP研究最早、深具影響力的科研機關。清華NLP實驗室的學術帶頭人——歐洲人文和自然科學院外籍院士、清華大學人工智能研究院常務副院長孫茂松教授，為生成式AI大會作開場報告。
孫茂松分享道，通用人工智能已開始登上曆史舞台，生成式AI會開啟人類全新的創造模式。原來的創作往往是從人類創造的現實空間出發，現在機器創造了更大的現實可能空間，使人們能通過鑒賞選擇和修改提升進行創作。
目前生成式AI的基本定位是啟發、輔助人類，不會取代人類，因為其均屬于機率式方法範式，兼具創造與幻覺一枚硬币的兩面，難以精确操控。生成式AI面臨的近期挑戰，一是走向多智能體，需要讓模型在盡量減少人為幹預的情況下完成某些任務更加“靠譜”，二是走向具身智能，其中的關鍵難點是如何有效建立可計算的世界模型。
▲歐洲人文和自然科學院外籍院士、清華大學人工智能研究院常務副院長孫茂松
國内資深大模型行業投資人，“清華系”、“北大系”、“前大廠高管”等光環加身的明星創業者，國内外頂級AI大廠的資深算法專家，三大國内頭部AI研究機構的科學家與青年學者，最懂AI基礎設施的大廠與創企嘉賓代表，異軍突起的爆款AIGC應用先行者，他們悉數而來。
大會首日，25位嘉賓暢談大語言模型、視訊生成、具身智能、音樂生成、世界模型、垂類行業大模型、AI全棧軟體、加速大模型端側部署等前沿議題。（生成式AI大會沸騰北京！從Sora到具身智能，25位大佬密集輸幹貨）
今日，來自生成式AI前線的學術代表、商業領袖、技術專家、青年學者們，繼續分享對關鍵技術創新、全棧軟體及智算基礎設施更新、AI應用落地探索實踐、可持續商業模式的趨勢洞察。其中多位嘉賓cue到了昨夜新鮮登場的Llama 3。
AI Infra專場：攻克這些“基建”挑戰，才能通往高階AGI
頂尖大模型的強大性能，不止有賴于技術研發實力，還需要紮實的工程功底。底層算力基礎設施和AI軟體基礎設施的更新，都在加速大模型訓練與部署的過程中發揮了關鍵作用。
開源大模型上司者Meta最新釋出的開源力作Llama 3 8B和70B，再度例證攻克“基建”難關何其重要。據Meta披露，兩款模型是同體量中最好的開源模型，Llama 3 400B還在訓練中；Llama 3用兩個定制24K GPU叢集進行訓練，訓練資料量逾15T tokens，比Llama 2的7倍還多。
▲Meta研究團隊在4月15日評估了預訓練和Instruct版中經過部分訓練的模型，并報告了性能資料
這背後，Meta采用指令微調技術來改善對話效果，并結合了資料并行、模型并行、流水線并行三類并行方式來訓練Llama 3，再加上其他優化政策，綜合訓練效率比Llama 2提高了約3倍。
在大會AI Infra專場，來自潞晨科技、NVIDIA、星環科技、中科加禾、天津大學&派歐雲、阿裡雲、焱融科技、Zenlayer的嘉賓代表，分享了類Sora開源架構、大模型全棧AI解決方案、應用開發工具鍊、編譯器、分布式算力網絡、高效存儲等方向的技術、挑戰與政策。
新加坡國立大學校長青年教授、潞晨科技創始人兼董事長尤洋談到模型訓練流程開源的重要性，包括模型架構、模型權重、訓練細節、資料處理等。正如Meta最新釋出Llama 3，其超過4000億個參數的版本開源後，将造福大量開發者。
面向視訊生成領域，他認為現在正處于“GPT-2時刻”，還沒有出現成熟的應用。尤洋帶領團隊開源的全球首個類Sora架構視訊生成模型Open-Sora采用STDiT架構，相比DiT成本大幅降低。Open-Sora未來的發展方向主要是完善資料處理流程以及訓練視訊壓縮Encoder。
▲新加坡國立大學校長青年教授、潞晨科技創始人兼董事長尤洋
NVIDIA解決方案架構與工程總監王淼談到大語言模型生态系統四大趨勢，一是新基礎大語言模型釋出提速，最新代表便是Meta剛釋出的Llama 3，二是新算子和定制技術持續優化，三是模型規模繼續增加，四是從Dense到MoE轉變趨勢形成。這意味着需要全棧AI解決方案助力模型開發和應用部署。
NVIDIA如何搭建大語言模型基礎設施？王淼分享說，NVIDIA為GPU增加的FP8支援相比FP16、BF16實作2倍吞吐性能提升，同時進一步将資料精度縮減到FP4并勝任推理任務。他還分享了NVIDIA在網絡基礎設施上的布局，包括融合标準以太網連接配接和專業高性能架構的NVIDIA Spectrum-X以太網平台、助攻大語言模型應用落地全流程的NVIDIA NeMo、NVIDIA Triton推理伺服器等。
▲NVIDIA解決方案架構與工程總監王淼
星環科技大模型産品負責人童欣欣談道，當下大模型幻覺問題凸顯，通用的大模型難以解決特定場景的問題。企業内部落地大模型應用時，可通過組合提示詞工程、檢索增強、智能體、有監督微調及預訓練等不同方式，來解決垂直場景的業務問題。他還表示大模型及應用開發和落地不是一錘子買賣，需要企業級别的長期運維和監控。
Sophon LLMOps是星環科技推出的企業級大模型和應用開發工具鍊，提供語料知識精細化處理入庫、提示詞開發、語料資料标注、大模型微調訓練、大模型評估部署到大模型應用建構和應用部署上線的全鍊路工具能力。此外，星環科技還推出大模型和應用開發服務一體機，通過預裝Sophon LLMOps工具平台，使用者可按需快速的體驗大模型開發和應用的全流程能力。
▲星環科技大模型産品負責人童欣欣
中科加禾創始人、CEO崔慧敏談道，在AI晶片落地過程中，關鍵是要建構整個基礎軟體的能力，進而增強可持續發展能力。正如CUDA成就了英偉達，軟體生态成為AI基礎設施的标準和競争優勢，決定了晶片的可用性和市場接受度。
崔慧敏強調了跨平台編譯技術的重要性，對标CUDA層次，能跨多種晶片的底層編譯工具是解決國産晶片長期可持續的重要基礎能力。中科加禾利用編譯技術建構的大模型推理引擎可以實作一套軟體對多種AI加速卡的支援。
▲中科加禾創始人、CEO崔慧敏
天津大學計算機科學與技術學院教授、PPIO派歐雲首席科學家王曉飛分享了三個AGI時代的思考：首先，計算與算力供需長尾化且分布不均；其次，計算任務和需求是否完美比對、能否精準排程；第三，“核心+邊緣”分層協同的算力網絡計算範式及算力經濟。
基于上述思考，他認為要搭建AGI Infra，分布式算力網絡是雲邊端協同計算基礎設施的收斂形态。PPIO推出的“派歐算力雲”覆寫全國數千個分布式算力節點，通過智能排程和推理加速技術，可以實作算力成本效益提升數十倍，推理成本大幅度降低。
▲天津大學計算機科學與技術學院教授、PPIO派歐雲首席科學家王曉飛
阿裡雲進階技術專家、阿裡雲異構計算AI推理團隊負責人李鵬談道，大模型的發展給計算體系結構帶來了功耗牆、記憶體牆和通訊牆等多重挑戰。其中，大模型訓練層面，使用者在模型裝載、模型并行、通信等環節面臨各種現實問題；在大模型推理層面，使用者在顯存、帶寬、量化上面臨性能瓶頸。
對于如何進一步釋放雲上性能？阿裡雲彈性計算為雲上客戶提供了ECS GPU DeepGPU增強工具包，幫助使用者在雲上高效地建構AI訓練和AI推理基礎設施，進而提高算力利用效率。目前，阿裡雲ECS DeepGPU已經幫助衆多客戶實作性能的大幅提升。其中，LLM微調訓練場景下性能最高可提升80%，Stable Difussion推理場景下性能最高可提升60%。
▲阿裡雲進階技術專家、阿裡雲異構計算AI推理團隊負責人李鵬
焱融科技CTO張文濤解讀了存儲對大模型訓練和推理的重要性，從資料加載、協定、模型加載到Checkpoint儲存等，過程中存在大量小的讀寫請求、GPU傳輸等。對于多模态大模型，高性能存儲對訓練的提升效果更好，效率可提升20-40%。
針對訓練推理，焱融科技推出了多雲存儲解決方案，基于統一的資料湖底座，通過資料編排将資料按需加載到資料中心，并異步将新增的模型資料推到資料湖。資料加載支援對接OSS、COS、BOS等各大主流對象存儲平台。
▲焱融科技CTO張文濤
Zenlayer行業拓展總監陳秀忠談道，通往更進階AGI的挑戰在于更即時的互動、更廣的資料、更廣的算力。是以，面向AGI的全球邊緣雲方案需要考慮支援實時互動的全球網絡、資料本地存儲和全球流動、大量的邊緣節點。
專線對中國企業在海外部署關鍵應用十分重要。陳秀忠稱，安全合規的跨境專線是企業連接配接全球的第一跳。Zenlayer通過邊緣資料中心服務，可為企業提供定制化的機房托管和托管主機解決方案。
▲Zenlayer行業拓展總監陳秀忠
AIGC應用專場：核心問題是高品質資料，3D生成今年将實作真正可用
過去一年，中國生成式AI産業出現很多代表性的商業化探索成果。在手機、網際網路、影視、音樂、遊戲、金融、電商、文娛、教育、工業、自動駕駛、生活服務等應用場景，搜尋、辦公、寫作、創意到繪畫、修圖、視訊編輯、3D模組化等AI提效工具如雨後春筍般蓬勃而生。
探索視訊生成和世界模型的極佳科技，用AIGC賦能影視行業的天圖萬境，将3D生成帶入秒級時代的VAST，為生活服務打造垂類大模型的58同城，提供決策式AI和生成式AI相輔相成技術方案的百融雲創，打造遊戲行業一站式AI賦能平台的行者AI，提供全鍊路電商内容生成引擎的極睿科技，用AIGC降低音樂制作門檻的靈動音DeepMusic，均在今天下午的AIGC應用專場進行分享。
極佳科技創始人兼CEO黃冠認為，當下所有“通用智能”都在走向“端到端大模型”，一切問題都變成了“高品質資料”問題。“世界模型”是未來具身智能最重要的“高品質資料”來源，它結合網際網路資料、仿真資料、遙操資料、真實采集資料等多種資料，學習、訓練、組合，進而得到互動式實體世界模拟器。 極佳科技正基于世界模型打造新一代資料平台，面向端到端自動駕駛和通用機器人提供服務。極佳科技DriveDreamer自動駕駛世界模型、WorldDreamer通用世界模型目前已成功商業化落地。
▲極佳科技創始人兼CEO黃冠
天圖萬境創始人圖拉古認為，AI應該是能夠給人們帶來溫暖、彌合世界的創作工具，而不是取代人工作的的“内卷武器”。是以AI不能離開應用談技術，而是要建立到應用端的完整産業鍊。天圖萬境從AI文本創作，到視訊生成，再到服務使用者的應用端，打造了全産業鍊技術解決方案，且都早于國際巨頭釋出了對應産品，目前正在快速疊代中。
其展示的聲音生成工具Sora Opera，可以自動感覺、智能識别視訊畫面中的實體邏輯，精準配出風格多變的音樂音效，為視訊增加聲音的魅力。還有聲音克隆工具SoundMax，它不走傳統TTS路線，而是将輸入的人聲轉換成其他聲線。這樣的人工智能工具，不會讓配音演員失業，而是讓他們在演繹不同角色時插上飛翔的創意翅膀。
▲天圖萬境創始人圖拉古
從文字、圖檔到視訊、3D，資訊載體不斷更新，VAST創始人兼CEO宋亞宸談道，3D的體驗品質、資訊密度不斷提升且更具互動性。他認為目前3D生成已經達到類似Midjourney V3的效果，今年9月将達到類V4效果，年底達到類V5效果，實作真正可用。
為了應對3D生成創作成本和門檻過高的挑戰，VAST将3D内容平台和大衆級創作者平台結合。VAST的3D大模型Tripo已實作模型生成數量超150萬個。
▲VAST創始人兼CEO宋亞宸
58同城TEG-AI Lab大語言模型算法部負責人孫啟明認為，通用大模型+提示不會代替一切，應用方需要結合自身業務場景，微調出自己的大模型。58同城建構了模型領先、靈活易用的AI平台，助力AI應用在内部各業務線快速落地。
58同城搭建了一套支援大語言模型訓練、推理的平台，內建開源通用大模型，今晚将上線Meta最新推出的Llama 3模型。基于大語言模型平台，58同城已推出了垂類大語言模型靈犀大模型（ChatLing），相比官方開源大模型實作了更好效果。
▲58同城TEG-AI Lab大語言模型算法部負責人孫啟明
百融雲創AI創新負責人談道，生成式AI是AGI的先導，其與決策式AI最大的差別在于問題空間的擴大。傳統模型提供的優化候選集合約為數千個。而Llama 2提供詞表中包含3.2萬個選項，對資訊的壓縮比達到14倍；剛剛釋出的Llama 3候選詞表擴充超過了12萬個，對資訊的壓縮比也提升到30倍以上。
面向金融行業，百融雲創開發了百融大模型一站式應用開發平台，針對資訊安全、複雜溝通等需求建構了BR-Coder程式設計助手、數字員工和互動式數字人Web-Copilot等應用。
▲百融雲創AI創新負責人分享生成式AI是AGI的先導
行者AI創始人&CEO尹學淵認為，此前AI輔助内容創作在快、好、便宜之間的“不可能三角”，被生成式AI打破了，并為教育、文旅行業開啟了互動式、沉浸式新體驗。
在他看來，大模型走向落地時，“最後一公裡”需要結合具體行業、具體領域工作流，一緻、可控、高精度是工業化AI成為工具必不可少的特性。而行者AI的解決方案可以将産品策劃、美術總監等使用者的工作效率提升3-5倍。
▲行者AI創始人&CEO尹學淵
極睿科技創始人兼CEO武彬談道，當下電商行業圖文和短視訊的内容數量與需求都在大幅上升，内容關聯着平台、賣家與買家的核心交易訴求，但内容制作效率嚴重不足。
成立于2017年的極睿科技專注于打造電商内容生成引擎，推出了ECGPT+FashionCLIP基座模型及多種電商垂直大模型，可支援商品AI拍攝、AI排版上新、AI直播切片、AI生成商品短視訊、AI帶貨、一站式AI技術與資料服務平台、智能商品作業系統等多種功能，目前已合作超4萬電商客戶。
▲極睿科技創始人兼CEO武彬
DeepMusic CEO劉曉光分享說，目前的音樂商業格局，主要面向泛音樂愛好者的聽歌及淺度實踐使用者的唱歌消費體驗，而中間有1億以上活躍的音樂人、音樂實踐者群體，其需求尚未得到好的産品滿足；同時音樂制作流程長、門檻高，這使得音樂AIGC技術有用武之地。
對此，DeepMusic建構了跨平台一站式AI音樂工作站“和弦派”，以更直覺的音樂知識呈現、編輯形式，解決音樂中歌詞、旋律、伴奏等不同模态之間溝通困難的問題，覆寫音樂創作、制作多個流程；未來DeepMusic也會通過積累的精細化标注資料資料，實作對音頻模型的精細化控制。
▲DeepMusic CEO劉曉光
除了上述嘉賓外，另有7位嘉賓在分會場的中國智算中心創新論壇進行分享，6位嘉賓在分會場收費制的智猩猩AI智能體技術研讨會上輸出幹貨。
智東西後續将整理中國智算中心創新論壇的精華報道，以及部分嘉賓的演講幹貨，敬請關注。
結語：下一站，上海見！
“我們正站在曆史的轉折處，見證和參與由生成式AI引領的新一輪科技變革。”智一科技聯合創始人、CEO龔倫常代表主辦方為大會緻辭。
過去一年，生成式AI狂飙突進，整個産業鍊成為全球創新、投資和應用最活躍的領域之一，每位參與者都在與時間賽跑。作為智能産業的長期觀察者，我們期待見證并記錄中國生成式AI浪潮之變，并将持續邀請這股浪潮中的生力軍們，分享他們最新的技術進展與商業化探索。
今日，為期兩天的2024中國生成式AI大會·北京站圓滿收官。半年後的11月份，我們将在上海，為中國生成式AI産業再辦一場秋日盛會。
除此之外，智一科技旗下AI與硬科技知識分享社群智猩猩将聯合智能汽車産業新媒體車東西、晶片産業新媒體芯東西，6月在上海舉行中國智能汽車算力峰會，9月在深圳舉行第六屆全球AI晶片峰會，12月在深圳舉行第四屆全球自動駕駛峰會。歡迎參會交流。