作者 | ZeR0
編輯 | 漠影
智東西4月23日報道，今日，商湯科技全新更新“日日新SenseNova 5.0”大模型體系，綜合能力全面對标GPT-4 Turbo。
同時，商湯在業界首次推出“雲、邊、端”全棧大模型産品矩陣，包括商湯端側大模型、端雲協同解決方案，以及面向金融、代碼、醫療、政務等領域的邊緣産品“商湯企業級大模型一體機”。
“日日新SenseNova 5.0”采用混合專家架構，基于超過10TB tokens訓練、覆寫大量合成資料，推理時上下文視窗可支援200K，主要增強了知識、數學、推理、代碼能力，在主流客觀評測上達到或超越GPT-4 Turbo性能。
現場示範了“日日新5.0”與GPT-4多項功能對比，包括創意寫作、邏輯推理、文生圖、圖像了解、根據圖檔計算食物熱量等。
為了秀端側大模型的肌肉，商湯科技還“玩”起拳皇。一開始綠衣玩家GPT-4略占上風，但很快就被紅衣玩家SenseChat-lite各種連招打得反應不過來，最終紅方取勝。
商湯董事長兼CEO徐立說，不是模型能力有多強，是在不同的适用場景下，小模型的決策速度快，當大模型還在計算，小模型已經完成了判斷并出拳，不管它的拳是不是最優的，都實實在在地打到了對手的身上。
其端側大模型實作業内最快推理速度，旗艦平台最高達109.5字/秒，而人眼最快閱讀速度僅為20字/秒，現場示範的處理對話、圖像處理速度快過雲端。商湯還正式釋出端側業務SDK，可适配多款高通骁龍、聯發科天玑晶片。
企業級大模型一體機支援千億模型加速和知識檢索硬體加速，相比行業同類産品，千億大模型推理成本可節約80%。小浣熊·代碼大模型一體機輕量版每台售價35萬元起，單台支援100人團隊使用，每日使用成本低至每人4.5元。
同時，商湯釋出了基于昇騰原生的行業大模型，與華為共同打造面向金融、醫療、政務、代碼等大模型産業生态。
在自身應用方面，商湯“日日新SenseNova 5.0”在秒畫、如影、格物、瓊宇、大醫、小浣熊家族等産品均有重要更新。
還有One More Thing——文生視訊生成平台，徐立帶來了三段完全由大模型生成的視訊，并着重強調對人物、動作、場景的可控性。
未來，通過輸入一段文字描述即可生成一段視訊，而且人物的服飾、發型、場景都能根據預先設定，保持視訊内容的連貫性和一緻性。
金山辦公CEO章慶元、海通證券副總經理兼首席資訊官毛宇星、小米集團小愛總經理王剛、閱文集團築夢島總經理葛文兵均來到現場，分别作為辦公、金融、出行、IP角色等行業的代表進行分享。幾位客戶代表的發言都很有料，或連爆金句，或幹貨頻出，對行業發展很有參考性。
一、文科數理能力均顯著提升，全面對标GPT-4 Turbo
商湯董事長兼CEO徐立首先提到Scaling Law尺度定律，即随着模型參數變大、資料量變大、訓練時長加長，算法性能會越來越好。
還有兩條隐藏假設，一是可預測性，在小尺度上做很多實驗，跨越5~7個數量級尺度依然保持性能的準确預測；二是保序性，在小尺度上驗證的性能優劣，在大尺度上依然保持着優劣。
這可以指導在有限的研發資源上找到最優模型架構和資料配方，讓大模型能最高效地學習。
基于實驗結果，小模型在優化資料的情況下，性能可逼近甚至超越跨資料級的大模型。
“商湯在尺度定律的指導下，會持續探索大模型能力的KRE三層架構（知識-推理-執行），不斷突破大模型能力邊界。”徐立說。
為了解決資料集品質的瓶頸，日日新5.0訓練用到10T+ tokens的中英文預訓練資料，進行了精細設計的清洗處理，形成高品質基礎資料。
此外，合成思維鍊資料，是激活大模型的強了解推理能力的關鍵。商湯在預訓練過程中大規模采用數千億tokens量級的邏輯型合成資料。
“日日新5.0”在中文了解、知識儲備、數理邏輯、代碼程式設計等方面的能力明顯提升，在主流客觀評測上達到或超越GPT-4 Turbo。
在文科能力方面，“日日新5.0”的創意寫作、推理、總結能力均大幅優化，相同的中文知識注入後，可獲得更好的了解總結及問答。
基于大量中文語料的建構，在開放式寫作，比如讓它寫2022年基于《紅樓夢》給匾額題名來探讨創新的聯考作文，可以看到GPT-4寫作風格比較生硬：“在學習上……在工作中，……”；“日日新5.0”則寫得更加發散，從詩經楚辭到文化革古鼎新，再到網際網路新知識的融合。
在理科能力方面，“日日新5.0”的數理、代碼及推理能力達到業内領先水準。
商湯展示了一個數學題示例：媽媽給圓圓沖了一杯咖啡，圓圓喝了半杯後，加滿水，她又喝了半杯後，再加滿水，最後全部喝完，問圓圓總共喝掉多少咖啡和水。如果了解成總共加了兩次半杯水即一杯水，那麼答案是一杯咖啡一杯水。如果從每次喝掉多少水來算，計算則比較複雜。
“日日新5.0”了解完後，得出跟剛才解讀一緻的答案。而GPT-4把事情搞複雜了，得出的答案是喝了19/20杯咖啡和1+4/5杯水。
還有一個簡單的邏輯情景題，13個小朋友玩老鷹抓小雞，抓了5隻小雞，問還剩幾隻。GPT-4不了解老鷹抓小雞遊戲中有1人要當老鷹，給出的答案是8隻。“日日新5.0”則給出正确答案。
在多模态能力方面，其在多模态大模型權威綜合基準測試MMBench中綜合得分排名首位，在多個知名多模态榜單中取得領先成績。
商湯将“日日新5.0”的文生圖能力與幾個業界最好的模型做直覺對比。
徐立說，文生圖的一個難點是如何将真正的了解與合成放在一起。其他主流文生圖模型對于文字嵌入到圖像中都有一定缺失，日日新5.0則能表現得非常好，有比較完整的指令跟随生成效果。
在應用産品層面，“日日新5.0”支援高清長圖的解析和了解以及文生圖互動式生成，還可以實作複雜的跨文檔知識抽取及總結問答展示。
長圖上會有很多資訊點，但推到多模态視窗中，往往圖像分辨率過高，上傳不了。對此，商湯給出了非常大的分辨率接口，支援使用者對長圖等級性提問，包括描述圖檔細節、總結标題内容等。
再比如打車應用界面截圖，它可以識别捕捉到其中的時間、車輛距離、文字提示、車輛資訊、功能按鈕、推廣活動等核心資訊。
它也可以化身卡路裡助手，拍一張早餐照，讓它算算一共多少熱量。
相比GPT-4，日日新5.0在了解中式餐飲内容中表現更好。
小浣熊家族是基于商湯大語言模型打造的AI原生生産力系列工具，覆寫軟體開發、資料分析、程式設計教育等多個場景，旨在提升工作效率，已推出代碼小浣熊、辦公小浣熊等成員。輸入商湯小浣熊網頁截圖，“日日新5.0”可以進行較長的描述。
再讓它根據前兩個小浣熊，來生成一張新的小浣熊形象，它會先解釋自己的設計思路，然後生成對應形象。而對GPT-4進行完全相同的輸入，GPT-4生出的形象毫不相關，并沒有将前兩個小浣熊形象融入到它的設計理念中。
通過使用者的自然語言輸入，辦公小浣熊可自動将資料轉化為有意義的分析和可視化結果。比如導入資料庫檔案，資料庫裡隻有英文名，而使用者輸入查找的是中文名，第一波輸入後沒查到，接着告訴辦公小浣熊“肯定有的 你再找找”，它就會進行思考，再度檢查和篩選，找出模糊比對的資訊。
它還可以檢查資料庫中多個表格的交叉資訊來彙總計算，并生成直覺的可視化圖表乃至雷達圖。
二、端側模型跨級領先，端雲協同方案大降推理成本
天下武功，唯快不破。
商湯推出SenseChat-Lite版本端側⼤模型，可落地手機、平闆、VR眼鏡、智能汽車等端側。
商湯日日新·端側大語言模型的推理速度更快，首次加載低于0.4秒，解碼⼤于30tokens/秒，号稱“同等尺度性能最優，跨級尺度全面領先”。
人眼最快閱讀速度為20字/秒，而該模型在中端平台實作18.3字/秒的平均生成速度，旗艦平台更是達到78.3字/秒，最高能達到109.5字/秒。
商湯通過SDK形式為終端使用者提供量化部署工具鍊，資料處理均在終端裝置上完成，有效保障⽤戶隐私安全。
商湯還推出端雲協同解決方案，進行高性能計算，處理複雜的任務。
該方案支援在不同的裝置和平台上運作，使得模型可以在各種終端上進行部署和應用，同時實作在離線狀态下仍能保障服務和應用。
其端雲協同⽅案性能名額上，在綜合考試、語言、知識考試、推理等17個測試集下，平均性能接近雲側，但80%的推理将在端側處理，是以節省了大量雲側推理成本，模型能夠及時适應變化的環境和需求，保持高性能和準确性。
現場示範了端側離線運作商量平台，比如寫請假申請、将長篇大論總結成一句話。基本上眼睛還沒看清，模型已經生成出答案。
其端側擴散模型同樣實作了業内最快推理速度。
1B模型支援在高通、聯發科高端平台上端側離線運作，端側LDM-AI擴圖技術在主流平台上推理速度不到1.5秒，比友商雲端app快了10倍，可在數秒内生成1200萬像素及以上的高清大圖，并支援在端側快速進行等比例擴圖、非等比例擴圖、旋轉填充擴圖等多種圖像編輯功能。
端側智能體也很友善，能夠自動執行一連串複雜指令，比如打開郵箱-檢視郵件-把郵件移動到指定檔案夾-打開微信-進入指定微信群聊-在群公告中釋出指定内容。
商湯宣布端側業務SDK正式釋出，适配多種主流高通骁龍、聯發科天玑晶片，支援XR、PC、車載、安卓/iOS移動全平台。
三、釋出企業級大模型一體機，大模型推理成本可節約80%
面向邊緣側，商湯面向金融、醫療、政務、代碼四個行業推出商湯企業級大模型一體機。
一體機同時支援千億模型加速和知識檢索硬體加速，實作本地化部署，即買即用，相比行業同類産品，千億大模型推理成本可節約80%；檢索大大加速，CPU工作負載減少50%，端到端延遲減少1.5秒。
金融大模型一體機采用國産雙路主要CPU及四顆智算加速卡，單機能夠滿足30人同時使用，支援萬量級的金融文檔管理和檢索，在萬級文檔知識庫規模下檢索準确率超過90%，滿足金融部門的精準檢索要求。
醫療大模型一體機是軟硬一體私有化醫療大模型解決方案，針對智能問診、導診、病曆結構化、影像報告解讀等場景，支援智能調整回複内容的語言風格、詳略程度、格式要求等，一鍵自定義專屬醫療場景，實作小成本高精度的醫療大模型部署。
政務大模型一體機是面向政務咨詢場景的邊緣大模型産品，采用國産雙路主要CPU及四顆智算加速卡，支援萬量級的政策文檔管理和檢索，面向有政務咨詢需求的部門機關, 輔助更高效地處理與法律法規、政策标準相關的咨詢和決策任務。
小浣熊·代碼大模型一體機輕量版是面向軟體開發的邊緣大模型産品，是一套安全可靠、開箱即用、高成本效益的企業軟體研發軟硬體一體化解決方案，能夠幫助開發人員更高效地編寫、了解和維護代碼，提高軟體開發的效率和品質。
其在HumanEval的測試通過率高達75.6%，超過GPT-4的74.4%，能夠支援90多種變成語言和8K上下文，單機可滿足100人團隊應用需求。小浣熊·代碼大模型一體機輕量版每台售價35萬元起，每日使用成本低至每人4.5元。
相較于傳統的雲服務模式，這些一體機的所有資料處理過程均在客戶的私有環境内完成，能夠有效避免資料在傳輸過程中的洩露風險，及跨境傳輸等引發的合規問題。
四、四大客戶曬落地成果，金融大模型、拟人大模型釋出
金山辦公CEO章慶元、海通證券副總經理兼首席資訊官毛宇星、小米集團小愛總經理王剛、閱文集團築夢島總經理葛文兵均在現場分享了與商湯的合作進展，以及一些最新行業觀察與見解。
金山辦公CEO章慶元說，金山辦公從去年下半年開始一直在跟商湯合作。大約四年前，金山辦公就将AI定位為其産品核心戰略之一，當時還沒有大模型；金山辦公一年陸續上線20多個AI功能，包括内容創作、智慧助理、知識洞察等。
兩周前，金山辦公釋出WPS AI企業版，包括AI Hub智能基座、AI Docs智能文檔庫、Copilot Pro企業智慧助理。他分享說，企業關心的内容與C端應用完全不一樣，是以他們做了整合。未來金山辦公希望在Copilot方向有所突破。
“我始終認為，如果AI隻會吟詩作畫，其實AI是不可能改變世界，不可能颠覆世界。”章慶元說，AI要改變世界，真正提高生産力，不一定要多寫代碼，AI一定能夠做一個真正的Copilot，因為它隻有調取各種API，才能對企業生産力甚至對世界和社會産生巨大的影響。
金山辦公去年開始與商湯合作探索Copilot，4月釋出WPS AI企業版Copilot Pro企業智慧助理，就是基于商湯日日新模型。其低代碼功能也接入了商湯模型，通過對話形式來生成各種自己的辦公自動化應用。他談到金山辦公測試過全球的Copilot，包括GPT-4，之是以選擇跟商湯合作，是因為商湯在金山辦公的應用場景中準确度還是非常高的。
章慶元認為理科能力比文科能力難，因為涉及思維鍊推理，“文科說實話，有時候文章寫出來，聽君一席話，勝似一席話，總是沒錯的。”
海通證券是中國境内唯一一家至今仍在營運并且未更名、未被政府注資且未被收購重組過的大型證券公司，正在建構AI應用生态。海通證券副總經理兼首席資訊官毛宇星分享說，海通證券與商湯科技做的最新是在生成服務上，重點分享了智能問答、智能研發、智能研報三個營運場景。
現場，商湯科技與海通證券聯合釋出金融行業多模态全棧式大模型，雙方在智能客服、合規風控、代碼輔助、辦公助手等領域助推業務落地，并共研智能投顧、輿情監控等行業前沿場景，打通證券行業大模型落地的全棧式能力。
在個人出行場景，小米汽車SU7的智能車艙中應用了商湯的大模型技術，基于商湯端雲大模型解決方案。小米集團小愛總經理王剛說，小米人工智能助手小愛同學已經落地到小米最新釋出的汽車、手機、AIoT和機器人中，這是一個軟硬體深度結合的産品，要做到全場景體驗一緻。小愛同學不止有語音助手，還提供小愛建議、小愛視覺、小愛翻譯、小愛通話等智能服務。
小愛大模型已在多裝置落地，8月份在手機上開啟内測，目前有900萬大模型使用者。王剛說，車上大模型和手機大模型的體驗設計差别很大，需要對大模型進行相應的适配調教，才能适用于汽車任務。有大模型後，月活躍使用者次日留存提升了10%，中長尾Query滿足率也提升至80%。
大模型技術給小愛帶來了三個方面的跨越式更新：一是通用對話，二是垂直領域AI，三是NLP任務。具體而言，整個技術架構可以簡化成如下圖所示，基本分為4類問題，第一類偏工具類，第二類篇偏内容類，這兩類相對簡單，都是背後的一些執行類操作；第三類偏創作類，之前沒有大模型是做不到的；第四類需要更大參數規模的大模型去回答，因為對知識的準确率要求極高。
如何選擇大模型？
王剛認為，首先要建設滿足業務需求的評測體系，然後選擇合适的模型（大小、擅長領域、性能），并針對業務場景将模型進行優化（Prompt優化、微調、預訓練）。
在大模型綜合能力評測方面，他關注的重要名額是效果名額和性能名額。效果名額會拆解成不同次元，綜合對比不同模型産生效果的差異，然後針對不同類别去構造一個混合系統，挑選最好的大模型。“現在我們在非常多的場景上使用了商湯的大模型。”王剛說。
在過去的合作過程中，他感受到商湯大模型有三個典型特點：
第一，模型性能好，速度快。當使用者說完話，他們希望1.4秒内完成所有處理步驟，讓使用者聽到相應的回複；但1.4秒對于大模型能力來說太苛刻了，現在要求放寬到了2秒内，王剛稱能滿足這一響應速度的大模型在行業内其實并不多。
第二，模型效果好，具備檢索能力，可以引用高品質資訊來源。
第三，模型能力強，支援知識注入、指令追随，包括能對生成内容要有一定限制和引導，支援快速對模型進行微調。在他看來，讓大模型輸出一個穩定的結果很不容易，大模型在實際産品場景中落地，通用基座能力要比較強大，更重要的是持續針對業務場景要求的大模型适配能力。
最後，他總結了小愛同學的未來規劃，一是基于大模型進行技術更新，二是用多模态創造全新産品體驗，三是和作業系統深度整合，四是端側大模型在無網環境下提供較好的體驗。
王剛還分享了一個小故事。今年1月，他所在的團隊要向小米創始人、董事長、CEO雷軍概括小米汽車大模型的效果，當時示範完後就被批了，團隊壓力很大，為達要求，希望一周完成四五個需求的優化，并達到比較好的效果。結果商湯團隊在兩三天内就把所有需求做完了。一周後，他們再去給雷軍示範，整個效果已經非常不錯。
談到大模型推理成本，王剛說，他們最開始接入大模型時，大模性還非常貴，當時算下來一台手機一個生命周期内使用大模型的成本約20元，這是手機硬體部門接受不了的。
過去他們分析，要覆寫這部分成本，可能有3種途徑，一是硬體願意出錢，二是可商業化、網際網路變現，三是使用者付費。這三條路他們都嘗試走了，也得益于大模型的進步，成本下降非常快，現在終端機和高端機上的硬體可以出一定費用來覆寫模型成本，大約隻有原來20元的1/4~1/5。中高端手機和汽車對大模型成本已經不敏感了，手機端有機會通過接下來的内容分發、服務分發、變現去覆寫大模型成本，但如何把大模型部署到智能音箱仍難度較大。
閱文集團築夢島總經理葛文兵說，能夠真正滿足内心需求的産品存在市場空白，築夢島擁有廣泛的角色陣容和雄厚的IP儲備，随着使用者對AI角色品質苛刻程度逐級提升，其中網文角色難度最大，是以築夢島選擇與商湯合作。
商湯拟人大模型支援個性化角色建立與定制、知識庫建構、長對話記憶、多人群聊等功能，可實作角色、人設及劇情推動能力，能做到人設貼合，可設定不同檔位的對話親密度，驅動各類原創及IP角色上線多個平台。
體驗位址：https://character.sensetime.com/
結語：“大模型+大算力”雙輪驅動，營運算力規模達12000P
基于“大模型+大算力”雙輪驅動戰略布局，商湯科技打造“日日新SenseNova”大模型體系和“SenseCore商湯大裝置”，在推動自身大模型研發的同時，也為行業夥伴提供大模型訓練、微調、部署和各類生成式AI的能力及服務。
SenseCore商湯大裝置是商湯科技前瞻打造的高效率、低成本、規模化的新一代AI基礎設施，目前實作了全國聯網的統一排程，在上海、深圳、廣州、福州、濟南、重慶等地均有計算節點。
通過算法設計與算力設施聯合優化，目前商湯大裝置已實作萬卡叢集互聯，營運算力有12000P；GPU超4萬塊；峰值算力有12000P，預計到今年年底達到18000P；國産化算力2000P，已完成58款國産晶片的适配與應用。
基于SenseCore商湯大裝置，商湯新推出的“模型即服務”商業模式使客戶能夠輕松地在大裝置微調和調用各類生成式AI能力。
日日新大模型體系在自然語言處理、視訊生成和深度學習優化等多個方面取得創新，提供自然語言處理、圖檔生成、自動化資料标注、自定義模型訓練等多種大模型及能力。
基于該大模型體系，商湯自研了中文語言大模型應用平台，以及包括AI文生圖創作、2D/3D數字人生成、大場景/小物體生成等一系列生成式AI模型及應用，并面向政企客戶提供多種靈活的API接口和服務。
在探索先進大模型技術的同時，商湯科技也在推動大模型與産業、應用場景更好的結合，幫助更多行業低門檻、高效落地部署AI大模型技術。