此篇文章為今日頭條首發文章,其他賬号如出現相同文章,均為搬運
随着ChatGPT的爆紅和人工智能大模型的興起,國内掀起了一波創業熱潮。
然而,當熱情冷卻之後,真正能夠紮根的團隊還是那些早有布局的企業和科研機構。像百度、阿裡、騰訊等老牌網際網路企業以及智譜華章、智源、複旦等高校和科研機構,他們早已有所準備。
知乎的總結回答也來自于智海圖,這些都是經過時間洗禮的老牌團隊。
vivo作為一家主要以手機為主的企業,其釋出的産品隻是積累和沉澱的結果。
在大模型的發展中,手機端的應用已經變得非常重要。大模型全名為人工智能預訓練大模型,其中最著名的就是OpenAI的ChatGPT,它利用了谷歌于2017年釋出的Transformer架構,為自然語言處理的領域做出了重要貢獻。
國内的大模型起步稍晚,大約從2019年開始。華為、阿裡、百度、商湯科技、浪潮等科技企業相繼釋出了“文心一言”、“通義千問”、“混元”、“盤古”等大模型。
vivo也是在這個時間段開始研究大模型,并經曆了大模型的發展和爆發期。大模型的參數規模是影響精度的基礎。
當參數量和訓練量達到一定規模後,模型的精度會顯著提升。同時,大模型能夠自動學習和發現新的、更高層次的特征和模式,包括語言了解能力、生成能力和邏輯推理能力等。
是以,vivo選擇先訓練兩個參數千億級以上的模型,為模型賦予對應的能力。算力是決定大模型處理能力的關鍵因素。
訓練和推理大模型都需要高算力的支援。為了節省算力,一種常見的做法是利用壓縮算法對模型進行裁剪和蒸餾,将龐大而複雜的預訓練模型轉化為精簡的模型。
vivo選擇先訓練千億級别參數的大模型,然後推出660億參數、70億參數和10億參數的大模型,以滿足不同場景下的需求。在手機上運作大模型的應用也在迅速推進。
谷歌早在今年的I/O開發者大會上釋出了手機端可運作的PaLM2模型。
與此同時,高通和聯發科等手機SoC廠商也開始支援大模型的應用,為手機上運作大模型奠定了硬體基礎。
大模型的應用可以提升各類語音助手的效能。通過大模型,語音助手可以提升對語義了解的準确性和對上下文對話的連貫性。
此外,在圖像識别領域,大模型也能夠實作更好的拍攝效果和虛化效果,提高手機的拍攝體驗。它還可以應用于教育領域,輔助孩子做作業和學習,提供多種解題方法。
同時,大模型的應用還可以與智能家居關聯,改進智能家居裝置的使用者體驗。盡管目前大模型在手機上的應用還不太普及,但它的潛力巨大。
将大模型的能力引入手機消費者的日常生活中,可以實作真正意義上的人工智能。vivo從1750億參數的大模型開始,經過裁剪和蒸餾,推出了660億參數、70億參數和10億參數的大模型,以适應手機的記憶體和算力限制。
手機上運作大模型主要面臨兩個問題,即記憶體需求和功耗。
手機記憶體有限,大模型需要占用一定的記憶體空間。
為了解決這個問題,vivo采用了端雲結合的模式,根據問題的複雜度将計算配置設定至本地或雲端。另一方面,功耗對手機的影響也很重要。
為了降低功耗,vivo先設計了一個功能全面的大模型,然後根據需求裁剪和蒸餾,推出了适合手機端的模型。大模型的應用對開源社群也有很大的推動作用。
開源社群已經存在了很多創新生态,大模型的加入會進一步豐富這種生态。
如果vivo能夠支援開源社群的建設,70億參數的大模型可能會有更豐富和高效的應用。
總的來說,大模型的應用将成為網際網路基礎設施的一部分。手機作為個人随身攜帶的電子産品,對大模型的應用具有重要意義。
vivo在大模型的研發和應用上處于第一梯隊,他們在博鳌論壇上釋出的大模型矩陣,展示了他們的實力和雄心。通過端雲結合,大模型有望成為手機的一個重要功能,實作人工智能在日常生活中的全面應用。