天天看點

“通識+産業”大模型,“Alaya元識”的賦能路徑

作者:濤哥說事

2023年11月,國家工業資訊安全發展研究中心、工信部電子知識産權中心釋出的《中國AI大模型創新和專利技術分析報告》顯示,大陸大模型專利申請總數已突破4萬餘件,大模型相關領域的創新日益活躍。

相對于“能做詩會畫畫”的針對to C市場的大模型而言,面向to B市場的大模型如何深耕行業,充分了解行業知識,并且深入到行業客戶的業務流程中,是形成行業壁壘或者說差異化競争優勢的關鍵。新華社研究院中國企業發展研究中心釋出的《人工智能大模型體驗報告3.0》顯示,大模型廠商在技術實力上呈現出百家争鳴的态勢,不同廠商在産品特點和優勢上各有千秋。

除了身處熱潮中心的大模型廠商與大模型本身以外,那些為大模型的行業落地賦能并提供相關基礎軟硬體和服務支撐的企業,不應該隻是“無名英雄”,相反他們才是行業使用者用好大模型不可或缺的可靠保證。

大模型落地最重要

對于很多緻力于大模型普惠的基礎設施提供商以及服務商來說,大模型是AI基礎設施及服務中的一個重要組成部分,也是撬動AI行業應用的一個支點。他們開發、優化大模型,旨在為那些自身不具備獨立開發大模型的能力,或者沒有必要自己開發大模型的企業使用者提供一個快速部署和應用大模型的路徑和平台,讓各行各業的使用者現在就能享受到大模型帶來的紅利。

作為AI基礎軟體供應商,九章雲極DataCanvas為企業訓練和應用大模型賦能,公司自研的多模态大模型系列——DataCanvas Alaya九章元識,作為基礎軟體設施AIFS(AI Foundation Software)的重要組成部分,為企業使用者提供了Foundation model,友善使用者在此基礎之上訓練、微調自己的大模型。

對于大模型訓練的更大挑戰在于,如何在減少算力消耗的情況下,加速大模型的訓練,并且在訓練完成後更,更好地調教這個模型,并使之能夠“飛入尋常百姓家”,讓廣大的中小企業受益。

九章雲極DataCanvas之是以傾心打造Alaya元識系列大模型,初衷亦是如此。所謂元識,來源于佛教用語,意為先天具備的認識能力。Alaya元識系列大模型本身綜合并消納多種能力,旨在通過大模型的通用能力,最大程度地感覺人類古今的所有知識、外界的運作規律、科學道理等,在此基礎上更好地支援人類的各項業務,并具有類人的能力。

Alaya元識系列大模型的本質還是賦能AI應用:一方面,企業使用者可以在Alaya元識大模型之上進行二次訓練或微調,以滿足業務應用需求;另一方面,九章雲極DataCanvas擁有自己的智算中心,Alaya元識系列大模型就部署在此智算中心裡,中小企業使用者可以直接調用九章雲極DataCanvas提供的大模型服務。

以Alaya元識系列大模型為牽引,九章雲極DataCanvas正在積極尋找大模型在企業業務中的落地場景。目前除了通用大模型以外,公司還推出了金融行業大模型,未來還将釋出更多針對行業的大模型,賦能和推動大模型應用的普及。

元識大模型的與衆不同

随着“百模大戰”漸成氣候,産業界、學術界還有媒體紛紛釋出自己的大模型評測榜單。但由于沒有公認有效的評測标準和方式,以及不同榜單的側重點不同,導緻不同的排行榜的結果差異很大,甚至是有天壤之别。公開公平公正的評測确實能夠為行業使用者選擇大模型提供有益的借鑒和參考,但是除了一些關鍵的技術名額之外,大模型能否有效地解決行業使用者的業務痛點,不僅好用更要易用,才應該是選擇大模型的重要标準。

Alaya元識大模型是九章雲極DataCanvas自研的“通識+産業”白盒大模型。作為九章雲極DataCanvasAIFS的核心能力之一,它秉持開放友好的開源理念,提供了一系列不同配置和參數、具備業界前沿能力和技術的預訓練大模型,賦予使用者更大自由度的AI創新能力,以加速實作大模型在多元業務場景中的落地和應用。

“通識+産業”大模型,“Alaya元識”的賦能路徑

1.“白盒”大模型為使用者提供更大自由度。

現在,市場上的很多大模型都是“黑盒”,雖然在一定程度上開源了算法和架構,允許使用者在上面進行訓練,但是仍然受到諸多限制。比如,雖然允許使用者使用該大模型,但是不能做微調,或者不允許使用者做一些自己特有的商業化應用。Alaya元識是全面開源且license友好的“白盒”大模型,遵循Apache 2.0 license,行業使用者可以在Alaya元識大模型之上自由地訓練、微調自己的大模型。

2.“多模态”是必要前提,更是創新的手段。

所謂多模态大模型,是指可以處理來自不同模态,如圖像、語音、文本等多種資訊的機器學習模型。今天,多模态已經成了大模型的“标配”。Alaya元識大模型不僅可以支援文本、圖像,還能支援時序資料、結構化資料等。

舉例來說,我們在裝置維修手冊中可能會經常看到類似的描述——“如圖所示,故障點為圖中紅圈所示的位置……”如果是一個僅僅基于文檔的大模型,就很難了解這句話的正确含義。圖文示意就是一個典型的多模态應用。

對于Alaya元識大模型來說,深耕多模态毋庸置疑。九章雲極DataCanvas還想做得更多,即将“資料”也作為重要的模态之一進行深入研究。應用大模型,資料是必須跨越的一道門檻。九章雲極DataCanvas在自然語言的了解、文生圖、代碼生成等是大模型應用得比較好的領域有很多已經落地的成功案例。但是将資料作為一個模态進行研究并訓練大模型的公司屈指可數,而九章雲極DataCanvas走在前列。比如,九章雲極DataCanvas釋出的DataPilot,作為一種資料處理新範式和基于大模型的新一代資料架構工具,通過充分利用元識大模型的通用文本的了解和生成能力,以及在資料領域的微調優化,能夠幫助使用者實作資料在模組化全生命周期内的智能化、自動化。

在訓練大模型的過程中,資料處理、資料轉換、資料分類、資料标簽制作、資料存儲等是費時費力的工作。以前,如果有類似需求,通常是由業務部門先向IT部門提出需求,IT部門還要求助資料湖倉建設部門,假如沒有現成的資料,還要再找到原始存儲資料,進行轉換、清洗才能導入到數倉中并進行展現。有效縮短這條資料處理的長鍊條對于大模型的應用具有重要價值,可以有效減少大模型訓練、應用過程中所耗費的人力,還能提升大模型應用的效果。DataPilot能可以大幅降低資料內建、治理、模組化、計算、查詢、分析、機器學習模組化全鍊路的技術門檻,同時降低資料驅動業務發展的成本,加快企業數字化創新的程序。

“通識+産業”大模型,“Alaya元識”的賦能路徑

3.新的模型訓練機制,降本增效。

衆所周知,訓練一個大模型的成本是十分高昂。高就高在,大模型不可能僅憑一句話就能準确了解其含義,而是要輸入和處理更多的語議語境,是以對算力的消耗是巨大的。大模型必須容納更多更長的内容。Alaya元識大模型采用了改進的Attention機制、更長的Context window、可組合的微調以及全新的Masking機制等,在有效減少訓練所消耗的算力基礎之上,保證其了解的準确性,同時提升處理速度。

九章雲極DataCanvas擁有一支研發團隊,專門負責訓練機制的研發與創新。Alaya元識大模型采用了新的Attention機制,不僅可以降低算力的消耗,而且在訓練前與訓練後,能夠針對多模态實作有效的資料對齊。這是九章雲極DataCanvas獨有的技術,在訓練時能夠很好地容納多模态這樣一種訓練方式。

4.系列模型矩陣,更好地滿足“通識+産業”的需求。

Alaya元識不是一個大模型,而是一系列大模型,模型參數由小到大,覆寫從通識到垂直行業,能夠更好地滿足使用者多樣化的需求。九章雲極DataCanvas正式開源大模型矩陣中Alaya-7B Foundation Model通識大模型和Alaya-7B Chat Model對話大模型兩大模型,以及LLMOps大模型工具鍊中的LMS模型運作工具和LMPM 提示詞管理器兩大工具,能夠有效地推動大模型在各類行業場景中的實際應用。

Alaya-7B:

“通識+産業”大模型,“Alaya元識”的賦能路徑

LMS模型運作工具:

LMPM提示詞管理器:

“通識+産業”大模型,“Alaya元識”的賦能路徑

面向具體的應用場景中,九章雲極DataCanvas以Alaya元識大模型和LLMOps大模型工具鍊為基礎研發出TableAgent資料分析智能體,TableAgent在充分了解使用者意圖後,能夠自主地利用統計科學、機器學習、因果推斷等進階模組化技術從資料中挖掘價值,進而提供分析觀點和指導行動的深刻見解,實作人人都是資料分析師的目标。

TableAgent公測位址:https://tableagent.DataCanvas.com

“通識+産業”大模型,“Alaya元識”的賦能路徑

在金融、制造、新能源等領域,Alaya元識大模型已經有了很多落地的場景,并且實作了工具鍊、大模型和行業應用的融合創新。比如,Alaya元識大模型結合工具鍊之一的DingoDB多模向量資料庫,為企業提供了企業知識管家解決方案,讓企業即刻擁有專屬智能知識管家。。

九章雲極DataCanvas通過軟體基礎設施為to B應用賦能的定位也決定了打造一個白盒大模型,讓各行各業的使用者都能通過元識大模型和AIFS基礎軟體,在自己的專業領域訓練、優化屬于自己的大模型。從通識起步,将積累的經驗用于不同産業,這就是九章雲極DataCanvas打造“通識+産業”大模型的初衷。

Alaya元識大模型包含在AIFS之中,而AIFS提供了大模型所需的資料準備、訓練微調方式等,使用者隻要告訴AIFS資料在哪裡,它就可以自動完成基礎設施軟體的加速、資料處理、資料打标等工作。使用者不必再像以前那樣自己選擇不同的工具,并将其串接起來。AIFS自動完成了所需的串接和處理工作,大大減輕了使用者的負擔。Alaya元識大模型和AIFS的這種定制化能力也是其深受使用者青睐的一個重要原因。

“大模型+小模型”兩手硬

現在一說到人工智能,言必提大模型。但是這并不意味着要抛棄小模型,一下子全部轉到大模型。九章雲極DataCanvas認為,未來的生态一定是“大模型+小模型”,具有不同特點的模型可以适配不同的場景。

不可否認,大模型在面對通用的、具有一定邏輯推理能力、類人的自然語言處理方面具有天生的優勢。但是目前,大模型的應用場景還不夠豐富,仍處于不斷摸索之中。而在那些需要精确計算或者是一些特定的應用場景中,小模型還是不可或缺的。在大模型之上,采用垂式蒸餾技術,将其蒸餾到小模型上,利用小模型可以更好地滿足科學計算、歸因分析等場景的應用需求。另外,現在市場上也有很多AI引擎通過調用、編排一些小模型,為業務提供支撐。從産品線布局看,九章雲極DataCanvas正在進行内部調整,希望未來更多業務和産品能夠由大模型提供支撐,同時也會堅定地依托“大模型+小模型”不斷進行拓展。

中國科學技術資訊研究所釋出的《中國人工智能大模型地圖研究報告》顯示,在中國已釋出的大模型中,超過半數已經開源。九章雲極DataCanvas不僅将大模型開源,而且将AIFS中的一些元件也開源,目的就是讓各種規模的企業,尤其是中小企業甚至個人,都能在九章雲極DataCanvas開源的大模型和相關基礎設施之上完成大模型的訓練、微調以及應用的商業化。九章雲極DataCanvas緻力于人工智能開源生态的建設,希望在其中占據一席之地并深深紮根。

繼續閱讀