天天看點

當開源遇到大模型,将産生怎樣的變革?

作者:通信世界

通信世界網消息(CWW)ChatGPT的橫空出世極大地激發了業界對于生成式AI的興趣,很多企業已經開啟了AI程式的研發應用之旅,創新步伐不斷加快。而過去30多年來,開源技術快速創新,大幅降低了IT成本和創新門檻,成為IT企業的共同選擇。那麼,當全新的大模型遇到成熟的開源技術,将産生怎樣的變革?

從21世紀初通過RHEL提供開放式企業Linux平台,到通過OpenShift推動容器和Kubernetes成為開放式混合雲和雲原生計算的基礎,紅帽一直引領着開源潮流。近期,紅帽宣布兩大進展:推出紅帽企業Linux AI(RHEL AI),在OpenShift AI中引入新的增強功能,實作Linux、OpenShift、RHEL與AI和大模型的更好融合。

通過RHEL AI推動開源生成式AI創新普及

紅帽企業Linux AI(RHEL AI)是一個基礎模型平台,能夠使使用者更加便捷地開發、測試和部署生成式人工智能(GenAI)模型。RHEL AI整合了IBM研究院的開源授權Granite大型語言模型(LLM)系列、基于大規模對話機器人對齊(LAB)方法的InstructLab模型對齊工具,以及通過InstructLab項目實施的社群驅動模型開發方法。該解決方案被封裝成一個優化的、可啟動的RHEL鏡像,用于在混合雲環境中部署單個伺服器,并已內建到OpenShift AI中。

紅帽認為,實施AI政策遠非選擇一個模型那麼簡單。企業需要專業知識來為特定場景調整适當的模型,并且處理AI實施過程中的成本難題。為了降低AI創新的進入門檻,企業需要擴大參與AI項目的人員範圍,同時控制相關成本。

IBM研究院開發了LAB技術,這是一種利用分類指導合成資料生成和創新的多階段調整架構的模型對齊方法。此方法通過減少對昂貴人工注釋和專有模型的依賴,使AI模型的開發變得更加開放和易于接觸。在AI突飛猛進的當下,紅帽當機立斷,決定采用IBM的LAB。

紅帽總裁兼CEO Matt Hicks回憶,在IBM研究院的一次會議上,IBM介紹了LAB等新技術——LAB是一種應對客戶在微調過程中遇到挑戰的方法,使用合成資料增強技術,使得資料塊足夠小、便于協作。這一技術給Matt Hicks留下了深刻印象,他迅速意識到紅帽可以圍繞LAB建立一個社群,将全球創新帶入大量資料聚集的領域。

雙方一拍即合,IBM和紅帽決定推出InstructLab開源社群,目标是使開發者通過簡化LLM的建立、建構和貢獻過程,像參與任何其他開源項目一樣,将LLM開發的權力交到開發者手中。

RHEL AI沿用開放式AI創新方法,融合了企業級就緒的InstructLab項目和Granite語言與代碼模型,及全球領先的企業級Linux平台,簡化了混合基礎設施環境中的部署,所建構的基礎模型平台,使開源許可的生成式AI模型能夠被企業所使用。

随着各組織在RHEL AI上試驗和調整新AI模型,他們可以通過紅帽OpenShift AI來擴充工作流,OpenShift AI将包含RHEL AI,并利用OpenShift的Kubernetes引擎在大規模訓練和部署AI模型,以及OpenShift AI的內建MLOps能力來管理模型的生命周期。RHEL AI一旦在OpenShift AI中可用,将帶來額外的企業AI開發、資料管理、模型治理和成本效益改進的能力。

“對企業來說,生成式AI代表了一次革命性的飛躍,但這需要企業真正部署起來,并針對其具體業務需求使用AI模型。通過結合紅帽OpenShift AI的廣泛應用,RHEL AI和InstructLab項目旨在降低混合雲中生成式AI所面臨的多種挑戰,從資料科學技能的限制到巨大的資源需求,同時促進企業的部署并推動上遊社群的創新。”紅帽進階副總裁兼首席産品官Ashesh Badani總結。

OpenShift AI增強混合雲中預測和生成式AI靈活性

紅帽OpenShift AI是基于紅帽OpenShift建構的開放式混合人工智能和機器學習平台,幫助企業在混合雲環境中大規模建立并傳遞人工智能支援的應用。

紅帽的人工智能戰略支援跨混合雲環境的靈活性,能夠提供基于客戶資料增強預先訓練或策劃的基礎模型,并且可以自由地啟用多種硬體和軟體加速器。紅帽OpenShift AI引入了新的增強功能,以滿足這些需求,包括擷取最新的AI/ML創新和以人工智能為中心的龐大合作夥伴生态系統的支援。該平台的最新版本OpenShift AI 2.9,提供了邊緣模型服務、增強型模型服務、采用Ray支援分布式工作負載、改進模型開發、模型監控和可視化、新的加速器配置檔案等。

在人工智能模型從實驗階段轉向投産階段的過程中,客戶面臨着諸多挑戰,包括硬體成本增加、資料隐私問題以及在與基于SaaS的模型共享資料時缺乏信任。生成式人工智能(GenAI)的快速變化加劇了這些挑戰,許多企業都在積極努力建構可靠的核心人工智能平台,使其能夠在本地或雲端運作。

IDC的《數字基礎架構的未來,2024年:AI就緒性平台、營運模式和治理調查》指出,要想成功利用人工智能,企業需要對許多現有應用和資料環境進行現代化改造,消除現有系統和存儲平台之間的障礙,提高基礎架構的可持續性,并在雲端、資料中心和邊緣之間謹慎選擇部署不同工作負載的位置。對紅帽而言,這意味着人工智能平台必須具備靈活性,以支援企業在采用人工智能的過程中适應需求和資源的變化。

OpenShift AI的最新進展彰顯了紅帽關于人工智能的願景:從底層硬體到服務和工具,如Jupyter和PyTorch,紅帽為客戶提供全方位的支援,旨在加速創新、提高生産力。并通過這個更靈活、擴充能力更強、适應性更佳的開源平台,幫助企業将人工智能應用于日常業務營運中。

“為了滿足大規模企業人工智能的需求,紅帽提供了紅帽OpenShift AI。這一解決方案使IT上司者能夠在混合雲中的各種位置部署智能應用,同時根據需求擴充和微調營運及模型,以支援實際生産應用和服務的需求。”紅帽首席産品官兼進階副總裁Ashesh Badani表示。

因勢而動,順勢而為,紅帽擁抱生成式AI

“過去一年人工智能提升了100倍甚至1000倍。回想一年前,這項技術已顯示出巨大潛力。那時像ChatGPT這樣的模型剛剛出現,已經展示了語言模型在初期階段的強大能力。如今,進步已經顯而易見。”回憶這一年人工智能的發展,Matt Hicks表示。

作為掌舵人,Matt Hicks需要密切關注前沿技術、作出趨勢判斷,并據此制定紅帽發展戰略。“是否能夠充分發揮開源在這個領域的影響力,是我一直在思考的問題。”

Matt Hicks認為,毫無疑問随着模型變得越來越小,訓練速度将越來越快,進而能夠更有效執行更多功能。這種迅速演變的态勢将繼續加速,顯著影響公司的運作方式和對新技術的适應能力。經過一年的發展,業界已經超越了大模型的實驗證明階段,催生了令人難以置信的創新。是以,紅帽的重點是走在曲線的前面,確定這些進步能夠轉化為客戶的實際機會。“這讓我想起了20世紀90年代末對于Linux潛力的感受,那時候還隻是起步階段,但直覺告訴你,波瀾壯闊的變革即将出現。”

在Matt Hicks看來,傳統IT技術與人工智能将産生很多交集。“能夠運作一個已經建構好的模型是一回事,更為強大的是通過訓練模型來定制自己的解決方案,接下來必須在實踐中加以應用。”就RHEL和RHEL AI,以及OpenShift和OpenShift AI來看,其平行之處在于:RHEL用于運作所有可以在Linux上運作的應用程式,而RHEL AI則用于運作可以通過訓練和定制的大型語言模型的AI部分;OpenShift用于管理可以在RHEL上以分布式方式跨叢集運作的所有應用程式,而OpenShift AI則以相同的方式管理一系列模型,高效地分割訓練、使用和提供服務。因為人工智能并不是孤立存在的,是以傳統設定與人工智能應用程式之間産生許多交叉連結和整合。

雖然紅帽将人工智能模型與Linux捆綁在一起,但在大模型主導的IT世界,Linux仍将繼續扮演至關重要的角色。“盡管我們使用Linux的方式正在演變,但支援大型語言模型操作的核心軟體堆棧,對Linux有着極大依賴。”Matt Hicks認為,Linux優化了這些軟體的整合和性能,并作為GPU、CPU和新興硬體類型之間的協調者。

AI的發展離不開雲基礎設施,在對于雲的選擇上,業界正在悄然轉變。很多客戶嘗試使用規模較小的模型進行微調和訓練,但成效往往不佳,是以他們轉而使用“全知模型”——通常在公共雲中運作,參數量超過1萬億。盡管這些模型開箱即用能完成許多任務,但運作和訓練成本非常高。當受限于雲環境時,很多場景難以應對。例如,在筆記本電腦上運作模型,而資料從未離開過筆記本電腦。是以紅帽認為,無論在筆記本電腦、工廠邊緣還是汽車中,混合功能對于充分發揮AI潛力都是關鍵。

Matt Hicks最後表示,紅帽緻力于支援小型開源模型混合部署,使用者可以在公共雲或資料中心訓練模型,并在邊緣部署。紅帽的平台可支援NVIDIA、AMD和Intel等主要GPU提供商,提供從公共雲到邊緣的運作位置的靈活性。此外,紅帽在超越僅是Linux和虛拟化方面是獨一無二的。因勢而動,順勢而為,紅帽始終堅持在Linux和虛拟化等領域的優勢,并将其擴充到了中間件、虛拟化、OpenStack、容器和人工智能。“自我颠覆能力以及緊跟技術趨勢不斷前進的能力使紅帽獨具特色,也使紅帽成為了有價值的合作夥伴。”Matt Hicks總結。

繼續閱讀