作者 | 宋慧出品 | CSDN（ID：CSDNnews）
經曆了 2023 年拼參數拼上線速度的百模大戰之後，2024 年的大模型已經席卷全行業，成為數字經濟新質生産力的核心技術之一。現在，各方都在更務實地探索大模型技術如何真正落地，并兼顧性能與成本效益，去服務企業場景應用，以期為業務提效與創新。
大模型涉及的技術龐雜，行業落地 AI 應用開發工作的機遇與挑戰并存。據最新的《CSDN AI 開發者生态報告》資料顯示，大模型技術開發中多個問題并存，并且問題占比平均，如缺乏和難招聘 AI 技術人才、難尋合适業務場景、AI 資料數量品質以及基礎設施算力均不足、AI 監管法律風險與合規性問題等等。
企業要面對的更現實和直接因素還有，企業技術團隊需要選擇讓大模型參數規模、準确率和泛化性能精準滿足行業特定業務場景的需求，以及大模型能力如何快速內建以提升企業業務與産品的 AI 能力，還有千億參數大模型私有授權費用高昂，私有化部署伺服器等基礎設施的費用成本也是百萬級别以上等。
雖然問題困難重重，不過大模型行業落地實踐與創新應用正在湧現。最近，創新教育平台“混沌學園”就上線了全新的 AI 功能——AI問答助手，在傳統教育單向傳播知識的基礎上，加入千人千面的課程内容AI問答能力。
混沌學園 AI 問答助手采用了獵戶星空大模型的技術能力。混沌學園 CTO 曾德龍表示：“從 AI 問答助手的準确率來說，獵戶星空大模型 RAG 在處理課程常見問題時能夠提供快速且準确的回答，從背景可以看見使用者會有二次和多次的不同問題提問，學員回報 AI 問答助手體驗友善、快速、精準。”
“從知識庫整理與調整的便捷性來說，獵戶星空大模型 RAG 套件背景 UI 簡潔便利，在資訊檢索和内容整理方面效率很高。用雲文檔的形式整理知識庫的方式讓我們能夠更快地修改與調整知識庫的内容。”
“AI 輔導員”上線，
教育企業為何快速獲得大模型應用開發能力
在大模型各行業的落地場景中，教育是典型的傳遞知識并且知識高度密集型場景，使用者（學生、學員）産生問題，線上搜尋獲得的結果通常隻是“千人一面”的固定标準化知識，對于學習者，仍存在較高的學習了解成本。混沌學園的大模型 AI 問答功能實作了回複内容更靈活與豐富，結合學員使用者畫像，提供更加定制化的課程服務。
對于混沌平台的學員與使用者來說，課前可以更精準獲得定制化課程推薦（學什麼），課中使用 AI 問答互動可以更高效擷取學習與答疑的内容（學透徹），課後通過 AI 問答提問互動還能促進學習與實踐相結合以及快速檢索已學知識庫（靈活運用+随時查找複習）。
這個新功能聽起來，更像是學習者在主動學習與完成作業之外，被貼身安排了一位專屬的“AI 學習輔導員”，這種“千人千面”的定制化服務，既提高了混沌使用者學習效率，完成教育的初衷，也是 AI 大模型在教育行業的一次創新性應用。
AI 問答已經上線混沌平台的多個知名課程，
實測響應速度及時、生成内容準确
讓大模型在行業落地不是一蹴而就，為了確定 AI 問答的準确率與效果，混沌技術團隊采用大模型之外，仍有部分人工參與專業課程内容的稽核。第一批上線課程選擇了内容新鮮度、熱度較高的 17 堂課，未來混沌學園将推出的 AI 研習社與其他所有新課，AI 問答都将是标配功能。
除了 AI 問答，對于混沌内部研發團隊來說，大模型也促進了其他新應用開發對創新和效率的雙重收益。例如剛剛結束的混沌 5000 人規模遊輪線下活動，在活動售賣階段就引入了（基于大模型的）AI 助手，團隊将遊輪語料庫處理後導入平台，為使用者提供遊輪助手服務。結果是 15% 的學員使用了 AI 助手，每個使用者的會話輪次約 3-8 次，既提升了活動的使用者體驗，也為活動組織節省了大量溝通人力成本。
混沌技術團隊介紹，在調研多個大模型後正式啟動 AI 問答的研發到上線僅僅用了不到 2 個月的時間，讓我們不禁好奇，在大模型開發者面臨多重研發挑戰的情況下，一家專注教育的企業，如何快速獲得了大模型應用開發的能力并快速落地？
獵戶星空大模型 RAG 套件+“交鑰匙”定制化
加速行業大模型應用落地
據介紹，混沌學園 AI 問答采用的是今年國内熱門的獵戶星空大模型技術和服務。與行業普通的 RAG 技術服務不同，獵戶星空大模型提供了更強、更專業的 RAG 套件，包含知識預處理、語義了解和改寫、混合檢索引擎、自動化品質評估體系和微調效果校準。
混沌學園使用獵戶星空大模型的 RAG 套件能力，涉及到資料預處理、使用者問題的識别、使用者問題的改寫和擴充、向量知識庫的檢索和 Rank，與大模型的互動和邊界控制，以及工程上的 session 管理和使用者會話上下文資料管理等等功能。
RAG 是今年大模型熱門技術點，混沌學園起初在AI大模型落地探索時，采用業界其他大模型訓練推理後課程解析回答正确率隻有一半，52.88%，就算通過 RAG 處理後正确率提高到了 80.77%，不過行業模型應用對專業性要求較高，還有 20% 的容錯率是不能容忍的。
獵戶星空大模型 RAG 套件行業應用和專業知識深度融合，基于混沌學園業務搭建應用并優化效果，得到高品質資料以及微調之後，将課程問答正确率提升到 94.5%，保證了行業模型應用的準确率和專業性。（本次專訪之後，混沌學園使用 RAG 套件持續優化資料品質，最新的問答正确率已經提升到 98.7%。）
獵戶星空大模型 RAG 套件是其獨家推出七大微調套件全家桶中重點打磨的方向之一，除了 RAG，還有對通用對話、插件、長 Token、知識抽取、問答對的生成、日韓文進行微調，基于獵戶星空實踐摸索，在企業專業場景中私有化部署，真正實作了百億模型千億效果。
本次案例中獵戶星空大模型 RAG 套件為 AI 問答提供了除資料預處理以外的所有技術處理能力，混沌技術團隊則隻需要做自身課程資料的預處理和少量 API 對接工作即可。獵戶星空大模型 RAG 套件背景 UI 簡潔便利，在資訊檢索和内容整理方面效率很高。用雲文檔的形式整理知識庫的方式也能讓混沌技術團隊能夠更快地修改與調整知識庫的内容。這也是一家教育企業快速獲得 AI 大模型應用開發能力的高效之路。
數智化的大趨勢之下，以混沌學園為代表的企業研發團隊需要精進 AI 大模型這類新型技術能力，是以除了 API 對接使用通用服務，獵戶星空為混沌學園提供的是從大模型調研評估到最終傳遞的完整交鑰匙服務，貫穿企業從前期評估、LLM 戰略，到自身模型選擇、方案設計、實施部署和優化，以及傳遞和維護，完整的貼身技術能力，賦能企業大模型應用開發。
通過交鑰匙服務，企業可以獲得更加靈活的應用定制化開發，進一步挖掘利用大模型，實作精準高效應用。例如混沌學園未來還将增強 RAG 所有技術的幹預能力，如企業設計 Prompt 與相關編排，基于自身業務深刻了解做 Rank 定制化開發等等。
企業模型應用快速落地背後
獵戶星空大模型的務實之路
據了解，混沌學園 AI 問答采用的是今年企業應用大模型領域炙手可熱的獵戶星空大模型，而獵戶星空大模型是獵豹移動董事長兼 CEO 傅盛在 2016 年 All in AI 後的最新成果。經過幾年的積累，獵戶星空已經擁有了自研全鍊條 AI 技術，如全鍊條語音技術（獵戶星空是小米小愛同學、華為 AI 音箱、喜馬拉雅、美的等音箱産品背後的技術提供商）、多傳感器融合導航、消費級機械臂以及實體服務機器人産品等。
現在爆火的百模大戰之中，獵戶星空大模型走了一條與衆不同的務實道路。年初釋出之時，獵戶星空大模型就喊出了“為企業應用而生”，打造最具成本效益大模型的口号。與其他大模型大搞晶片軍備競賽、追求千億級模型效果後再去尋找适用場景不同，獵戶星空從場景反推，挖掘企業應用、定義垂直場景，通過（企業私有的）資料和應用的打磨，實踐出在應用效果上超越 GPT-4，這絕不是妄想。
聚焦七個應用方向的微調研發工作之後，模型準确率、推理速度表現優秀，模型更小更利于私有部署，實作消費級顯示卡也能實作千億參數模型效果，可以說是切實降低企業部署大模型的成本，進而加速大模型行業企業落地。