在人工智能的浪潮中，大模型正以其獨特的方式重塑金融科技的未來。在4月26日的2024年全球機器學習技術大會上，度小滿資料智能部總經理和技術委員會執行主席楊青分享了軒轅大模型在金融行業的實踐與應用。此文将較為全面地公開介紹軒轅大模型在金融領域的落地之道。
楊青_軒轅大模型實踐及應用.pdf
作者 | 楊青
出品 | 青哥談 AI
重新定義金融：大模型引領範式革命
大模型引領金融行業向認知智能範式演進，帶來“人機共生”的金融生态。金融行業經曆從傳統金融到網際網路金融，再到智能金融的三個階段。在傳統金融階段，行業遵循資訊中介範式，金融機構主要通過人工進行服務，IT系統主要用于背景資料處理。這種模式下，服務效率受人為因素制約，是一種“人為主導”的模式。在網際網路金融階段，網際網路打破了時空限制，使得金融服務能夠觸及更廣泛的群體。這種模式下，線上化、移動化、平台化成為主流，雲計算與大資料的應用使得人機優勢互補，實作了"1+1>2"的效果。在目前的智能金融階段，技術創新驅動業務變革，大模型重塑了業務流程，賦能了智能風控、智能經營等傳統AI業務，大模型Copilot、Agent也得到了廣泛應用。從傳統金融到網際網路金融再到智能金融，我們可以看到人機關系從“人為主導”到“人機協作”再到“人機共生”的演變過程。
在此背景下，金融機構需擁抱認知智能新範式，用大模型引領金融變革。具體而言，需要立足于大模型在了解、記憶、生成、知識和邏輯等方面的多元度能力來加速金融行業的數智化轉型和變革。具體而言，可以在産品服務開發、智能化客戶體驗打造、業務流程重塑以及人機共生管理體系建構這四個方面應用大模型的能力，以達到互動自然化、決策協同化和執行自動化的應用目的。
建構金融大模型：技術融合與疊代更新
金融大模型從通識能力到場景專精的進階之路，就如同一個人從中學生到職場人的成長過程。在“中學生”階段，大模型需要接受通識教育，掌握廣泛的語言了解和資訊處理能力，為後續學習奠定堅實基礎；而在“大學生”階段則需要接受專業教育，在大規模通用文本資料上訓練模型，使其深入了解金融術語、行業案例、專家經驗和最佳實踐，逐漸具備金融行業所需的專業能力；最終成為“職場人”，以崗位産出為導向，需要通過金融場景回報，進一步提高模型的性能和适應性。三個階段也分别對應了資料優化、金融增強、價值對齊和應用增強等不同模型建構階段。
首先，利用資料驅動大模型智能突破。海量金融資料的篩選是一個“淘沙成金”的過程，軒轅團隊打造了包括文本抽取、資料清洗和品質安全評估的智能化資料處理流水線，依次通過規則過濾、模型過濾、去重過濾和品質過濾的步驟篩出了原始中文資料中32%的資料精華，建構了高品質的模型訓練資料，包括10TB通用語料和1TB的金融語料。
團隊打造的品質模型庫包括文本品質判别模型、知識性判别模型和内容結構判别模型，通過全方位的資料品質嚴格把控，為模型訓練保駕護航。人工評測證明，過濾後資料品質大幅提升48%，進而推動模型性能顯著提升。
此外，團隊特别鑄造資料安全“銅牆鐵壁”，基于多領域内容安全标準搭建業内領先的内容安全系統，高效達成惡意識别，牢牢守住金融發展的安全底線。系統結合了主動學習的标注流程和大模型自動對抗，以提升資料生産效率和内容安全系統的防控能力，有效過濾多領域敏感惡意内容至1%以内。
其次，通過預訓練模型以搭建金融AI底座。中文大模型需要考慮詞表建構的問題，因為單字可能需要多個Unicode字元來構造，導緻解碼速度變慢和編碼序列變長。考慮到大詞表有利于長文本模組化和推理效率，團隊采用壓縮率高的詞粒度擴充的方式，加入了7k的中文字母與25K的中文詞，使得新詞表大小達到64k。預訓練具體分為兩個階段 ：在第一階段，僅更新模型的詞表特征及解碼線性層，使模型适應新加入的詞表，同時糾正原始的解碼方式，資料分布、類型與原始模型報紙一緻，中英文資料各占50%；在第二階段，對模型進行全參數更新，提升通用中文和金融領域資料的占比，其中中文占60%、英文占25%、金融領域占15%。通過兩階段的預訓練，可以使領域大模型收斂更穩定。資料配比直接影響基座模型的訓練品質，通過調整資料占比和增加中文、金融資料，我們預期模型的英文能力保持、中文知識增強和金融能力提升，而最終實際效果顯示三項能力都随訓練過程提升了。
此外，大模型的長上下文能力是金融場景落地的重點要求，團隊也嘗試實作了100k的模型上下文長度并總結出了“依賴外推”“外推+短續訓”和“外推+長續訓”三種不同實作方式的實踐經驗。
再者，通過指令微調以建構全方位金融認知“大腦”。在資料構造方面，遵循低成本和高品質的SFT資料建構目标，采用自研的資料生成方法Self-QA，通過知識引導的指令生、機器閱讀了解、修建與過濾三步走政策來構造數。在資料生成方面，指令資料包括通用領域和金融領域，其中通用領域占80%，包括常識百科、創意生成、代碼程式設計、安全無害、邏輯推理、總結摘要、數學計算和資訊提取這8大類和50小類；而金融領域指令資料則包括金融百科、金融計算、研報解讀和客服話術這4大類及其20小類。通過混合微調和指令微調結合，可以兼顧大模型通用與金融能力，避免災難性遺忘。
最後，通過強化學習實作模型的“自我超越”。強化學習是一種機器學習方法，通過與環境互動來學習最優政策，以實作模型的自我超越。相比傳統的監督學習方法，基于人類回報的強化學習（RLHF）可以從環境回報中學習，它可以探索更多更廣的樣本，同時增強正向案例和抑制負向案例，損失函數基于優勢值的Soft Label，這些特點都能使模型具備更好的泛化性。通過進一步設計獎勵模型，克服PPO訓練中的難點并創新訓練，模型強化學習效果顯著，生成更好地對齊了響應方式、語言風格和回答内容三方面的人類偏好。
為了科學評估模型性能，精準指引優化路徑，團隊建構了全方位的模型評測體系。以不同模型間的“橫評”看差距，以同一模型在不同階段的“縱評”看提升。評測覆寫預訓練階段、指令微調階段和強化學習三大階段，每個階段都有相應的評測名額，預訓練階段關注訓練是否存在異常和基座模型的品質，指令微調階段關注對話能力是否滿足和泛化能力是否足夠，強化學習階段關注安全性是否提升和有用性能否保持。評測手段包括實時評測和階段評測，實時評測使用CheckPoint自動觸發評測流水線，階段評測采用“自動+人工”的全方位評測體系，建構智能化評測工具和規範對于提升評測效率和一緻性十分重要。基于團隊評測實踐，我們開源了「FinanceIQ」大模型金融自動評測集，FinanceIQ專注中文金融領域任務，涵蓋10個金融大類，36個金融小類，總計7173題。主要涵蓋了注冊會計師（CPA)、稅務師、經濟師、銀行從業資格、基金從業資格、證券從業資格、期貨從業資格、保險從業資格（CICE）、理财規劃師幾大權威金融領域考試。
金融大模型落地：現實挑戰與破解之道
大模型将為金融行業創造價值增量，但落地過程中面臨重重挑戰，主要包括金融知識挑戰、金融能力挑戰和應用成本挑戰。在金融知識挑戰方面，大模型可能會出現幻覺問題、準确性問題和遺忘問題，導緻缺乏可用性和可靠性。在金融能力挑戰方面，大模型需要具備邏輯能力、推理能力和決策分析能力，但這些能力可能需要人工介入才能有效發揮。在應用成本挑戰方面，大模型需要消耗大量的GPU算力成本、适應成本、推理成本和維護成本，這使得其應用成本高昂。
為了應對這三大挑戰，「軒轅」大模型在檢索增強（RAG）、智能體（Agent）和模型量化技術上都展開了有效探索，以破解金融大模型落地難的問題。
金融大模型價值創造：賦能、創新與變革
整體上，基于大語言模型的了解、生成、邏輯和記憶能力，金融大模型的核心能力主要展現在個性生成、互動增強、知識豐富和預測分析。金融大模型通過重塑金融服務、理财、營運、營銷、辦公和研發等領域，由點到面重塑金融價值鍊：在金融服務方面，通過客情标簽和話術推薦，實作從降本增效到價值創造的轉變；在理财方面，通過分析師助手和理财顧問，提供專業級理财分析；在營運方面，通過NL2SQL和投研投顧，實作端到端的營運新模式。在營銷方面，通過傳播洞察和智能投放，提供一體化營銷工作坊。在辦公方面，通過智能搜尋和知識助手，提高員工的生産力。在研發方面，通過代碼生成和單測生成，助力研發提質提效。
「軒轅」大模型：跨越認知，走向AGI
為了應對大模型在金融場景的落地挑戰，向全行業分享實戰經驗成果，我們開源了「軒轅」系列大模型。度小滿「軒轅」大模型是國内首個開源中文金融大模型。2023年5月，千億參數規模中文大模型“XuanYuan-176B”開源釋出。2023年9月， “XuanYuan-70B”在C-Eval和CMMLU兩大權威榜單上位列所有開源模型榜首。2024年3月，「軒轅」全新釋出了12款金融大模型。其中包括6B、13B、70B參數的基座模型、對話模型、int4/int8量化模型，并實作完全開源，供廣大開發者下載下傳使用。
「軒轅」大模型在金融領域内容了解和生成上能力卓越。在金融自動評測集FinanceIQ測試集上，XuanYuan-70B-V2展現出了超過GPT-4的水準，表現出了專家級别的金融知識能力。而在解決實際金融任務的能力上，金融專家的人工評測結果顯示，各個參數尺寸的軒轅大模型均具有“以小搏大”的實力，達到了自己2—5倍參數量的模型水準。「軒轅」不僅在金融領域成績優異，模型能力覆寫了數學計算、場景寫作、邏輯推理、文本摘要等多個通用能力次元，在包括MMLU、CEVAL、CMMLU、GSM8K、HumanEval等主流評測集上表現出色，在多個中文評測榜單上的成績甚至超越了GPT-4。
- 「軒轅」開源位址：https://github.com/Duxiaoman-DI/XuanYuan