大模型在金融支付 ToC 的探索：在技術創新與政策監管之間取得平衡

作者 | Lucien

由于行業特殊性，金融機構在業務創新和技術應用過程中受到政策監管、資料隐私保護等諸多外部因素的限制。進入 AI 時代，如何在限制條件下，加速大模型等技術在 ToC 業務場景的落地和應用，并且在技術上不做犧牲處理是一個極具挑戰的工作。在 2024 年 6 月 14-15 日深圳 ArchSummit 全球架構師峰會上，我們邀請到了平安壹錢包使用者研發部技術負責人王良老師進行分享，他将基于平安集團旗下網際網路金融支付公司壹錢包已落地的業務場景，介紹 RAG 向量檢索 + 知識庫 + 标注平台等技術的實戰經驗，以及應用立項審批、合規監管審批、業務線選擇等技術之外的經驗。

在會議召開前，我們對王老師進行了預熱采訪，探讨其團隊在大模型應用方面的探索與落地情況，希望讓大家能夠提前了解其大會演講内容亮點。

InfoQ：作為平安壹錢包技術負責人，您在不同領域的技術工作經曆非常豐富，從用戶端開發到大前端再到背景研發及架構管理，最近又轉入大資料研發部門，您覺得這些不同領域的經曆如何影響了您的技術視角和解決問題的能力？

王良：我是從 Android 開發入行的，工作投入時間比較長，深入了解了使用者界面的 UI 還原和互動邏輯，學會了如何優化使用者體驗和響應速度，讓我對底層的技術原理有了更深入的了解，比如記憶體管理、性能優化等。這段經曆讓我更加注重從使用者的角度出發，思考技術的實際應用和價值，為我在後續領域的工作打下了堅實的基礎。

随着公司的發展，團隊從最初的 Android 組，融合了 iOS 開發變成 App 用戶端團隊，再到後來，又融合了前端 JS、React Native 團隊，再後來又補充了小程式、快應用、鴻蒙等技術棧，更新為大前端團隊，在這個壯大的過程中，我開始關注跨平台、跨浏覽器的相容性問題，以及如何建構高效、可維護的前端架構。

大前端的工作讓我學會了如何在複雜的技術環境中保持代碼的健壯性和可擴充性。也開始接觸到前後端的資料互動和協作，對前後端分離的開發模式有了更深入的認識。在背景研發階段，我深入了解了伺服器的架構、資料庫的設計和優化、高并發處理等關鍵技術。這段經曆讓我更加關注系統的穩定性和安全性，學會了如何在複雜的業務場景中保證資料的準确性和一緻性。

程式員是一個需要持續學習的工作，擁有不同領域的技術工作經曆是非常寶貴的，每一個領域都有其獨特的挑戰和解決方案，它能夠幫助程式員獲得更全面的技術視角和解決問題的能力，更具備跨領域思考和解決問題的能力，随着技術棧和工作經驗的提升，解決問題的能力從前期局限于用技術方案完成業務方的訴求，到參與産品規劃的初期階段，在需求規劃階段，就可以給出指導性的技術意見，幫助業務方在快速上線、節省人力成本上，提供專業的技術支援。因為除了技術實作上的方案，同時還要考慮業務因素和成本因素，同一個需求，用什麼技術棧解決最合适，比如監管比較嚴格的業務變動頻繁，更适合 RN、H5 這類友善更新的技術棧。一些穩定業務注重體驗的可以投入 Android 和 iOS 兩個端一起開發。而且用前端完成一個需求需要的人力是 App 用戶端的一半。因為 Android 和 iOS 各需要一個開發人力。這種紮根于技術，又突破技術視角的思考方式，使我在工作中進步較大。給團隊帶來的收益也較大。

InfoQ：您在演講中提到了基于 RAG 向量檢索 + 知識庫 + 标注平台等技術的實戰經驗，這些技術方案是如何應用在平安壹錢包的業務場景中的？能否分享一些具體的案例或者成效？

王良：其實公司和我個人對大模型 AI 領域都是很有興趣的，一直想嘗試用在公司的某些場景中，平安集團在去年舉辦了 AI 大模型相關的比賽。針對風控、辦公、銷售營運、等多個領域在全國多個子公司進行公開的創新應用評比。壹錢包的這個項目也是在參賽過程中，與不同公司不同團隊的交流學習後，定下來的一個方向。

壹錢包屬于網際網路金融行業，受到監管的力度較大，想做一個大而全的産品在資料私密性上以及法律合規上挑戰較大，而 RAG+ 知識庫剛好合适，它既能用到大模型的能力，又能明确輸入和輸出的範圍邊界。對于資料隐私合規的管理，和輸出内容的把控都能兼顧到。

我們在企業微信上有海量的客戶資源，但是營運人員的響應能力有限，無法展開企微端的營銷能力。一開始我們挑選了單個業務的營銷場景，在訓練了這個業務的知識庫後，上線了企微端的營銷能力，在首個業務場景看到效果之後，很多業務方都很有興趣借助 RAG 的能力為自己的業務賦能，考慮到後續不同業務的知識庫和标注都需要隔離開。我們就上線了一個标注平台。标注平台開放給業務部門主要解決了測試案例庫、提示詞調整、模型的回歸等團隊人力協作問題，讓業務團隊參與到項目中，加速了疊代周期，提升了準确性。

目前這個項目以及為公司培養了大量的标注人才。算是一個意外收獲。

InfoQ：在處理私域大模型技術 ToC 端全流程架構時，您遇到了哪些挑戰？在解決這些挑戰的過程中，您采取了怎樣的政策和方法？

王良：最頭疼的挑戰并不來自于技術層面，一開始難點在于選擇業務落地場景，得到業務方的支援，這點在最初通過宣講的方式并沒有獲得到業務方資源投入的支援，沒有業務方願意參與，技術無法唱獨角戲。是以我們用參賽項目，改成了一個介紹公司的企業文化、入職教育訓練、合同條規、等問答庫，讓公司全員參與體驗，在體驗後再加上我們的遊說，逐漸認可了 RAG+ 知識庫的可行性，争取到了第一個業務團隊。

接下來的挑戰來自于法律合規，因為國家對 ToC 的大模型需要報備審批通過，這部分工作對于全平安集團都是未知的，我們采取的是技術先行，在資料保護以及拒答庫上做好應對方案，安排專人主動與監管部門進行溝通，積極配合提供材料。

InfoQ：對于私有化部署方案，您是如何保證資料的安全性和隐私性的？在政策監管的情況下，您又是如何應對技術逐夢與落地實踐的？

王良：最基礎的幾點：1 通路權限管理，2 資料加密，3 實體隔離，4 資料脫敏和匿名化，5 差分隐私，6 同态加密，7 内網部署等。

私有化部署本身就是為資料安全性和隐私性服務的。唯一暴露在外的資料傳輸過程中，保證加密通道的可信度，就能極大的提高安全和隐私性。

技術往往走在監管前邊，監管政策不會對一個不存在的事物進行限制，通常都是先有了新鮮事物，現有的限制規則無法覆寫到，才會頒布新的監管政策，要想逐夢，就需要先人一步，等行業内同類産品都遍地開花，就談不上逐夢了，最多算技術上的追随。要有拼搏探索的精神，對于未知的新鮮事物要敢于嘗試。當然也要持續的學習前沿技術，必須有能力将項目落地，才能有技術逐夢的可能性。

InfoQ：您提到了标注平台的建設和标注内容的介紹，這在 AI 落地工具生态鍊中扮演了怎樣的角色？在标注平台建設過程中，您最大的挑戰是什麼，又是如何解決的？

王良：标注平台将業務方也加入到了項目建設中，僅靠開發人員是無法完成一個 RAG 項目上線的，知識庫内容需要深入了解的一線人員進行标注，對于新提示詞調整、知識庫調整，模型驗證、模型回歸、測試案例庫的豐富完善，等更适合提供知識庫的業務方參與進來一起建設。

這樣能提高模型結果的穩定性，以及提高項目疊代的速度。為公司培養更多的大模型标注人才。同時，标注平台在加快不同業務的上線時間周期以及知識庫分離上起到了關鍵作用。

這個過程比較順利，在最初稍微有瓶頸的在于業務人員參與标注平台的學習成本較高，前期需要教育訓練他們對标注工作的了解和使用，這部分我們花了較多的時間，目前已經形成文檔和指引手冊，新成員的學習教育訓練周期已經非常樂觀了。

InfoQ：在演講中，您還提到了政策監管下的技術逐夢與落地實踐心得，您認為在金融銀行類的行業中，技術創新與政策監管之間如何取得平衡？

王良：監管政策是紅線，無法逾越，首先要熟悉相關的法律條規先初步評估一下方案可行性，再詢問一下公司的法務意見，一般法務都比較保守，我的經驗是，隻要法務沒有明令禁止，就可以先琢磨起來，如果國内外有成功案例和經驗最好，沒有的話盡量尋找技術前沿的圈子，進行讨論，如極客幫的閉門圓桌會，鲲鵬會等。

技術創新與監管政策很難得到一個穩定的平衡，要想兩者接近于平衡需要同時具備較高的法律法務相關專業素養以及前沿技術能力，這樣的人才是非常稀缺的，我觀察到技術創新往往走在監管政策之前，如網約車、無人機、大模型等，作為一名技術人，我個人建議還是多關注前沿技術，提升自身的專業能力，以便更好地了解和評估技術創新的風險和收益。為法務提供判斷依據，尋找到合适的平衡點。

InfoQ：在私域大模型技術的應用過程中，您對于業務線選擇有怎樣的思考和政策？在面對不同業務線的挑戰時，您是如何處理的？

王良：在業務線都支援的理想狀态下，選擇項目落地需要綜合考慮公司的戰略目标、業務需求、技術可行性、風險控制及監管要求等因素。

對于不同的業務線，首先考慮戰略契合度，要與公司整體目标吻合，再考慮業務需求，評估一下投入産出比，是否有價值，最後是落地方案的可行性，可行性包括技術和監管合規。對于有價值的需求，我們會提高優先級去支援。

如果選擇決定權不在技術人手裡，需要争取業務部門資源支援的話，政策就要換一下，把自己當成銷售，把私域大模型當成我們手裡要推銷的産品，努力探索各業務方的痛點，尋找到大模型能解決的業務線，遊說對方。

我們目前采取的是第二種。

InfoQ：最後，您能否分享一些在處理私域大模型技術應用過程中的心得和經驗？對于其他網際網路金融支付行業的技術團隊，您有什麼建議或者啟示？

王良：在網際網路金融支付行業，資料私域性高，使用者交易資料、個人身份資訊、支付習慣等敏感資訊需要嚴格保護。私域大模型技術在保證資料安全、隐私的前提下，利用本地化部署的大模型進行資料分析與預測，避免直接将資料傳輸至第三方平台，降低資料洩露風險。

鑒于支付場景對響應速度和系統穩定性要求極高，私域大模型技術正在向模型輕量化、邊緣計算方向發展。通過模型壓縮、知識蒸餾等技術，簡化模型結構，減少計算資源需求，使得複雜的大模型能夠在移動裝置、終端裝置上高效運作。這樣不僅降低了延遲，提高了服務品質，還進一步減少了資料傳輸過程中的安全隐患。

我認為，随着技術不斷成熟，未來私域大模型将在網際網路金融支付行業實作更深度的融合與全鍊路智能化。從使用者注冊、身份驗證、交易授權、反欺詐監控、信貸審批、客戶服務到市場營銷等各個環節，大模型将作為核心驅動力，提供智能化解決方案，全面提升支付流程的效率與安全性。

【活動推薦】

由于行業特殊性，金融機構在業務創新和技術應用過程中受到政策監管、資料隐私保護等諸多外部因素的限制。進入 AI 時代，如何在限制條件下，加速大模型等技術在 ToC 業務場景的落地和應用，并且在技術上不做犧牲處理是一個極具挑戰的工作。在 2024 年 6 月 14-15 日深圳 ArchSummit 全球架構師峰會上，我們邀請到了平安壹錢包使用者研發部技術負責人王良老師進行分享，他将基于平安集團旗下網際網路金融支付公司壹錢包已落地的業務場景，介紹 RAG 向量檢索 + 知識庫 + 标注平台等技術的實戰經驗，以及應用立項審批、合規監管審批、業務線選擇等技術之外的經驗。

在會議召開前，我們對王老師進行了預熱采訪，探讨其團隊在大模型應用方面的探索與落地情況，希望讓大家能夠提前了解其大會演講内容亮點。

InfoQ：作為平安壹錢包技術負責人，您在不同領域的技術工作經曆非常豐富，從用戶端開發到大前端再到背景研發及架構管理，最近又轉入大資料研發部門，您覺得這些不同領域的經曆如何影響了您的技術視角和解決問題的能力？

王良：我是從 Android 開發入行的，工作投入時間比較長，深入了解了使用者界面的 UI 還原和互動邏輯，學會了如何優化使用者體驗和響應速度，讓我對底層的技術原理有了更深入的了解，比如記憶體管理、性能優化等。這段經曆讓我更加注重從使用者的角度出發，思考技術的實際應用和價值，為我在後續領域的工作打下了堅實的基礎。

随着公司的發展，團隊從最初的 Android 組，融合了 iOS 開發變成 App 用戶端團隊，再到後來，又融合了前端 JS、React Native 團隊，再後來又補充了小程式、快應用、鴻蒙等技術棧，更新為大前端團隊，在這個壯大的過程中，我開始關注跨平台、跨浏覽器的相容性問題，以及如何建構高效、可維護的前端架構。

大前端的工作讓我學會了如何在複雜的技術環境中保持代碼的健壯性和可擴充性。也開始接觸到前後端的資料互動和協作，對前後端分離的開發模式有了更深入的認識。在背景研發階段，我深入了解了伺服器的架構、資料庫的設計和優化、高并發處理等關鍵技術。這段經曆讓我更加關注系統的穩定性和安全性，學會了如何在複雜的業務場景中保證資料的準确性和一緻性。

程式員是一個需要持續學習的工作，擁有不同領域的技術工作經曆是非常寶貴的，每一個領域都有其獨特的挑戰和解決方案，它能夠幫助程式員獲得更全面的技術視角和解決問題的能力，更具備跨領域思考和解決問題的能力，随着技術棧和工作經驗的提升，解決問題的能力從前期局限于用技術方案完成業務方的訴求，到參與産品規劃的初期階段，在需求規劃階段，就可以給出指導性的技術意見，幫助業務方在快速上線、節省人力成本上，提供專業的技術支援。因為除了技術實作上的方案，同時還要考慮業務因素和成本因素，同一個需求，用什麼技術棧解決最合适，比如監管比較嚴格的業務變動頻繁，更适合 RN、H5 這類友善更新的技術棧。一些穩定業務注重體驗的可以投入 Android 和 iOS 兩個端一起開發。而且用前端完成一個需求需要的人力是 App 用戶端的一半。因為 Android 和 iOS 各需要一個開發人力。這種紮根于技術，又突破技術視角的思考方式，使我在工作中進步較大。給團隊帶來的收益也較大。

InfoQ：您在演講中提到了基于 RAG 向量檢索 + 知識庫 + 标注平台等技術的實戰經驗，這些技術方案是如何應用在平安壹錢包的業務場景中的？能否分享一些具體的案例或者成效？

王良：其實公司和我個人對大模型 AI 領域都是很有興趣的，一直想嘗試用在公司的某些場景中，平安集團在去年舉辦了 AI 大模型相關的比賽。針對風控、辦公、銷售營運、等多個領域在全國多個子公司進行公開的創新應用評比。壹錢包的這個項目也是在參賽過程中，與不同公司不同團隊的交流學習後，定下來的一個方向。

壹錢包屬于網際網路金融行業，受到監管的力度較大，想做一個大而全的産品在資料私密性上以及法律合規上挑戰較大，而 RAG+ 知識庫剛好合适，它既能用到大模型的能力，又能明确輸入和輸出的範圍邊界。對于資料隐私合規的管理，和輸出内容的把控都能兼顧到。

我們在企業微信上有海量的客戶資源，但是營運人員的響應能力有限，無法展開企微端的營銷能力。一開始我們挑選了單個業務的營銷場景，在訓練了這個業務的知識庫後，上線了企微端的營銷能力，在首個業務場景看到效果之後，很多業務方都很有興趣借助 RAG 的能力為自己的業務賦能，考慮到後續不同業務的知識庫和标注都需要隔離開。我們就上線了一個标注平台。标注平台開放給業務部門主要解決了測試案例庫、提示詞調整、模型的回歸等團隊人力協作問題，讓業務團隊參與到項目中，加速了疊代周期，提升了準确性。

目前這個項目以及為公司培養了大量的标注人才。算是一個意外收獲。

InfoQ：在處理私域大模型技術 ToC 端全流程架構時，您遇到了哪些挑戰？在解決這些挑戰的過程中，您采取了怎樣的政策和方法？

王良：最頭疼的挑戰并不來自于技術層面，一開始難點在于選擇業務落地場景，得到業務方的支援，這點在最初通過宣講的方式并沒有獲得到業務方資源投入的支援，沒有業務方願意參與，技術無法唱獨角戲。是以我們用參賽項目，改成了一個介紹公司的企業文化、入職教育訓練、合同條規、等問答庫，讓公司全員參與體驗，在體驗後再加上我們的遊說，逐漸認可了 RAG+ 知識庫的可行性，争取到了第一個業務團隊。

接下來的挑戰來自于法律合規，因為國家對 ToC 的大模型需要報備審批通過，這部分工作對于全平安集團都是未知的，我們采取的是技術先行，在資料保護以及拒答庫上做好應對方案，安排專人主動與監管部門進行溝通，積極配合提供材料。

InfoQ：對于私有化部署方案，您是如何保證資料的安全性和隐私性的？在政策監管的情況下，您又是如何應對技術逐夢與落地實踐的？

王良：最基礎的幾點：1 通路權限管理，2 資料加密，3 實體隔離，4 資料脫敏和匿名化，5 差分隐私，6 同态加密，7 内網部署等。

私有化部署本身就是為資料安全性和隐私性服務的。唯一暴露在外的資料傳輸過程中，保證加密通道的可信度，就能極大的提高安全和隐私性。

技術往往走在監管前邊，監管政策不會對一個不存在的事物進行限制，通常都是先有了新鮮事物，現有的限制規則無法覆寫到，才會頒布新的監管政策，要想逐夢，就需要先人一步，等行業内同類産品都遍地開花，就談不上逐夢了，最多算技術上的追随。要有拼搏探索的精神，對于未知的新鮮事物要敢于嘗試。當然也要持續的學習前沿技術，必須有能力将項目落地，才能有技術逐夢的可能性。

InfoQ：您提到了标注平台的建設和标注内容的介紹，這在 AI 落地工具生态鍊中扮演了怎樣的角色？在标注平台建設過程中，您最大的挑戰是什麼，又是如何解決的？

王良：标注平台将業務方也加入到了項目建設中，僅靠開發人員是無法完成一個 RAG 項目上線的，知識庫内容需要深入了解的一線人員進行标注，對于新提示詞調整、知識庫調整，模型驗證、模型回歸、測試案例庫的豐富完善，等更适合提供知識庫的業務方參與進來一起建設。

這樣能提高模型結果的穩定性，以及提高項目疊代的速度。為公司培養更多的大模型标注人才。同時，标注平台在加快不同業務的上線時間周期以及知識庫分離上起到了關鍵作用。

這個過程比較順利，在最初稍微有瓶頸的在于業務人員參與标注平台的學習成本較高，前期需要教育訓練他們對标注工作的了解和使用，這部分我們花了較多的時間，目前已經形成文檔和指引手冊，新成員的學習教育訓練周期已經非常樂觀了。

InfoQ：在演講中，您還提到了政策監管下的技術逐夢與落地實踐心得，您認為在金融銀行類的行業中，技術創新與政策監管之間如何取得平衡？

王良：監管政策是紅線，無法逾越，首先要熟悉相關的法律條規先初步評估一下方案可行性，再詢問一下公司的法務意見，一般法務都比較保守，我的經驗是，隻要法務沒有明令禁止，就可以先琢磨起來，如果國内外有成功案例和經驗最好，沒有的話盡量尋找技術前沿的圈子，進行讨論，如極客幫的閉門圓桌會，鲲鵬會等。

技術創新與監管政策很難得到一個穩定的平衡，要想兩者接近于平衡需要同時具備較高的法律法務相關專業素養以及前沿技術能力，這樣的人才是非常稀缺的，我觀察到技術創新往往走在監管政策之前，如網約車、無人機、大模型等，作為一名技術人，我個人建議還是多關注前沿技術，提升自身的專業能力，以便更好地了解和評估技術創新的風險和收益。為法務提供判斷依據，尋找到合适的平衡點。

InfoQ：在私域大模型技術的應用過程中，您對于業務線選擇有怎樣的思考和政策？在面對不同業務線的挑戰時，您是如何處理的？

王良：在業務線都支援的理想狀态下，選擇項目落地需要綜合考慮公司的戰略目标、業務需求、技術可行性、風險控制及監管要求等因素。

對于不同的業務線，首先考慮戰略契合度，要與公司整體目标吻合，再考慮業務需求，評估一下投入産出比，是否有價值，最後是落地方案的可行性，可行性包括技術和監管合規。對于有價值的需求，我們會提高優先級去支援。

如果選擇決定權不在技術人手裡，需要争取業務部門資源支援的話，政策就要換一下，把自己當成銷售，把私域大模型當成我們手裡要推銷的産品，努力探索各業務方的痛點，尋找到大模型能解決的業務線，遊說對方。

我們目前采取的是第二種。

InfoQ：最後，您能否分享一些在處理私域大模型技術應用過程中的心得和經驗？對于其他網際網路金融支付行業的技術團隊，您有什麼建議或者啟示？

王良：在網際網路金融支付行業，資料私域性高，使用者交易資料、個人身份資訊、支付習慣等敏感資訊需要嚴格保護。私域大模型技術在保證資料安全、隐私的前提下，利用本地化部署的大模型進行資料分析與預測，避免直接将資料傳輸至第三方平台，降低資料洩露風險。

鑒于支付場景對響應速度和系統穩定性要求極高，私域大模型技術正在向模型輕量化、邊緣計算方向發展。通過模型壓縮、知識蒸餾等技術，簡化模型結構，減少計算資源需求，使得複雜的大模型能夠在移動裝置、終端裝置上高效運作。這樣不僅降低了延遲，提高了服務品質，還進一步減少了資料傳輸過程中的安全隐患。

我認為，随着技術不斷成熟，未來私域大模型将在網際網路金融支付行業實作更深度的融合與全鍊路智能化。從使用者注冊、身份驗證、交易授權、反欺詐監控、信貸審批、客戶服務到市場營銷等各個環節，大模型将作為核心驅動力，提供智能化解決方案，全面提升支付流程的效率與安全性。

【活動推薦】

本屆 ArchSummit 會議上，我們邀請了 CNCF、順豐集團、阿裡、騰訊、百度等企業的專家來演講。會議上還設定了大模型應用、架構更新、智算平台、AI程式設計、成本優化等專題和話題内容。如您感興趣，可點選「連結」檢視更多詳情。目前會議進入 9 折購票階段，可以聯系票務經理 17310043226 , 鎖定最新優惠。

原文連結：https://sourl.co/57Asre