吳永飛
葉廣楠
劉森
王彥博
人工智能與AIGC發展回顧全球人工智能發展經曆了三次大繁榮，分别是：20世紀50年代至70年代，以1956年達特茅斯會議為标志事件，符号主義和邏輯推理為主要研究内容的第一次人工智能浪潮；20世紀80年代，以特定領域“專家系統”實作人工智能實用化，以及“專家系統”所依賴的知識庫系統和知識工程為研究方向的第二次人工智能浪潮；20世紀90年代至今，以基于統計學習方法的人工智能算法，以及圖靈獎得主、深度學習先驅Geoffrey Hinton于2006年提出的深度學習算法并推動人工智能在多個領域超出人類水準為主要脈絡的第三次人工智能浪潮。自21世紀始，大資料和大算力為人工智能應用提供了更加強大的支撐，以生成對抗網絡（GAN，Generative Adversarial Network）為代表的深度學習算法在諸多理論和實踐上加速突破，人工智能生成内容（AIGC，Artificial Intelligence Generated Content）或稱其為“生成式AI”迎來爆發期。AIGC通過人工智能算法自動或輔助生成創作和修改編輯文字、圖像、音頻、視訊、遊戲、代碼、模型等數字内容，形成了新型數字内容生産方式。其中，ChatGPT對話機器人作為AIGC模式下的産物，是以GPT（Generative Pre-trained Transformer）為主要架構的人工智能大語言模型，是迄今為止最接近通用人工智能（Artificial General Intelligence，AGI）的技術，開啟了由弱人工智能到強人工智能的階躍，将對人類社會帶來深刻的變革，産生深遠的影響。以ChatGPT為代表的大語言模型技術發展業界發展動态以ChatGPT背後技術為代表的人工智能大語言模型正在催生新一輪人工智能浪潮，在全球範圍掀起人工智能大語言模型科技競賽，科技巨頭加快布局，生成式AI領域風起雲湧。從2018年至今，OpenAI先後疊代并推出了GPT-1、GPT-2、GPT-3、InstructGPT、ChatGPT和GPT-4。微軟、Google等科技巨頭加速跟進，其中，微軟率先将GPT-4應用于New Bing（新必應）搜尋引擎，可更加精确地了解使用者的查詢需求，并提供與之相關的實時資訊。與此同時，以百度、華為、阿裡、商湯為代表的國内人工智能領軍企業加快大語言模型的研發和商業應用，并在NLP、OCR、計算機視覺、語音識别等多個領域開展模型實踐，初步形成端到端的全棧大語言模型技術應用能力。以複旦大學、清華大學為代表的高校科研機構，面向市場紛紛開源自主研發人工智能大語言模型，積極推動生态建構。傳統雲廠商基于在雲計算領域多年積累的技術優勢，優先建構基于大語言模型的智算基礎設施，有望形成MaaS（模型即服務）模式，并賦能産業，推動企業數智化更新，以期全面帶動産業數字化轉型發展。作為資料密集型行業，銀行業一貫是先進科技應用的先鋒軍，以工商銀行、農業銀行、華夏銀行為代表的商業銀行紛紛探索人工智能大語言模型在金融領域各場景的應用落地。ChatGPT的優勢和特點ChatGPT基于大規模預訓練模型GPT-3.5的強大語言了解和生成能力，引入RLHF(Reinforcement Learning from Human Feedback)技術，它将人類的回報納入訓練過程，為機器提供一種自然的、人性化的互動學習過程。從人類得到回報，以更廣泛的視角和更高的效率學習，從更專業的知識中學習并規範其價值導向。ChatGPT模型技術，通過文本、代碼、圖像、視訊等單模态和多模态内容生成，形成高效率的數字内容生産方式，開啟了數字内容生産革命，極大地提升了生産力；通過精準了解使用者意圖，調用已有的軟體工具、算法模型和第三方服務，滿足使用者各類需求，形成更高效的人機互動方式，讓人人都擁有屬于自己的AI助手成為可能；通過高效的資訊聚合和知識提煉，并結合專業知識庫或搜尋引擎，極大地提升了回複内容的準确性和實時性，有望形成新的知識表示、調用和擷取方式，為資訊搜尋和知識擷取降本增效。目前，ChatGPT在知識問答、語言翻譯、資訊搜尋、内容創作、代碼生成、簡單推理和資料分析等領域達到人類基本水準。此外，ChatGPT在金融領域表現出了廣泛的應用前景，覆寫了風險管理、欺詐檢測、财務規劃、營銷自動化、智能客服、增強知識圖譜、提高客戶活躍度及法律合規等衆多應用場景。ChatGPT的局限性盡管ChatGPT具有強大的語言了解和内容生成能力，但仍存在一些局限性，包括但不限于以下三個方面。輸出内容缺乏時效性。ChatGPT通常基于曆史資料進行訓練，并不具備實時擷取和處理新資料的能力，難以即時更新模型中的知識儲備。對于一些實時性較強的最新資訊或即時消息，模型可能會輸出不準确或錯誤的資訊，而要讓訓練資料囊括最新的資訊資訊，對訓練的時間和成本消耗都非常大，更新速度會遠慢于搜尋引擎。輸出内容的可靠性有待進一步提升。ChatGPT輸出内容仍會存在事實性錯誤，它本身無法核實資料來源的真實性，不具備驗證引用資料來源的能力，可能會輸出一些虛構或錯誤的資訊。此外，盡管ChatGPT技術具有極其優秀的語言“創造”能力，以及看起來極具邏輯性的“邏輯推理”效果，但ChatGPT的推理和生成答案依賴于“統計機率”方法，是以不足以準确地處理邏輯問題。不僅如此，如果沒有灌入特定專業領域資料開展訓練，ChatGPT在特定專業領域上的垂類應用表現也不盡如人意。模型倫理道德邊界存在模糊空間。ChatGPT是基于現實世界的語言資料預訓練而成的，若資料存在偏見和有害内容，以及标注人員的偏見性，會導緻模型輸出帶有歧視、偏見等違背倫理道德的有害内容。盡管模型開發者有意避免上述問題，但經過一些誘導或不當操作，模型輸出有害内容仍有可能發生。對人工智能大語言模型應用模式的思考人工智能大語言模型應用模式分類ChatGPT背後的人工智能大語言模型技術将催生新業态，帶來新機遇。在雲計算時代，IaaS（基礎設施即服務）、PaaS（平台即服務）和SaaS（軟體即服務）幫助企業将業務更快地遷移至雲端，實作資訊化發展目标。在人工智能時代，MaaS（模型即服務）将向企業提供模型能力，支援企業和産業實作數字化轉型及智能化改進。是以，如何将人工智能大語言模型快速應用落地，是賦能實體經濟、便利人們生活及促進企業數智化轉型的關鍵。從企業實際應用人工智能大語言模型的方式來看，可以分為公有雲模式和私有雲模式。公有雲模式主要是科技巨頭通過建構人工智能大語言模型基礎設施向市場提供模型能力，實作MaaS（模型即服務），滿足不同開發能力的企業和個人需求。具體而言，主要包括直接調用推理服務、模型微調服務、模型托管等方式：第一，直接調用推理服務。使用者可以通過付費訂閱等方式，直接通路通用大語言模型的核心推理能力，獲得推理結果。第二，微調服務。使用者可以根據自己的需求，使用少量的領域資料，在通用大語言模型的基礎上，以相對較低成本的方式訓練出一個定制化的大語言模型。第三，托管服務。使用者可以将通用大語言模型或微調後的行業及專業領域大語言模型直接部署到雲端。這樣，使用者隻需要調用大語言模型，無需關心部署和管理的複雜性，同時保證了大語言模型的可用性、效率和安全性。私有雲模式主要是出于對敏感資訊和重要資料的保護以及合規的需要，企業将人工智能大語言模型部署于本地私有雲，供企業内部使用者使用。人工智能大語言模型建構要求極高的算力，非一般企業或個人能夠承擔。從建設成本和難易度等因素考慮，企業建構人工智能大語言模型主要包括但不限于以下三種方式：第一，合作部署。通過将模型服務商的通用AI大語言模型私有化部署本地，供企業内部使用。這種方式下，模型參數一般高達千億級别甚至更高，具有較高通用智能，但建設成本較大，企業定制化需求難以滿足。第二，“大語言模型+微調”方式。通過選用中等規模人工智能大語言模型（百億級參數）或将超大規模大語言模型進行剪枝、量化、蒸餾，并結合企業私有資料，對大語言模型進行微調，使之适用于具體垂直行業、領域和場景。第三，“預訓練+微調”方式。企業通過大規模“預訓練﹢微調”範式，自主建構大語言模型。該方式下，對企業算力成本、核心技術掌控力等方面有很高要求。人工智能大語言模型應用模式的優劣勢對比分析人工智能大語言模型應用模式情況的對比分析詳見表1。
表1 人工智能大語言模型應用模式情況對比分析
對于商業銀行而言，資料安全保護必須符合國家法律和行業監管要求，調用外部廠商大語言模型服務需要依賴AI模型服務商提供的安全保障，可能存在資料被第三方通路或竊取的風險。是以，商業銀行應優先考慮以私有雲模式推動人工智能大語言模型應用落地。其中，在合作部署模式下，私有化部署模型服務商的通用AI大語言模型的建設成本較高，且難以滿足商業銀行定制化需求；在“預訓練+微調”模式下，大語言模型的開發、訓練、推理部署的門檻非常高，通常需要大規模算力進行模型訓練，企業需要負擔相對高昂的GPU等硬體成本，且技術難度大，存在較大實施與應用風險；而在“大語言模型+微調”模式下，考慮建設成本和技術複雜度相對可控，目前商業銀行可優先考慮運用中等規模通用大語言模型開展相應的應用落地工作。在私有雲“大語言模型+微調”模式下，具體有兩種可能的實作路徑：一是通過對現有模型服務商的通用AI大語言模型（一般是千億級參數）進行裁剪、量化和蒸餾，形成中等規模大語言模型（百億級參數），并結合本地資料進行微調。二是直接應用中等規模通用大語言模型，基于模型通用智能湧現現象和泛化能力，并結合多種垂直行業和業務場景需求進行模型微調及應用适配，建構面向垂類應用的大語言模型，進而擺脫傳統AI能力碎片化、作坊式開發的束縛。商業銀行人工智能大語言模型應用建設複旦大學MOSS大語言模型的技術發展。複旦大學MOSS大語言模型是國内首個插件增強的開源對話語言模型。該模型擁有約160億個參數，支援中英文雙語和多種插件，如搜尋引擎、電腦、解方程、文生圖等。複旦大學MOSS大語言模型在約7000億中英文及代碼單詞上預訓練，并基于此進行插件增強的多輪對話有監督微調，使其具備多輪對話能力、指令遵循能力及規避有害請求的能力，覆寫有用性、忠實性、無害性三個層面，提高對話品質和使用者滿意度。MOSS開發的基本步驟包括自然語言模型的基座訓練及了解人類意圖的對話能力訓練兩個階段。并且，相較于1750億參數的GPT-3模型、1760億參數的BLOOM模型以及500億參數的BloomBergGPT模型，MOSS模型不僅小巧而且精悍。它在模型量化後能夠輕松進行終端裝置部署，在FP16精度下可在單張英偉達A100/A800或兩張RTX 3090顯示卡運作，在INT4/8精度下可在單張RTX 3090顯示卡運作，做到了能耗低和碳排放量小，并友善使用者互動；同時它也可以在進行垂直領域資料微調時，較大程度地避免過拟合及記憶訓練資料等問題。此外，MOSS大語言模型能夠從各類金融實時資料（如股票、債券等）、各類知識圖譜（如産業鍊、供應鍊等），以及研報、财報等非結構化文本資訊中學習多源異構知識，通過多種方式增強MOSS模型的金融專業領域智能對話能力，可在銀行财富管理等金融場景中發揮其應用價值。基于MOSS等大語言模型建構ChatLONGYING。本文綜合考量資料安全、定制化、技術難度、建設成本等因素，提出商業銀行可優先考慮選用産生了湧現現象的中等規模通用大語言模型作為私有雲應用基礎，結合垂類應用場景需求進行微調，并內建商業銀行現有的自然語言處理、計算機視覺、智能語音、知識圖譜等多個AI核心技術能力，打造商業銀行AI大語言模型能力體系，實作AI從“手工作坊”到“工廠模式”的轉變，由此高效地進行模型生産與服務，賦能商業銀行數字化轉型與智能化發展。本文主要基于MOSS大語言模型并輔以其它開源人工智能模型，面向銀行應用領域中的财富管理場景，通過輸入個性化資料及微調模型，利用SFT（Supervised Fine-Tuning）微調技術在學習過程中融入了人類專家的知識和經驗，提高智能體的學習效率和性能，并利用Prompt技術在模型使用時限制領域知識範圍，提升模型生成效果，進而成功打造并應用ChatLONGYING商業銀行私有化大語言模型。人工智能大語言模型在銀行财富管理領域的應用探索銀行财富管理需求痛點分析商業銀行在财富管理領域存在諸多痛點。一是從智能投顧視角看，财富管理專業人才匮乏。傳統财富管理服務的門檻較高，商業銀行能夠為客戶提供專業咨詢和資産配置建議的專業人員較少，基于營運成本考慮，相關人員往往優先服務高淨值客群，難以覆寫長尾客戶。二是從智能投研視角看，傳統資料分析和投研效率較低。多數理财顧問隻能提供一些基礎的産品介紹和推薦，缺乏對規模龐大、次元多樣、瞬息萬變的金融市場資料開展全面、深入、靈活、有效的分析，投研效率不高。三是從智能投資視角看，難以滿足客戶的不同風險偏好和差異化資産配置需求。金融市場的複雜化和多元化增大了資産配置難度，投資風險分析和投資政策制定等業務具有較高的專業性，且不同客戶風險偏好、投資政策不盡相同，相關業務人員難以有效應對。ChatLONGYING在銀行财富管理領域的應用探索面向智能投顧場景。一是可應用于客戶畫像。ChatLONGYING通過分析客戶的風險偏好、投資目标和資産狀況等資訊，生成與客戶需求相比對的資産池，通過與客戶進行自然語言互動，ChatLONGYING可以更好地了解客戶需求，為客戶提供個性化的投資建議。例如，理财經理可以詢問ChatLONGYING：“請告訴我50歲、男性、工程師、月收入2萬元的新客戶會比較偏好什麼類型的基金産品？”在此場景中ChatLONGYING可以為特定客群給出适宜性建議并提示投資風險。二是可應用于投資知識普及。ChatLONGYING可通過智能問答系統，解答客戶關于投資業務的疑問，提高客戶對投資市場的認識和了解。通過與客戶進行自然語言互動，ChatLONGYING可以更好地了解客戶問題，提供簡單易懂的投資知識。例如，客戶可以詢問ChatLONGYING：“我覺得最近經濟形勢向好，想買一些易受經濟周期影響的行業，可否幫我羅列一下？”在此場景中ChatLONGYING會羅列出受經濟影響較大的行業，并嘗試給出各行業受經濟影響的相關分析。三是可應用于産品接續提醒。自動化地管理投資組合，針對需要定期調整投資組合的資産配置，ChatLONGYING可以根據客戶設定好的資訊進行智能化提醒，以確定投資組合的風險和收益水準符合客戶的需求，提高投資效率和準确性。例如，客戶可以要求ChatLONGYING：“請在我目前購買的産品到期前3天提醒我，準備續接新的産品。”在此場景中ChatLONGYING可以通過調用APP、短信、郵件等方式幫助客戶進行後續智能化提醒操作。四是可應用于客戶服務支援。ChatLONGYING可通過智能問答系統解答客戶關于機構内評分、評級及投資建議的疑問，提供技術支援和投資建議，通過與客戶進行自然語言互動，可以更好地了解客戶問題，提供個性化的客戶服務。例如，客戶可以詢問ChatLONGYING：“機構為我建議的RP1是什麼意思？”在此場景中ChatLONGYING會根據機構評級給出釋義，展示出對應風險等級的投資産品，并闡述風險意願與風險能力差異，為客戶答疑解惑。面向智能投研場景。一是可應用于資料分析挖掘。通過自然語言處理技術，ChatLONGYING會從大量的投資資料中自動化地挖掘出關鍵資訊和趨勢，幫助分析師更快地了解市場變化和投資機會，進而更好地做出投資決策。例如，客戶詢問ChatLONGYING：“上市公司A的淨利潤是否超預期？”在此場景中ChatLONGYING會通過搜尋未公布年報時A機構給出的預測利潤及公布年報後的實際資料，給出問題的回答。二是可應用于研究報告檢索。根據客戶需求，ChatLONGYING通過與資訊檢索技術的整合，自動完成投資研究報告檢索工作，自動化地整合和分析大量資料，提供研究報告的内容和結論，進而大大提高研究報告的品質和效率。例如，客戶可以詢問ChatLONGYING某公募基金交易範圍，如“510021是否可以交易港股？”在此場景中ChatLONGYING會對研究報告的智能檢索給出交易範圍、直接與間接交易差異，并提示交易公募基金風險。三是可應用于名額計算。ChatLONGYING可使用算法對投資資料進行分析和計算，根據給定資料提供最佳的投研建議，并幫助投資者了解相關的評價名額，以更高效地完成投資研究。例如，客戶可以詢問ChatLONGYING某理财産品近四年的最大回撤，而不再因受到時間段限制需要手動計算。四是可應用于情報監測。通過對投資市場的實時監測和分析，ChatLONGYING可自動化地發現市場風險和機會，提醒投資者關注市場變化和風險，使投研結果更快地比對現實場景。例如，詢問ChatLONGYING：“161725基金經理最近兩年有變動嗎？”在此場景中ChatLONGYING會給出基金經理任期變動、是否在客戶圈定範圍内發生了變動、目前基金經理任期時長等相關資訊。面向智能投資場景。一是可應用于資産配置。根據投資者的風險偏好和目标，ChatLONGYING會自動化地生成最佳資産配置方案，通過機器學習算法和大量的投資資料，為投資者提供最優的投資組合，以達到最大化的投資回報和最小化的投資風險。例如，可以詢問ChatLONGYING：“接下來的市場行情不錯，我想更加激進一點，可否幫我推薦一個含有ChatGPT概念的股票清單。”在此場景中ChatLONGYING會給出相應概念的股票清單并提示其主營業務。二是可應用于編寫政策代碼。ChatLONGYING可通過機器學習算法和實時的市場資料，提供最佳的交易政策，根據市場趨勢和投資者的需求，提供買入和賣出的建議，以最大化投資回報和降低交易風險。例如，可以要求ChatLONGYING：“請幫我寫一個Python政策，政策思路為均線MA5超過MA10且年化波動率小于15%。”在此場景中ChatLONGYING會将相對應的代碼呈現出來，包括資料、政策主題、回測表現等全流程資訊。三是可應用于實時投資監測。ChatLONGYING可通過實時的市場資料和投資組合監測，為投資者提供實時的投資決策建議，幫助投資者了解市場變化和趨勢，及時做出投資決策，以最大化投資回報。例如，給出自己的投資組合後詢問ChatLONGYING：“在我自己的股票組合中，最大回撤超過5%時減倉合理嗎？”在此場景中ChatLONGYING會給出最大回撤對組合的負面影響，減倉的正面效果及其他投資建議。四是可應用于風險管理。通過自動化的風險評估和監測，ChatLONGYING能幫助投資者降低投資風險，根據投資者的風險偏好和投資組合，提供最佳的風險管理政策，以保護投資者的本金和收益。例如，當投資者希望自己的組合收益長期達到8%，但是最大回撤不超過5%時，可以詢問ChatLONGYING如何操作。在此場景中ChatLONGYING會根據投資者的輸入資訊給出操作步驟及相應的投資建議。結語本文回顧了人工智能大語言模型的發展曆程及目前的進展，在深入研究人工智能大語言模型應用模式的基礎上，提出商業銀行可優先考慮選用産生了湧現現象的中等規模通用大語言模型作為私有雲應用基礎，結合垂類應用場景需求進行微調，并內建商業銀行現有的自然語言處理、計算機視覺、智能語音、知識圖譜等多個AI核心技術能力，打造商業銀行AI大語言模型能力體系。盡管人工智能大語言模型具有語言了解、内容生成等強大能力，但目前的模型應用仍面臨着安全風險挑戰，主要展現在三個方面：一是科技倫理風險引争議。如人工智能自動生成内容，甚至人工智能取代某些人工工作，是否會出現違反人類倫理、道德、法律的問題，這存在很大争議，目前尚無對相關技術的監管共識與标準。二是被惡意使用或誤用的風險。人工智能大語言模型的使用過程如不加以監督，也可能被用于生成違反法律法規、違背道德準則的内容，被利用于網絡炒作、制作惡意不實資訊、編寫惡意軟體、實施不正當商業營銷等，或者洩露客戶個人隐私及保密資訊等。三是惡意的提示注入攻擊。黑客可能針對生成式人工智能系統開發破解方法和提示注入攻擊，使用精心設計和提煉的句子而不是代碼，利用系統弱點繞過内容過濾器的安全檢查，将惡意資料或指令嵌入到AI模型中，使人工智能系統生成違背倫理道德、産生歧視性或誤導性甚至非法的言論等。面對安全風險的挑戰應采取有效的防範措施，一是健全完善生成式AI安全應用相關制度。面對科技倫理風險，應通過建立有效的内容稽核和監管機制，防止生成及傳播不良和違法内容；通過建立合理的知識産權保護制度，保障各參與方的合法權益；通過建立嚴格的資料保護規範，保護客戶的資料安全和隐私權。二是強化大語言模型應用的技術監管和審查。面對可能利用人工智能大語言模型進行網絡犯罪的問題，有關部門應加強對人工智能大語言模型的監管和審查，防止其被濫用，建立可行的檢驗方法來確定模型給出的回答是真實可靠和沒有危害的，避免資料洩露、虛假資訊、侵權等問題。三是探索大語言模型實際應用落地的具體風險防範措施和手段。面對可能發生的内外部惡意攻擊，金融機構應根據自身業務，選用可信的人工智能大語言模型并采用私有雲模式，實施必要的模型應用管理辦法和網絡控制手段，進而減小對外風險暴露面，穩妥開展人工智能大語言模型面向具體業務場景的應用落地。（本文作者向中國工程院院士、複旦大學金融科技研究院柴洪峰院長對本文的指導表示感謝。複旦大學周宇航、曾倩如、甘雲荟，以及龍盈智達﹝北京﹞科技有限公司陳生、楊璇、劉骊、劉曦子、關宇航、王一多、陽少傑、闫括、高新凱、李維、劉潔菲、李廣龍、覃輝、劉微、王月超和單石磊對本文亦有貢獻）
内容來源：銀行家雜志
