彭博近日釋出了金融領域大語言模型：BloombergGPT，500 億參數語言模型（*）。數字化、智能化轉型正在各行各業全面鋪開，人工智能等技術加速向金融業滲透，保險從業機構保持技術的敏感度，持續提升創新能力，不斷挖掘增量市場，以應對科技發展帶來的挑戰和機遇。Magic Data作為領先的AI資料解決方案提供商，深耕對話式人工智能領域，期待能在未來持續為行業客戶提供資料側支援，從資料科學的專業視角賦能客戶的數智化轉型。
客戶概況
客戶公司是國内重要保險從業機構。随着數字化轉型的加速，客戶對于智能化客服的需求越來越迫切，希望通過人工智能技術和虛拟數字人等科技創新方式，來完善和更新其營運、營銷和客服功能，提升使用者體驗。通過引入AI數字員工，客戶希望在降低營運成本的同時增加效率，打造出一個與衆不同的企業形象，這不僅可以吸引更多的新客戶，還可以提升企業的品牌價值。
需求與挑戰
數字員工是數字虛拟人技術在保險業的一個直接應用。外形設計上，數字員工要端莊幹練，展現金融從業人員的專業性，在與人互動過程中要能夠了解使用者的問詢意圖，并口齒清晰，親切自然地給出一緻的專業解答。
這一過程涉及到計算機圖形學，語音識别、語音合成、自然語言了解等技術的綜合應用，其中最重要的技術難點就是多模态模型的融合，如：模組化中聲音和面目表情需要一緻，語言、動作、神态三者也需要協調統一，更高品質的融合才能有真實、自然、飽滿的人物形象，才有更高的使用者接受度。
另外，在産品市場化過程中，不同地域使用者會有個性的表達習慣，以及使用口音方言表達的情況，對這些不同語音特征的識别也是語音識别重要的技術挑戰。
再次，不同的使用者群體，會有不同偏好的互動習慣，符合使用者群體的數字員工的性格、人設，可以提升使用者體驗，針對特定類型的員工，如虛拟投保經理，可以提高使用者粘性，增加交易機會。
解決方案
Magic Data以專業咨詢和資料方案設計的底層能力為支撐，為客戶提供了成品語音資料集結合定制化資料采集标注服務的資料傳遞方案。
首先，針對多模态融合，表情、語音一緻性這一不足，Magic Data結合過往數字人項目專家知識提供定制采标服務，擴充訓練集。面部表情采集使用相機陣列完整捕捉模特全部面目表情，語音采集使用貼合落地場景的裝置進行采集。采集後的語音和面部表情經過檢查，保證時間對齊，減少客戶後續資料處理成本。
對于客戶數字員工應用重點區域進行分析，提供重點區域方言、重口音，識别訓練資料集，直接幫助模型疊代增加語音識别準确性。
在數字員工互動回答部分，提供金融行業領域相關語音合成資料成品集，使數字員工的回答更加富有親和力、具有專業感。
使用的部分資料集産品
語音識别（ASR）成品資料集
東北話對話音頻資料集 https://www.magicdatatech.cn/datasets/asr/mdt-asr-e054-northeastern-mandarin-conversational-speech-corpus-1606298744
上海話對話音頻資料集 https://www.magicdatatech.cn/datasets/asr/mdt-asr-e054-northeastern-mandarin-conversational-speech-corpus-1606273158
金融領域多輪對話文本樣例
語音合成（TTS）成品資料集
中文男聲客服TTS資料集 https://www.magicdatatech.cn/datasets/tts/mdt-tts-f004-mandarin-chinese-speech-corpus-for-tts-1631268279
中文甜美女聲TTS資料集 https://www.magicdatatech.cn/datasets/tts/mdt-tts-f010-mandarin-chinese-speech-corpus-for-tts-1633947646
中文女聲客服TTS資料集 https://www.magicdatatech.cn/datasets/tts/mdt-tts-f012-mandarin-chinese-speech-corpus-for-tts-1659685907
Magic Data成品資料集經過Magic Data自研資料采集及标注平台處理，專業團隊根據行業領先标準對資料進行清洗、标注、質檢驗收，端到端的資料處理機制充分保證了資料的高品質及合規性。
價值傳遞
通過運用Magic Data賦能的語音識别、語音合成以及數字虛拟人技術，客戶建構了涵蓋智能對話系統和虛拟形象的全新數字員工。客戶将數字員工引入其營運體系中，在智能營銷、智能客服、智能理賠等多個與客戶互動的場景落地，顯著降低了營運成本，實作了工作流程優化。同時高性能的語音識别和語音合成與靈動的數字員工形象整體提高客戶數字員工産品的市場接受度，擴大了客戶使用者群體，實作了降本增效的目标。
*參考資料：http://arxiv.org/abs/2303.17564