天天看點

技術應用 | 機器學習模型可解釋性在銀行智能營銷場景的應用實踐

作者:金融電子化

文 / 中國光大銀行智能營運中心 曾淩 黃成

近年來,在銀行業數字化轉型的大背景下,機器學習模型已被廣泛應用于銀行營銷業務中,幫助銀行實作精準獲客、活客、留客,提高營銷效率。機器學習模型與傳統統計模型相比,能夠達到更高的精準度,但其所用算法多為黑箱,内部原理較為複雜。業務人員難以了解模型的内在運作機制和輸出結果的依據,對模型的信任度和執行效果也會大打折扣。針對模型算法可解釋性問題,2021年3月中國人民銀行釋出的《人工智能算法金融應用評價規範》也對人工智能算法在金融領域應用的安全性、可解釋性等做出了明确要求,指出“算法可解釋性是判斷算法是否适用的重要依據”。是以,無論是出于提升模型應用效果考慮,還是出于滿足監管要求、保護消費者權益考慮,銀行智能營銷場景中的機器學習模型都應具備可解釋性。

模型可解釋性的定義及分類

1.模型可解釋性定義

關于模型可解釋性的嚴格定義,目前學術界尚無定論。但基于業務應用角度考慮,可解釋就是把複雜的算法邏輯結構轉換成人類可以直覺了解的語言,讓人們能夠了解模型輸出結果的依據,知其然并知其是以然。比如給出每個特征對模型結果的影響程度,而不需要給出全部詳細的計算公式,就可以滿足業務人員的模型使用需要。

2.模型可解釋性分類

實作模型可解釋性有多種角度和方法,可按照以下幾個次元進行分類。

(1)按解釋來源,分為内在可解釋性和事後可解釋性。内在可解釋性指算法本身是可解釋的,如邏輯回歸算法,可通過特征系數判斷對模型結果的影響。該類算法通常結構較為簡單,但精确度有限。事後可解釋性指在模型訓練完成後,應用解釋方法對預測過程進行貢獻度或重要性的計算及業務解讀,如特征重要性分析及可視化等,适用于多種機器學習算法(如圖1所示)。

技術應用 | 機器學習模型可解釋性在銀行智能營銷場景的應用實踐

圖1 模型可解釋性與預測精确度的關系

(2)按解釋範圍,分為全局可解釋性和局部可解釋性。全局可解釋性指基于全量資料集,對模型整體的結構和參數等做出解釋,幫助人們了解模型運作機制。局部可解釋性指基于單個觀測,對模型如何根據特定輸入得到輸出結果進行歸因解釋,用于分析個體差異。

(3)按與模型算法的依賴關系,分為模型相關可解釋性和模型無關可解釋性。模型相關可解釋性,指根據不同算法的原理和結構,提取其結果或者計算過程中的參數或名額作為解釋,如線性模型中的p-value、R-square,以及樹模型中特征作為分裂依據的次數、影響觀測值的個數、增益貢獻等。模型無關可解釋性,指用适用于所有算法的統一方法來衡量特征的影響程度,比如通過輸入特征擾動來觀察輸出結果的變化。

SHAP解釋方法

在銀行智能營銷領域的機器學習模型應用場景中,我們既希望模型整體可解釋,也希望對每個客戶的模型結果進行歸因分析,即需要模型同時具備全局可解釋性和局部可解釋性。同時,為避免算法選擇局限,以及對比不同算法的解釋結果,我們希望采用模型無關的事後解釋方法。滿足以上條件的一種業界常用解釋方法是SHAP方法。

SHAP(Shapley Additive Explanations)方法的核心是Shapley值,其概念源于博弈論,用于解決合作博弈中的各個成員的貢獻和收益配置設定問題,主要思想是通過計算合作中個體的邊際貢獻來衡量個體的重要程度。應用在模型可解釋性中,便是将每個特征都視為個體貢獻者,用某個特征的邊際輸出值,即模型納入這一特征後輸出結果的變化量,作為該特征的量化貢獻度。

對于某個樣本的某個特征,邊際輸出值的計算方法是在所有可能的特征子集排列組合情況下,用相同的資料集、算法、參數訓練模型,分别計算模型納入某個特征時的輸出值與納入該特征之前的輸出值之差,再權重平均。假設某模型共有M個入模特征,xj為樣本x的第j個特征,S為不包含特征xj的特征子集,f為某個特定特征組合下的模型輸出值。那麼xj的shapley值計算公式為:

技術應用 | 機器學習模型可解釋性在銀行智能營銷場景的應用實踐

其中權重

技術應用 | 機器學習模型可解釋性在銀行智能營銷場景的應用實踐

為特征子集S及其餘(M-|S|-1)個特征排列組合情況的個數占全部特征排列組合情況個數的比例。

以一個包含三個特征的模型為例,每一種特征組合下的模型輸出值分别為:

技術應用 | 機器學習模型可解釋性在銀行智能營銷場景的應用實踐

不包含特征A的特征子集共有4種:

技術應用 | 機器學習模型可解釋性在銀行智能營銷場景的應用實踐

故特征A的Shapley值

技術應用 | 機器學習模型可解釋性在銀行智能營銷場景的應用實踐

Shapley值具有可加性,在基準值(模組化樣本的預測平均值)的基礎上加上所有特征的Shapley值,就是模型輸出的預測結果。這一點也使SHAP方法具有更好的業務解釋性。

對于模型整體,某個特征的貢獻度就是對該特征在每個觀測上的Shapley值的絕對值取平均值。

SHAP在銀行智能營銷場景的應用實踐

SHAP解釋方法給出了影響模型輸出結果的每個特征的重要程度。但對業務人員來說,還需将其轉換為通俗易懂的語言描述,才能真正指導業務了解和決策。光大銀行在零售業務智能營銷場景中積極探索SHAP方法的應用實踐,取得了良好成效。下面以某客群更新私行預測模型為例進行具體介紹。

該模型的模組化目标是預測該客群未來一個月資産提升、更新為私行客戶的可能性,業務目标是希望利用模型幫助業務從該客群大量客戶中精準定位高潛力目标客戶,進行主動營銷,促進私行客戶數提升。SHAP方法的應用步驟如下。

1.貢獻度計算

在模組化完成後,輸入預測模型的相關資訊,包括入模特征、算法、參數、輸出結果等,計算單個樣本以及模型整體的每個特征的Shapley值,得到量化的特征貢獻度。對于本模型而言,模型輸出值為預測機率的對數幾率,即logodds=log(p/(1-p))。

(1)單個樣本。圖2以瀑布圖的形式展示了某個客戶的各特征貢獻度計算結果,紅色指向右側的箭頭代表該特征的取值對模型結果有正向影響,藍色指向左側的箭頭代表該特征的取值對模型結果有負向影響。特征自上而下按照貢獻度的絕對值降序排列。模型對全部模組化樣本客戶的輸出均值是-3.776,最下行的58個相對不重要特征的取值使得該客戶的輸出值相比沒有這些特征減小了0.1,即它們使模型預測該客戶更新私行的可能性更低。第9重要的特征“目前資産月日均增長率”取值為0.397,使得該客戶的輸出值增加了0.12,即它使模型預測該客戶更新私行的可能性更高。同理,最上行第1重要的特征“目前資産餘額”取值為5230913.82,使得該客戶的輸出值增加了1.88;在所有特征的疊加影響下,該客戶最終輸出值為0.884,相比均值增加了4.66,在全部模組化客戶中排名前1%,即模型最終預測該客戶更新私行的可能性相比客群整體水準來說極高。

技術應用 | 機器學習模型可解釋性在銀行智能營銷場景的應用實踐

圖2 某客戶各特征貢獻度

(2)模型整體。圖3、圖4展示了全部客戶彙總後的模型特征貢獻度和貢獻關系。圖3是每個特征的整體貢獻度,可以直覺地看出特征的重要性排序情況,前5個特征影響較大,之後的特征影響相對較小。圖4展示了每個特征的取值與貢獻度的關系,圖中每一行是一個特征所有客戶的特征取值與貢獻度的散點圖,變寬處為有大量樣本堆積。點的顔色由紅到藍代表客戶在該特征的取值水準由高到低,紅右藍左趨勢說明該特征取值高的客戶其特征貢獻度多數為正,取值低的客戶其特征貢獻度多數為負,即該特征對模型預測結果具有正向影響;反之紅左藍右趨勢代表該特征對模型預測結果具有負向影響。散點分布的離散程度也再次印證了特征重要性的大小。在模型業務評審環節中,相關資訊可用于判斷模型合理性、适用性,并揭示哪些客群更容易更新私行。

技術應用 | 機器學習模型可解釋性在銀行智能營銷場景的應用實踐

圖3 特征重要性

技術應用 | 機器學習模型可解釋性在銀行智能營銷場景的應用實踐

圖4 特征貢獻度散點圖

2.重要特征選擇

業務人員通常更關心影響模型結果的最主要因素,也就是貢獻度最高的幾個特征,而無需了解全部特征的詳細情況(全部入模特征通常有幾十甚至上百個)。并且從貢獻度排序情況來看(無論是單個樣本還是模型整體),特征貢獻度通常在第4~6個開始呈現斷崖式下降。此外,上述結果雖然對特征貢獻度進行了解析,但仍不夠通俗易懂,業務人員需要具備一定的專業知識才能了解。是以,我們對每個客戶選取其貢獻度最大的前5個特征,做進一步的解讀釋義。

3.特征分箱

除了描述重要特征是什麼,我們還希望對特征取值水準進行定性描述,最簡單的方法就是分箱。雖然模組化時可能已經做了分箱,但這裡不宜采用完全相同的分箱規則,因為模組化時分箱的主要原則是使模型預測準确,而這裡的分箱主要是為了描述特征取值的相對水準,便于業務了解。是以我們對同一資料類型的特征采用盡量統一簡單的分箱規則進行處理。

(1)數值型特征,按照模組化範圍客戶的四分位數分為4箱,并對一些特殊取值進行單獨處理,比如類似999999的異常值可能具有特殊業務含義,應将其單獨分為1箱。

(2)字元型特征,按照取值種類數直接分為N箱。

(3)布爾型特征,按照取值情況直接分為2箱。

4.業務解讀

根據分箱結果對特征進行分類描述和業務解讀,将其轉換成可了解的文字描述。

(1)數值型特征,根據分箱分别描述為“大”“較大”“較小”“小”等四類。比如某個客戶“近1個月交易金額”特征的取值大于該特征的3/4分位數,則将其描述為“該客戶近1個月交易金額大”。

對于特殊取值,根據其業務含義進行描述,比如“理财産品持有最小到期時長”特征的取值為999999,描述為“目前未持有理财産品”。

(2)字元型特征,根據分箱直接轉換為描述。比如某個客戶“當月末持有金額最多理财類型”特征的取值為“外币理财”,則将其描述為“當月末持有金額最多理财類型為外币理财”。

(3)布爾型特征,根據分箱直接轉換為描述。比如某個客戶“當月是否持有私募産品”特征的取值為1,則将其描述為“該客戶當月持有私募産品”。

将每個客戶前5個重要特征的業務解讀組合成對該客戶模型輸出結果依據的業務解釋,形成千人千面的客戶描述。如“該客戶近1個月交易金額大,當月持有私募産品,……故模型預測有很高可能性次月更新為私行”。

5.營銷應用

經過前期探索實踐,光大銀行針對私行客戶價值全生命周期分層經營已搭建一套數字化驅動的營銷體系,針對各生命周期階段客群,應用模型篩選目标客戶,并輔助以客戶畫像資訊,形成精準營銷線索,通過智能營銷平台、對私客戶經理工作台等系統工具推送至客戶經理,進行外呼營銷。在現有模式的基礎上,我們将解釋性描述資訊嵌入營銷線索中,為一線營銷人員便捷、直覺地展示每個客戶的模型影響因子,不僅可以打消他們心中對于黑箱算法的疑慮,并且可以挖掘客戶差異化的金融需求,制定有針對性的營銷政策和話術,提高營銷成功率。比如,針對當月末九資餘額大的客戶,與達标私行差距較小,客戶經理可推薦門檻較低的優勢産品,以實作資産快速提升并促成轉化;針對近期交易次數、金額大的客戶,可能在行外有較多資産,可以結合客戶資配偏好、消費偏好等特征,比對相應的産品與權益,吸引客戶将資金轉入我行、提升客戶黏性。資料表明,優化線索後該客群營銷成功率比優化前提升2個百分點。

同時,将模型整體特征貢獻情況以可視化看闆的形式展示給總分行業務管理人員,可以幫助其了解客群整體畫像結構并監控其變動情況,分析經營方向、指導業務決策。

結 語

光大銀行将模型解釋方法廣泛應用于智能營銷場景實踐中,如客戶資産等級提升、穩固轉化與防流失、産品持倉提升等,打破了黑箱算法與業務人員之間的屏障,強化了模型對業務的支撐作用,延伸了模型政策的應用深度。未來,光大銀行将持續探索模型可解釋性的業務應用,讓機器學習技術更加有效地賦能銀行數字化轉型發展、創造業務價值。

(此文刊發于《金融電子化》2024年4月上半月刊)

繼續閱讀