PSI和CSI是對評分卡主模型分數以及入模變量進行監控的一大利器,它們不僅可以實時反映模型的穩定性,也可以快速發現問題,定位問題(客群變化引起、變量變化引起等),進而找到有效的解決方案。
PSI名額
PSI定義:群體穩定性名額PSI(Population Stability Index)是衡量模型的預測值與實際值偏差大小的名額;穩定度名額可衡量測試樣本及模型開發樣本評分的分布差異,為最常見的模型穩定度評估名額。其實PSI表示的就是按分數分檔後,針對不同樣本,或者不同時間的樣本,population分布是否有變化,就是看各個分數區間内人數占總人數的占比是否有顯著變化
PSI公式:PSI = sum((實際占比-預期占比)* ln(實際占比/預期占比))
PSI < 0.1 模型穩定性很高。
PSI 0.1<= psi < 0.2 模型一般,需要進一步研究
PSI >0.2 模型穩定性差,建議修複
例如:
一個模型需要統計評估其穩定性,對其進行客戶分組,統計各個分組客戶量的穩定性。以驗證模型是否合适。
具體步驟如下:
第一步:統計總進件量X
第二步:将總進件量按區間統計出各區間量
第三步:計算各區間占比(本區間數/總進件數),即實際占比
第四步:根據模型輸出期望占比
第五步:計算各個區間psi并最終進行求和。
整理輸出的最終報表樣式(類似)
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLiAzNfRHLGZkRGZkRfJ3bs92YsYTMfVmepNHL90zdNlXRqJGcxcFZwh3VkBHeXRGc4dFZwhnMMBjVtJWd0ckW65UbM5WOHJWa5kHT20ESjBjUIF2X0hXZ0xCMx81dvRWYoNHLrdEZwZ1Rh5WNXp1bwNjW1ZUba9VZwlHdssmch1mclRXY39CXldWYtlWPzNXZj9mcw1ycz9WL49zZuBnL4AjNwQDO1cTMwMTMxgTMwIzLc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
注:時間跨度越大,模型psi越不穩定。
參考:
原文連結:https://blog.csdn.net/liuliuliuliumin123/article/details/84664651
原文連結:https://www.cnblogs.com/gczr/p/9073096.html