【評分卡開發】信用評分模型建構流程

本課程，将從信用評分模型的發展、應用、類型及開發流程等多個方面展開介紹，旨在讓初學者全面了解其在信貸金融領域裡的可靠性及重要性，并且掌握一定的開發能力。

文章目錄

• 1.評分卡簡介
• • 1.1 簡介
  • 1.2 種類
  • • 1.2.1 依預測目的分
    • 1.2.2 依發展主體分
    • 1.2.3 依實證化程度分
    • 1.2.4 依模型對象分
    • 1.2.5 依生命周期分
    • 1.2.6 依使用時機分
  • 1.3 作用及優勢
• 2. 評分卡項目規劃
• • 2.1 項目目标
  • 2.2 項目範圍
  • 2.3 時程規劃
  • 2.4 成本效益分析
  • 2.5 配套措施
  • 2.6 營運計劃
• 3.評分卡開發流程
• • 3.1 業務了解
  • • 3.1.1 開發目的
    • 3.1.2 模型要求
    • 3.1.3 客戶類型
    • 3.1.4 産品類型
  • 3.2 基本定義
  • • 3.2.1 視窗期
    • 3.2.2 違約定義
    • 3.2.3 适用範圍
    • 3.2.4 樣本區隔
  • 3.3 資料準備
  • • 3.3.1 資料來源
    • 3.3.2 資料有效性
    • 3.3.3 原始變量選擇
    • 3.3.4 樣本選擇
    • 3.3.5 抽樣方式
    • 3.3.6 資料集準備
    • 3.3.7 資料采樣
    • 3.3.8 樣本切分
  • 3.4 資料探索
  • • 3.4.1 資料品質檢查
    • 3.4.2 描述性統計分析
    • 3.4.2 EDA探索性分析
  • 3.5 資料清洗
  • • 3.5.1 格式處理
    • 3.5.2 缺失值處理
    • 3.5.3 異常值處理
    • 3.5.4 資料規約
    • 3.5.5 變量粗篩
  • 3.6 特征工程
  • • 3.6.1 特征衍生
    • 3.6.2 特征分箱
    • 3.6.3 特征編碼
    • 3.6.4 特征選擇
  • 3.7 模型訓練 model training
  • • 3.7.1 算法選擇
    • 3.7.2 訓練 train
    • 3.7.3 測試 test
    • 3.7.4 驗證 oot
  • 3.8 拒絕推斷
  • 3.9 标準評分轉換
  • 圖檔
  • • 圖檔
  • 3.10 效力驗證
  • • 3.10.1 基本要求
    • 3.10.2 模型準确性
    • 3.10.3 模型排序性
    • 3.10.4 變量有效性
    • 3.10.5 模型穩定性
    • 3.10.6 評分排序性
  • 3.11 模型報告
• 4.模型部署
• • 4.1 模型檔案
  • • 4.1.1 pkl
    • 4.1.2 pmml
  • 4.2 部署方式
  • • 4.2.1 腳本
    • 4.2.2 決策引擎
• 5.評分卡的切分與使用
• • 5.1 評估名額
  • 5.2 設定政策
  • 圖檔
  • 5.3 基于A_score的額度定價
  • 5.4 基于A_score的利率定價
• 6.模型監控
• • 6.1 監控報表
  • • 6.1.1 穩定性監控
    • 6.1.2 特征監控
    • 6.1.3 未過評分賬戶監測
    • 6.1.4 不良貸款分析
    • 6.1.5 拒絕原因分析
  • 6.2 風險跟蹤
• 7.模型調優
• • 7.1 調優原因
  • • 7.1.1 市場環境變化
    • 7.1.2 模型監控
    • 7.1.3 新變量探索引入
  • 7.2 調優方法
  • • 7.2.1 A類調優
    • 7.2.2 D類調優
  • 7.3 調優步驟
  • 7.4 調額步驟
• 8.常見問題
• • 8.1 資料問題
  • 8.2 模組化問題
  • 8.3 業務問題

1.評分卡簡介

1.1 簡介

定義： 信用評分模型是運用資料挖掘技術和統計分析方法，通過對消費者的人口特征、信用曆史記錄、行為記錄、交易記錄等大量資料進行系統的分析，挖掘資料中蘊含的行為模式、信用特征，捕捉曆史資訊和未來信用表現之間的關系，發展出預測性的模型，以一個信用評分來綜合評估消費者未來的某種信用表現。

應用：信用評分模型是消費者信貸中先進額技術手段，是銀行、信用機構、個人消費信貸公司、電信公司、保險公司等涉及消費信用的企業實體最核心的管理技術之一。被廣泛應用于信用卡生命周期管理、騎車貸款管理、住房貸款管理、個人貸款管理、消費信貸管理等多領域，在市場營銷、信貸審批、風險管理、賬戶管理、客戶關系管理等多方面發揮着十分重要的作用。

起源：信用評分模型的應用和發展，首先是應消費信貸金融機構風險管理的需要而産生的，然後才逐漸應用到市場營銷管理、收益管理、客戶關系管理等領域。

發展：從數理分析技術發展的層次上講，信用評分魔性的發展經曆了3個曆史階段：

• 以客戶分類為核心：使用一些描述性統計方法，如均值、方差、頻率、機率分布等和探索性統計方法，如聚類分析、因子分析、相關性分析等，對客戶資質資訊進行簡單的分析，結合經驗進行初步評估，以此為基礎對客戶進行分門别類。
• 以預測模型為核心：是信用分析技術的重大突破，它通過對消費信貸機構的外部資訊和内部資訊等進行深度挖掘，提煉出大量的反映消費者行為特征和資信能力的衍生變量，并運用先進的數理統計技術把各種變量的資訊進行綜合，系統性地對客戶未來某方面的信用表現作出預測。
• 以決策模型為核心：比純粹的預測模型又進了一步，它不僅對消費者未來信用表現進行預測，還會将其以函數的形式加入決策，綜合其他多個參考因子，将其對決策的影響數量化。如風險定價、額度管理，不同消費者對不同的利率、額度等的敏感度不同，也就意味着，需要對不同類型的消費者進行區分決策。

現狀：如今，消費金融信貸領域中，評分模型主要應用于：

• 風險管理
  • 審批
  • 授信
  • 評級
  • 定價
  • 貸後管理
  • 催收
• 市場營銷
  • 獲客
  • 精準營銷
  • 交叉銷售

效能：它可以為管理人員提供大量具有高度預測力的資訊，幫助管理人員制定行之有效的管理政策，以較高的精度有效地開拓市場、控制風險、挖掘收益，實作消費信貸業務的高效益。

技術：資料庫技術、數理統計技術、計算機技術的發展，使信用評分模型的發展獲得科技基礎。消費信貸活動的過程産生大量發展信用評分模型所需要的相關資料，這些資料反映了消費者信用曆史、資信狀況、信用行為等方面的資訊。

• 資料庫技術：用于大規模收集、整理、儲存、提取資料；
• 數理統計技術：用于從大量的、紛繁複雜的資料中挖掘有用的資訊、提煉行為特征、分析行為模式；
• 計算機技術：使資料分析、模型發展、模型自動化實施等的資料處理規模、速度不斷擴大，加速了整體技術的發展。

1.2 種類

1.2.1 依預測目的分

• 風險評分模型
  • 對違約拖欠的風險機率進行預測
• 收益評分模型
  • 對消費者給信貸機構帶來收益的潛力大小進行預測
• 流失傾向評分模型
  • 對現有客戶在未來一定時期内流失的機率進行預測
• 市場反應評分模型
  • 對目标客戶接受信貸機構影響的機率進行預測
• 轉賬傾向評分模型
  • 對目标客戶把貸款餘額從别的銀行轉賬過來的機率進行預測
• 循環信貸傾向
  • 對目标客戶或現有客戶利用信用卡賬戶進行循環信貸的機率進行預測
• 欺詐評分模型
  • 對信用卡申請或信用卡交易為欺詐行為的機率進行預測

1.2.2 依發展主體分

• 信用局評分模型（通用化模型）
• 行業共享模型（通用化模型）
• 以銀行内部自有資料為評分基礎的客戶化模型（客制化模型）

1.2.3 依實證化程度分

• 專家風險評分模型
• 半客戶化評分模型
• 完全客戶化評分模型

1.2.4 依模型對象分

• 賬戶層次評分模型
• 客戶層次評分模型
• 消費者層次評分模型

1.2.5 依生命周期分

• 拓展客戶
  • 管理決策：目标客戶判斷、産品/激勵、利率/年費/其他收費
  • 評分模型：信用局風險評分、信用局收益評分、信用局破産評分、市場反應評分、轉載傾向評分
• 審批客戶
  • 管理決策：是否準許、定價、初始信用額度、交叉銷售
  • 評分模型：申請風險評分、信用局風險評分、信用局收益評分
• 管理客戶
  • 管理決策：提高/降低信用額度、交易授權、超額透支授信、反欺詐、重新定價、激活/挽留、壞賬催收、續發信用卡
  • **評分模型：**行為風險評分、行為收益評分、流失傾向評分、壞賬催收評分

1.2.6 依使用時機分

• A_score
  • **定義：**進件評分（application score）對每一筆新申請的貸款進行評分，主要用在信貸準入門檻的設計和授信額度的确定方面
  • **資料：**申請前的客戶基本資訊、登入、行為資訊、外部征信資料
  • **目的：**預估到期後發生嚴重拖欠的機率（逾期天數>60天）
  • 範圍：
    • 不經過評分、特列類型的案件處理
    • 資訊缺失的案件處理
    • 評分截點的設定政策
    • 例外推翻的控制
    • 應用評分決定貸款額度的政策和定價

  • 項目：

    A_score.rar

• B_score
  • 定義：行為評分（behavior score）按月對未逾期的貸款進行評分，主要用來在貸後管理中确定客戶風險的高低，進而根據風險的不同采取不同的貸後管理手段。
  • 作用：行為評分可用于信貸客戶多方面管理，包括額度管理、市場活動、提前預警等。B_score、曆史信貸行為、外部征信源、惡意刷額識别評分
  • 政策：按照不同評分，給予不同管理手段政策：
    • 特差：早期預警
    • 差：限額
    • 中：不予調額
    • 流失：流失挽回
    • 好：提升額度
  • 資料：

• 項目：

  B_score.rar

• C_score
  • 定義：催收評分(collection score)，對目前月逾期的貸款進行評分。主要是用來在催收管理中确定風險比較高的客戶，進而根據風險的不同采取不同的催收手段
  • 資料：逾期資訊、行為資訊、征信資訊、風險分類标注、催收日志挖掘、催收語音轉文本
  • 模型：
    • 催收難度及力度
    • 失聯修複
    • 催收親密度模型
  • 作用：應用評分決定貸款催收管理政策：
    • **入催客戶：**忘還款、手頭緊、老賴
    • **計算催收容易度：**裝置特征、行為特征、信貸表現、前幾期還款情況
    • **決策結果：**易、中、難

  • 項目：

    C_score.rar

• F_score
  • 定義：F_score，利用多種定量方法，評估欺詐機率，拒絕疑似惡意騙貸客戶的進件及申請
  • 模型：
    • 多種算法內建學習
      • 業務規則
      • 邏輯回歸
      • 随機森林
      • 神經網絡
    • 關聯風險模型
      • 圖資料庫
      • 關聯圖譜
        • 定義：利用圖資料庫、聚類分析和複雜網絡，實時識别群體欺詐風險，給出團案預警
        • 過程：實時資料清洗——計算連通圖——團體分割——團夥特性分析
      • 複雜網絡
    • **反欺詐預警模型 **
  • 資料：
    • 裝置資訊：異常裝置、網絡、位址
    • 行為資訊：異常注冊、登入、點選
    • 關聯資訊：關聯人風險
    • 授信資訊：征信資料、機構黑名單

  • 項目：

    F_score.rar

1.3 作用及優勢

特性：客觀性、一緻性、準确性、全面性、效率性

作用：

• 風險模式資料化
• 提供客觀風險量尺：減少主觀判斷
• 提高風險管理效率：節省人力成本
• 風險管理
• 市場營銷
• 财務、資本預算及考核績效
• 資産證券化及組合模式的創新

優勢：

• 更穩：大數定律，壞賬率更可控
• 更快：自動化審批，提升效率
• 更省：降低人力成本（審批、反欺詐、催收）
• 更充分地使用弱變量
• 反欺詐：預防 > 亡羊補牢

2. 評分卡項目規劃

在設定評分卡前，風險管理機關必須先就其對信用評分的期望、應用計劃及政策提出項目規劃，主要包括以下六項：

2.1 項目目标

陳述目前作業現況以及想通過評分卡項目解決的問題。信用評分卡的建置需投入大量時間、精力、金錢、人力，風險管理各機關人員需思考目前工作問題及對評分卡的期望，目标設定必須清楚明确，最後産出結果有真正的幫助。

目标确認後，若需與外部信用評分卡廠商合作，依需求内容、開發時間、開發成本、開發經驗與能力等構面設計選商條件并定訂各項條件的評分權重。

2.2 項目範圍

依急迫程度排列優先處理程式，避免一次性處理太多問題，做到聚焦。

針對標明目标設定項目範圍，包括項目主要内容、涉及業務、相關部門、項目組織架構、項目成員等，逐項确認并列于計劃書内。

2.3 時程規劃

時程規劃可分為：内部前置規劃、流程與系統修改、評分模型建置、效力測試、上線導入等幾個重要階段。項目長度依複雜度及資料品質而定，一般來說大約界于6~9個月。

2.4 成本效益分析

成本評估包括相關裝置擴充、系統購置或修改、模型開發等費用。效益則分為質化與量化兩方面，質化效益包括風險管理技術與觀念的提升、授信品質穩定等，量化效益須估算可節省的人力、作業時間及作業成本等。

2.5 配套措施

與信用評分有關的相關事項如授信規範、申請書格式修改、進件及征審流程設計、資料品質确認、教育訓練等皆須事先規劃，另外與之搭配的系統如評分運算引擎、決策系統及征審系統等也須在評分模型建置完成前準備就緒，否則将出現空有評分模型卻無使用平台或業務流程運轉不順等窘境。

2.6 營運計劃

信用模型上線之後的實際應用于管理，諸如信用評分的應用、模型效能監控、相關系統維護、緊急備援計劃、營運作業成本、MIS分析等作業皆須詳細規劃，以確定信用評分與風險管理業務整合之後能夠順利運作。

3.評分卡開發流程

3.1 業務了解

3.1.1 開發目的

此步驟非常關鍵，卻易被忽略。開發模型前，必須先決定評分目的及要預測的事件，并要有明确的定義。模型應用目的不同，對變量選擇或好壞客戶的定義也會有所不同。

風險管理機關按照項目規劃設定的目标與模型建置人員讨論，确認建置模型的目的。另外雙方對項目進行方式、建置時程、成本、傳遞檔案項目及格式、模型測試指針、項目驗收标準、教育訓練，以及其他特殊要求或條件限制達成共識。

3.1.2 模型要求

如：可解釋、複雜度、樣本量

3.1.3 客戶類型

如：自有管道、外部管道、新客、老客

3.1.4 産品類型

如：大額、小額、單期、分期

3.2 基本定義

評分目的确認之後，緊接着要對模組化所需的重要名額的基本定義進行讨論。

3.2.1 視窗期

• 觀察期
  • 定義：變量計算的曆史期間
  • 區間：不宜太短，穩定性不高；也不宜過長，無法反映近期情況，一般為6~24個月
  • 特點：觀察期時間視窗越長，模組化樣本數越少
• 表現期
  • 定義：準備預測的時間長度，如：預測客戶未來12個月内出現違約的幾率
  • 區間：一般為12~24，根據産品不同會有變化
  • 特點：表現期越長，違約率越高

3.2.2 違約定義

對于預測模組化，定義目标變量是最重要、對模組化結果影響最大的一步。壞客戶定義越嚴格，意味着壞賬率越低，同樣意味着通過率越低。

違約定義并不限定為逾期，隻要認定為非目标客戶，如未來一年内出現M2以上逾期、催收、呆賬、強停、拒住、協商等，皆可當成評分模型中的違約條件。

銀行業信用評分解決方案預設的目标事件定義選擇：

• 不良或逾期
  • （觀察視窗内）90天逾期
  • （觀察視窗内）230天或260天或1*90天
• 良好：
  • 從未逾期
  • 從未在觀察期内逾期

也可根據壞賬轉移矩陣定義，不同賬期客戶轉移到更壞的機率不同，選取顯著變化的節點

定義好的目标變量（GOOD/BAD）基于以上良好/不良定義建立并與ABT表并接後預測模組化。

3.2.3 适用範圍

• 灰色區間

某些條件下的客戶，風險處于較為模糊的灰色地帶，很難将其歸類為好客戶或壞客戶，此類客戶無鮮明的風險特征，很難判斷好壞。為強化模型的區隔能力，灰色地帶的客戶不适合納入模組化樣本中。不過在模型完成後，看加入測試，觀察分數落點，理論上中等分數居多。

業務中，可利用**轉移分析（roll rate analysis）**觀察各條件下的客戶經過一段時間後的表現，觀察區隔力和穩定度，作為灰色區間客戶的好壞判斷條件。

也可加入人工幹預，直接進行評估。

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-sCERUsrq-1569656926265)(https://uploader.shimo.im/f/Ms3vUKfOFrIyOgvl.png!thumbnail)]

• 無評分意義

并非所有狀況都須依賴評分來判斷風險，有些類型客戶評分意義不大。例：

• 目前處于逾期中的客戶，本身已出現違約事實，無須加以評分
• 資料缺漏嚴重
• 資料期間過短
• 近來無信用往來記錄
• 非正常對象

用于模組化的客戶或申請者必須是日常審批過程中接觸到的，需排除幾類人群：

• 異常行為：如銷戶、按條例拒絕的、特殊賬戶
• 特殊賬戶：出國、失竊、死亡、未成年人、員工賬戶、VIP
• 其他模組化對象：欺詐、主動銷戶者（流失）

3.2.4 樣本區隔

為了達到最佳效果，通常依客群或産品特性做樣本區隔，分别開發數張字評分卡。

**例：**信用卡的行為評分卡，預借現金、長期循環及全額繳清等幾類客戶行為各有特殊，其風險變量及變量權重可能有所差異，可考慮分别就這幾類客戶開發專屬的子評分卡。

若受預算、開發時間、資料積累等限制，暫時無法細切區隔而共享同一評分卡也可以，權宜做法為調整切分點或外加條件以做調整，不過效果可能較差。

樣本區隔不宜過度，适度有助于提高模型預測效果，過度則不但不利于後期子評分卡維護，且模組化樣本不足，反而影響模型的預測能力及穩定度。

3.3 資料準備

整個模組化項目，最耗費時間的通常是資料整理階段，對于入模資料，有如下多方面的準備條件。

3.3.1 資料來源

3.3.2 資料有效性

• 正确性：資料真實準确
• 完整性：廣度、深度、長度，資料保留完整，缺失率低
• 實時性：可以反映客戶近期情況，實時更新客戶動态資訊變化
• 合法性：資料使用必須合法，使用前需确認當地法令對授信準駁依據是否有特殊限制。某些國家不允許以性别、年齡、種族、地域等因子作為準駁依據條件。
• 可用性：
  • 不合理資料。如年齡過小或多大，予以剔除
  • 缺失資料。可利用平均數、衆數、鄰近值進行填充，如空值有特殊意義，可保留。
  • 資料加密格式。了解資料格式，厘清資料使用限制。

3.3.3 原始變量選擇

擷取到資料後，根據業務提取重要特征，建立對應資料字典

3.3.4 樣本選擇

• 樣本數量：

不同模型對資料量的要求不同，基本要求在5000+，最好可以達到3~10W，資料量越多越好。

• 樣本品質：

樣本内的資料需滿足如下要求：

• 代表性：
• 充分性：樣本分布均勻
• 時效性：視窗期内
• 排除性：唯一辨別
• 表現推測性：正負樣本分布明顯

3.3.5 抽樣方式

• 随機抽樣
• 分類抽樣

3.3.6 資料集準備

按照要求準備原始變量及樣本集，并且完成資料合并

3.3.7 資料采樣

• 采樣目的
  • 均衡樣本
• 采樣方式
  • 過采樣
  • 欠采樣
  • 變量權重調整
• 采樣結果
  • 好壞樣本比率為：3:1~5:1

3.3.8 樣本切分

通常将樣本集拆分為訓練集與測試集，通過評估模型在兩個資料集上的表現，評估準确性及穩定性。可增加驗證集，疊代模型區隔力和穩定度。

• 訓練集
  • 即發展組樣本，一般占比70%
  • 用于模組化
• 測試集
  • 即對照組樣本，一般占比30%
  • 模組化完成後做驗證之用

3.4 資料探索

3.4.1 資料品質檢查

• 正态性檢驗
• 準确性診斷

3.4.2 描述性統計分析

• 樣本總體
  • 樣本量
  • 特征量
• 變量類型
  • 連續型變量
  • 離散型變量
    • 數值型
    • 類别型
• 變量分布
  • 位置度量
    • 中位數、衆數
  • 集中程度
    • 均值、方差
  • 離散程度
    • 偏度、峰度
• 缺失程度
  • 變量缺失
  • 樣本缺失

3.4.2 EDA探索性分析

探索性分析和資料描述是檢查資料并了解其特征的一系列過程的名稱。在評分卡開發過程中，需要進行下列名額計算及變量分析：

• WOE轉換（證據權重）

WOE值是分箱i的壞客戶分布與好客戶分布的比值的對數，調整為分箱i的壞好比與總體樣本的壞好比 的比值的對數，衡量了分箱i對整體壞好比的影響程度。

• IV（資訊值）

• 單變量分析（Single Factor Analysis）：候選變量單變量統計特征的評價，及其取值在變量範圍内的分布。完成變量分箱、WOE編碼與IV計算後，我們需要做單變量分析，一般從兩個角度進行分析：
  • **單變量X分布穩定性：**各箱占比相對均勻，每項占比不宜過高或過低，一般不低于5%
  • 單變量X與目标變量Y關聯：驗證單變量重要性
    • 從IV出發，篩選IV較高值
    • 單變量與目标變量做回歸檢驗P值
• 多變量分析（Multi Factors Analysis） ：通過列聯表、關聯性和相關性名額确定不同變量之間的檢驗關系。多變量分析從兩個角度分析變量的特性并完成篩選工作：
  • 變量間的兩兩線性相關性，通過相關系數矩陣
    • 選擇IV較高的
    • 選擇分箱均衡的
  • 變量間的多重共線性與目标變量關系，變量篩選
    • 特征重要性：随機森林、GBDT、XGBOOST
    • 模型拟合優度和複雜度：基于AIC的逐漸回歸
    • 帶限制：LASSO
    • 多重共線性檢驗：VIF
• 違約要素分析：計算每個候選預測變量分類或分段條件下的違約率分布。

3.5 資料清洗

3.5.1 格式處理

3.5.2 缺失值處理

3.5.3 異常值處理

3.5.4 資料規約

3.5.5 變量粗篩

• 無意義變量
  • 如唯一辨別、手機号等無效字段
• 常量
  • 單類别比例超過95%，預設為常量，可剔除
• 缺失率
  • 缺失率不高于設定值
• 單類别比例
  • 單類别比例不低于5%

3.6 特征工程

3.6.1 特征衍生

• 衍生目的

基于業務，衍生适合入模的好特征，好的特征具有以下優勢：

• 穩定性高：市場因素，人群産品穩定的情況下，特征的分布穩定
• 區分性高：違約與未違約客群的分布顯著不同
• 差異性大：不能在全部或大多數客群上取單一值
• 可解釋性強：特征與信用風險的關系符合風控邏輯
• 衍生方式
  • 基于不同類别型變量，衍生不同時間切片某種操作頻率、頻次、登入方式個數等。
  • 基于時間變量，衍生賬齡、在賬月份數
  • 波動率名額，某種操作頻次的頻率、标準差
  • 決策樹建立新特征

• 衍生手段
  • 手動建立
  • 暴力生成

3.6.2 特征分箱

• 分箱定義：
  • 連續變量離散化
  • 狀态多的離散變量合并少狀态
• 分箱優勢：
  • 穩定性：避免特征中無意義的波動對評分帶來波動
  • 缺失值處理：可将缺失作為獨立的分箱帶入模型
  • 異常值處理：可于其他值合并作為一個分箱
  • 無需歸一化：從數值型變為類别型，沒有尺度差異
• 分箱限制：
  • 有一定的資訊丢失，數值型變量分箱後變為取值有限的幾個值
  • 需要編碼。分箱後的變量是類别型，不能直接帶入Logistic模型中，需要進行一次數值編碼
• 分箱方法：

分箱原理為相似度高的歸為一組，有監督考慮業務含義相似度，無監督考慮樣本分布相似度。

• 有監督
  • Best KS
  • ChiMerge卡方分箱
  • 決策樹最優分箱

• 無監督
  • 等頻
  • 等距
  • 聚類

3.6.3 特征編碼

• 編碼方式
  • 數值編碼
  • one-hot編碼
    • 針對類别型大于2的分類變量，将其啞變量化
  • WOE編碼

3.6.4 特征選擇

為了提高資訊值，需調整合并WOE相近的組别，最後得到的分組結果為粗分類。待所有長清單的變量資訊值皆計算完成後，即可從中挑選變量，優先排除高度相關、趨勢異常、解釋不易及容易偏移者。

經過篩選後的變量集合成為短清單，這個清單即模型的候選變量。在模組化時可利用順向進入

法（forward selection）、反向排除法（backward elimination）、逐漸回歸法（stepwise）等方法選出效果最佳的變量組合。

• 選擇方式
  • 重要性
  • 共線性
  • 資訊值
    • IV值高于0.2
    • IV高于10的剔除
  • 模型篩選
    • LASSO
    • stepwise

3.7 模型訓練 model training

3.7.1 算法選擇

• Logistic
• 優點：
  • 成熟、成功
  • 評分結果穩定
  • 評分構成透明
  • 實施部署簡單
  • 不容易過拟合

• GBDT

• XGBOOST

• 神經網絡

• 組合模型

3.7.2 訓練 train

3.7.3 測試 test

3.7.4 驗證 oot

• 準确性、穩健性、有意義
• 樣本外測試
• 時間外測試

3.8 拒絕推斷

通常，我們用以建立評分卡的模組化對象人群（以前的Accepts）在結構上可能與實際申請人群存在着結構上的差異。因為隻有接受了的申請者才能夠對其定義目标變量。但我們将在生産系統中部署的模型需要對未來所有申請者評分。是以需要對拒絕過的使用者做違約推斷，即拒絕演繹、婉拒推論。

隻有當模組化的接受人口（Accepts）與實際申請總體差别才需要拒絕推斷：

• 很大的時候評分卡準許率相對較低（低于70%）
• 或以前的拒絕标準根據完全的人為判斷決定的時候

是否兩總體間存在較大差異，可以通過一系列特征比較的圖表來進行判斷

基本思路：

• 利用在接受人群基礎上訓練的模型對拒絕人群評分
• 将拒絕人群分為“推斷好/推斷不良”
• 将此作為拒絕人群的目标變量累加（Append）到接受人群模組化資料裡
• 對新資料集重複模型訓練過程

過程圖

具體方法

• K近鄰法

當K=5時，對于新樣本的預測選取最鄰近的5個觀測的分類的衆數。

3.9 标準評分轉換

基于預先設定的PDO及Base Point 對每個入模特征規則配置相應分值

3.10 效力驗證

評分卡模型建構完成後需要驗證魔性的性能，保證模型既穩定、有效，部署後需持續監測模型的表現，做到及時更新與疊代

3.10.1 基本要求

一般一個好的模型應該達到以下幾個基本要求：

• 精确性。達到可接受水準，避免過拟合。
• 穩健性。要求最終模型的變量應該能夠確定包含穩健一直的資料，能夠在後續實施階段準确擷取，能夠适用于更廣範圍的資料集。
• 有意義。即業務變量及其預測值是可解釋的，例如：信用卡的額度使用率越高，違約率相應也越高。
• 模型中變量不宜過多。通常，包含的變量不超過1020個（最優1012個）,變量太多可能導緻過拟合，變量太少往往區分度不夠。

3.10.2 模型準确性

• KS

KS(柯爾莫哥洛夫-斯米爾諾夫kolmogorovsmirnow)圖縱軸為壞客戶累計百分比，橫軸為 總體樣本累計百分比。perf_eva函數繪制KS 曲線過程:

◦ 先将樣本随機排列，随機種子seed預設為 186

◦ 按照預測違約機率倒序排列(壞客戶累計百 分比曲線位于上方)

◦ 分為groupnum(預設20)等份 ◦ 計算每一等份中違約與正常客戶的累計百 分比

◦ 繪制出兩者之間內插補點即為KS曲線

• KS曲線中的最大值即為KS值，其取值範圍 0~1。KS值越大模型的區分能力越好。

• 通常申請評分卡要求KS 0.3。而且測試集 與訓練集的KS值相差小于0.01。

• ROC與AUC

• ROC(受試者工作特征曲線Receiver Operating Charactersitic)曲線縱軸為 真正例率(True Positive Rate, TPR)，橫 軸為假正例率(False Positive Rate, FPR)：

◦ 先将樣本随機排列，随機種子seed預設為 186

◦ 按照預測違約機率降序排列

◦ 分機率值計算好壞客戶數量，然後計算 TPR=TP/(TP+FN)與FPR=FP/(TN+FP) ◦ 以TPR為縱軸FPR為橫軸繪制散點圖即為 ROC曲線

• AUC(Area Under ROC Curve)為ROC曲線 下面積之和，其取值範圍0~1。AUC值越大模 型效果越好。

• 行為評分卡通常要求AUC 0.75，申請評分 卡的AUC相對低一些也能夠接受。

• GINI系數

3.10.3 模型排序性

• Lift

3.10.4 變量有效性

• IV

3.10.5 模型穩定性

• 評分穩定性名額（PSI）

• 特征分布名額（VSI）

3.10.6 評分排序性

信用評分與違約機率成反比，分數越高停貸率越低；客群的評分分布區間一般符合正态性，有一定的離散度。

3.11 模型報告

整理完整的模型開發過程報告

4.模型部署

4.1 模型檔案

4.1.1 pkl

4.1.2 pmml

4.2 部署方式

4.2.1 腳本

4.2.2 決策引擎

決策引擎配置

• 位置：DW
• 内容：信用評分——風險政策——資料集市CRM
• 作用：決策額度、計算、定價

5.評分卡的切分與使用

5.1 評估名額

利潤貢獻者所帶來的利潤，在彌補着利潤消耗者帶去的損失，信貸風險管理，講究一個平衡和最優。綜合評估模型不同決策點下的通過率和逾期率，制定最優效益的評分決策

• 逾期率
• 通過率
• 綜合盈利
• 準入線

5.2 設定政策

• 準入線的設定政策
• 風險切分點的設定
• 不經過評分、特别類型的申請件的處理
• 評分卡資訊缺失的申請件處理
• 例外推翻的控制

5.3 基于A_score的額度定價

預先設定好基礎額度base limit(B)，蓋帽額度hat limit(H)，托底額度floor limit(F)。評分最高的區間杜穎的預期違約率是Pmin，評分最低的區間對應的預期違約率是Pmax，占比最高的區間對應的預期違約率是P0，某一條進件對應的預期違約率是P1，則該進件對應的授信額度是：

5.4 基于A_score的利率定價

增添多種其他利率因子，同樣與模型評分相關

6.模型監控

模型實施後，要建立多個報表對魔性的有效性、穩定性進行監控

6.1 監控報表

6.1.1 穩定性監控

比較評分卡上線後模組化訓練樣本客戶的分值分布，監控模型的有效性。

6.1.2 特征監控

比較評分卡上線後和模組化訓練期間的每個特征的分布，監控特征的變化趨勢，進而評估模型的有效性和穩定性

6.1.3 未過評分賬戶監測

6.1.4 不良貸款分析

評估不同分數段的不良貸款，并與模組化訓練期間的預測進行比較，監控客戶信貸品質。

通過對不同分數段的不良信貸資産進行賬齡分析、遷徙率分析，監控信貸資産品質是否發生顯著性的變化。

6.1.5 拒絕原因分析

分析被評分卡拒絕的原因分布

6.2 風險跟蹤

• 風險趨勢分析
• 異常行為分析
• 欺詐網絡分析
• 風險警告

7.模型調優

網貸市場環境變化快，評分卡生命周期短，相比傳統信貸模型疊代頻率高。評分模型需保持穩定，當産品、客群、宏觀經濟、監管政策等沒發生重大變化時，不同時間上的評分結果應保持穩定，便于政策應用。

7.1 調優原因

7.1.1 市場環境變化

• 市場轉移
• 行業變化
• 産品變化

7.1.2 模型監控

• 入模變量發生重大偏移
• 目前評分與模組化評分分布發生變化
• 模型區分能力變差
• 變量區分度變差

7.1.3 新變量探索引入

• 新資料源引入
• 新的預測變量探索

7.2 調優方法

收緊或放松

7.2.1 A類調優

• 在通過的客群中尋找差客戶拒絕
• 将會降低通過率，且降低逾期名額
• 離線即可完成量化分析

7.2.2 D類調優

• 在拒絕的客群中尋找好客戶通過
• 将會提高通過率，逾期名額可能增加
• 需要決策引擎标記豁免部分樣本分析

7.3 調優步驟

• 确認調整貸前政策還是貸中政策
• 是D類調優還是A類調優
• 量化分析調優門檻值
• 預測按照方案調整後的效果
• 調整後驗證結果與預計效果是否
• 重複修正

7.4 調額步驟

• 篩選可調額客戶
• 分為調額組合對照組
• 調額後調額組對照組資産趨勢分析
• 根據結果回調最初篩選可調額客戶的規則

8.常見問題

8.1 資料問題

• 曆史資料量過少
• 曆史資料無切片

8.2 模組化問題

• 模組化目标不明确
• 模型過拟合
• 模型選型不合理
• 錯誤使用後驗變量
• 評分的評估名額不合理
• 離線資料與線上資料不一緻

8.3 業務問題

• 溝通問題