境外銀行資料資産建設-資料資産品質管理

基本概念：

資料資産品質：是指數倉資料資産表的品質，包含表的設計品質、開發品質、産出品質；

• 設計品質：指資産表在業務資料鍊路中的定位是否合理，資訊覆寫與整合是否達到要求；
• 開發品質：指資産表在資料開發編碼過程中，是否遵循約定的開發規範，資料加工邏輯是否正确；

• 産出品質：指資産表對應任務的産出時間是否符合預期，産出結果資料是否達到要求；

影響因素：

• 資訊因素：開發人員是否了解資産表的具體需求目标，是否了解具體的業務資料鍊路和資訊分布；
• 工具因素：平台工具是否穩定，是否有DQC能力，是否有優先級控制能力 

• 流程因素：研發流程是否合理，是否有代碼品質卡點，是否有資料品質卡點，是否有執行保障機制 
• 人為因素：人員編碼水準是否打标，流程執行是否到位，需求了解是否到位

流程設計：

流程管理：

• 需求文檔落地：

資料類需求文檔是資料開發前的資料收集與整理的重要産出，基于文檔和業務方對齊具體資料需求，包括各種資料來源資訊、加工邏輯資訊、結果資料格式等等；

• 需求疊代記錄：

項目類資料需求往往因進度問題，需求調整較多，為保證資訊對齊，建議使用疊代開發，使用aone或語雀 記錄疊代需求；

非項目類需求疊代，必須提aone需求單排期處理；

• 資産設計：

中間層資産按照中間層資産設計要求，需要在資産關聯大圖上标明，并給出明确的 實體&單據 定義，防止重複建設；

項目類應用層資産按需求邏輯，明确資料資産間的流轉依賴關系，給出明确的資料 次元&粒度 定義，保證資産關系清晰；

非項目應用層資産按需求文檔，給出明确的資料 次元&粒度 定義，保證資産關系清晰；

• 資料自測：

所有資料表傳遞驗收前，必須進行自測，保證資料表資料量符合預期，保證資料粒度符合預期，保證名額字段取值符合預期；

可通過查詢資料進行觀察，後期由平台提供校驗工具，友善進行資料自測；

• QA驗收：

涉及業務回流的資産表，由業務QA同學負責驗證資料品質；因數倉不存在測試環境，是以，可與QA同學溝通，采用uat、預發環境驗證；

部分特殊情況下，可在數倉dev環境 人工寫入資料進行邏輯驗證；

• 業務驗收：

非業務回流類資産表，如報表等，由業務同學自行驗收，部分高保障報表（如高管看闆）可引入資料品質管理團隊相關同學進行驗收；

因統計名額等資料邏輯加工複雜，業務同學發現問題周期較長，可與業務同學約定部分驗證case，通過後可先上線，再疊代；

• 任務釋出：

所有回流類任務釋出，必須按要求注冊業務風險場景( 無系統支援時 可采用文檔記錄)，按業務産出要求配置任務優先級(如基線控制)；

對于高風險場景任務，要求進行代碼review ，保證代碼品質；

• DQC配置：

按需進行資料品質監控規則配置，要求中間表必須配置空表檢測、重複值檢測；高風險應用表必須配置空表檢測、重複值檢測、業務邏輯檢測等；

全部采用強規則控制，檢測異常時中斷任務并告警，防止影響下遊任務；

• 資産文檔更新：

中間層資料資産表上線後需要更新中間層資産文檔，友善進行中間層資料資産管理；

項目類應用層資料資産表上線後，可在各自項目文檔庫維護，友善需求方檢視項目産出資料資産情況；

非項目應用層資料資産表可不做要求，按需求傳遞即可;