鞭牛士報道 企業在設計、采購、生産、銷售、物流、售後等業務環節,往往會存在大量的資訊不規範、不統一、不及時的情況,導緻資料資産無法在核心業務流程中高效流轉和消費。
通過內建各系統,将資料融合打通形成資料流之外,非常重要的一環,是在企業内充分貫徹同一套資料标準,無論是後端設計研發,到前端業務營運消費,還是企業内跨部門、跨組織、跨角色協作,通過資料标準管理和實施,都能基于統一的術語和統計口徑進行表單定義以及名額設計,以促進資料流通和消費。
常見的資料标準問題
根據中國信通院的定義:資料标準,是指保障資料的内外部使用與交換的一緻性和準确性的規範性限制。更直接點來說,資料标準是用于描述公司層面需共同遵守的資料含義和業務規則,通常從業務、技術、管理三方面進行定義。
然而,資料标準需求缺乏統一管理、不同系統間标準制定依據各異、資産建設缺乏和标準的關聯,使得資料标準的建設和應用都面臨很大困難：
·建設:多源異構資料整合缺乏統一的限制口徑,資料開發效率低
數倉開發人員無法快速了解資料背後的實際業務含義,需要和業務人員反複溝通,了解成本高;不同業務人員對于同一個名額口徑的了解不一緻,容易出現認識偏差,影響分析決策結果。
·管理:各系統分散管理,人工保障規範,資料品質難以提升
不同主題域由不同負責人進行開發和維護,導緻規範不一緻,資料可信度降低;由于缺乏有效的工具監督,規範定義和開發實作隔離,無法保證資料開發符合标準規範,資料品質難以提升,導緻頻繁的資料重構,管理成本高。
·使用:缺少中繼資料資訊及使用引導說明,資料消費難度大
資料的使用不僅需要明确資料詳情,還需要參考中繼資料資訊,以便資料使用方快速找到需要的資料并評估資料可用性。由于缺少必要的資料定義及使用說明,造成資料經常被誤用濫用,資料消費難度大。
由此,我們需要一套功能全面、操作便捷的産品,來幫助企業中的資料标準管理人員/組織,提升企業資料标準化程度和資料資産可信度。
Dataphin 資料标準子產品在标準建設、标準管理、标準應用三大核心環節,提供了統一的産品化能力,并結合品質監控能力實作對資産對象的落标稽核,幫助企業解決數字建設管理過程中遇到的問題。
Dataphin資料标準功能介紹
資料标準怎麼建?
資料标準模闆,一次定義多次複用
相較于傳統模式下用 Excel 等線下檔案管理資料标準的方式,Dataphin 支援線上建立标準集以便将規範相似、業務含義相關的資料标準進行統一管理,起到分類的作用,實作一次定義多次複用。如,某團隊的基礎資料标準需要具備以下屬性:
·業務屬性:标準名稱、标準編碼、描述
·技術屬性:字段類型、字段長度、字段精度
·管理屬性:标準制定部門、應用業務部門
在建立标準集模闆時,我們可以将“标準制定部門”和“應用業務部門”的類型設定為“枚舉單值”,且枚舉值來源引用“公司部門”碼表,這樣在建立标準時,這兩個屬性會以下拉單選框的形式展示,且可選範圍為“公司部門”碼表配置的碼值,不僅大大提升了标準填寫人員的效率和體驗,也避免資訊來源和操作不一緻造成的标準規範各異。
此外,為了更好地将曆史已有标準檔案導入系統進行統一管理,Dataphin 支援批量導入及更新資料标準,隻需要下載下傳标準模闆并配置沖突政策,就可以實作限制一緻的資料标準的批量更新。
如何高效管理标準?
全生命周期管理,讓多方協同更清晰
在Dataphin中完成資料标準建立後,會預設生成“草稿态”标準,确認填寫無誤後可以送出标準上線申請并生成對應的審批任務。Dataphin 支援設定标準審批模闆,以适配不同管理範圍下标準的審批。
标準上線後根據設定的标準生效時間,自動生成“待生效、已生效、已失效”的标準。上線後的标準支援線上修訂,會生成“修訂中”的版本,修訂中版本再次釋出前,不會影響線上已生效的标準版本。基于該流程,可以實作靈活完整的标準生命周期管理。
參考資料管理,有限制才夠準确
資料标準常常需要和參考資料一起使用,才能更好地适配業務需求。常見的參考資料包括碼表、詞根、度量單獨等等。
碼表可用于限制标準屬性字段的取值範圍或直接作為範圍值屬性(如值域)的來源,提升标準定義的準确性;詞根常用作詞綴并作為資料表、字段等研發對象命名的參考依據,以提升命名規範性減少資料消費時的不一緻性和了解誤差。
Dataphin 資料标準支援碼表和字根的建立和管理,通過簡單的界面操作即可完成建立,并可在建立标準時引用碼表作為取值範圍的限制,降低了标準管理人員的操作成本。
資料标準怎麼用?
落标映射,将資料治理前置到研發鍊路
标準建立完成後,需要和對應的資産對象關聯起來才能真正實作其應用價值,實作對資産的規範性限制。Dataphin 支援基于标準屬性值和資産對象中繼資料屬性值進行落标關聯映射配置,以實作标準和資産的關聯,作為後續落标稽核的基礎。下面,我們通過一個例子來進一步了解 Dataphin 如何實作落标映射與稽核。
首先,我們需要圈選出進行映射比對的标準和資産對象來源範圍:
·标準:來自于“測試标準集”的所有“已生效”狀态的标準
·資産對象:所屬表名包含“test”字樣的所有字段
接着,我們需要配置标準和資産對象的關聯映射條件:标準名稱 = 字段名稱;
最後,我們需要配置該規則的執行時間和頻率等資訊。
基于上述配置,系統會自動執行該映射規則,圈選出相應範圍的标準和資産對象并進行比對。規則執行完成後,我們就可以在資産目錄及規則執行明細頁面清晰的看到某個資産關聯到了哪些标準,以便參考映射到的标準定義進行開發,将資料治理前置到研發鍊路。
落标評估,從源端保障資料規範統一
映射成功的資産對象是不是真正遵循了這些标準?接下來就需要我們的落标評估能力來助力。
Dataphin 支援針對資産對象的技術中繼資料進行落标評估,如字段類型、字段長度等。後續我們還将結合品質監控的能力,進一步拓展對值域、字段格式等内容的監控。針對不滿足關聯标準的資産,标準管理人員可以推動研發人員可以盡早進行整改,從源端保障資料規範性和統一性。
結語
總體來說,作為資産治理的重要一環,Dataphin 資料标準功能為标準的統一管理提供了靈活的産品化能力支援,同時也能減少人工監控成本,為标準的落地執行提供了強有力的保障,以提升企業整體數字能力建設的标準化成熟和資産的健康度。