天天看點

資料治理分析項目調研最佳實踐

作者:數通暢聯

對企業而言,資訊化建設已經成為企業發展的重要推動力,發展資訊化已經不僅僅隻是滿足日常業務,更多的是要通過資訊化發現問題、優化管理、提升效能。而為了實作資訊化建設的價值最大化,已經成為企業資訊化建設的一個共識。

資料治理分析是一項複雜的工作,系統越多、資料量越大,實施建設的難度就越大,但通過資料治理分析可以将分散于各系統的資料進行整合彙聚、綜合分析,充分挖掘資料價值。在實施資料治理分析項目時,主要的工作就是對資料的采集、整合,由于資料分散于各個系統,是以不僅需要了解實際業務,也要了解系統功能,能夠分析并梳理出所需的資料和名額。

對于資料治理分析項目而言,最核心的内容就是,然後才是基于主題和名額采集資料,是以前期的調研工作至關重要,在調研階段,一定要明确核心業務場景和流程,基于業務梳理相關名額,同時結合行業經驗、最佳實踐、标準規範等,才能保證項目的實施效果。

總體說明

資料治理分析方案是一套綜合性的資訊化解決方案,主要是為了解決企業資料整合、資料分析的難題,以達到深度挖掘資料價值,通過資料支撐業務、推動業務更新的目的。

1.方案說明

資料治理分析方案的主要内容包括基礎資料治理、資料倉庫建設、資料分析展現等内容,通過平台建設實作企業資料的整合彙聚,建構資料中心,基于資料進行分析展現、透視業務、價值挖掘,有效支撐企業的業務發展。

資料治理分析方案主要包括産品,在具體實施過程中,整體架構圖如下:

資料治理分析項目調研最佳實踐

DAP資料分析平台作為資料分析的核心,完成數倉建設、資料分析兩部分内容,數倉通過ODS、DW建構數倉模型,實作分層建設,并能進行資料集、立方體等分析模型的配置,進而。ESB作為資料內建平台,實作源頭系統到ODS以及ODS到DW資料抽取、加工、轉換,完成資料彙聚的過程。而MDM基礎資料平台則實作基礎資料治理,為數倉提供基礎資料支撐,建構數倉維表。

2.數倉架構

數倉的建設是基于DAP平台配置的多層數倉體系,具體架構體系如下:

資料治理分析項目調研最佳實踐

數倉的建設過程主要是将源頭資料彙聚到數倉,并進行分析配置的過程,包括了貼源層ODS、數倉DW和應用層ADS,。數倉資料加工彙聚的過程:

1.源頭資料首先進入ODS,一般直接以原始資料的形式存儲,支撐數倉的同時,為湖倉一體、資料追溯提供原始資料;

2.ODS落地資料後,再基于ODS建構數倉中的基礎事實表,形成DWD;

3.基于DWD根據實際需要進行進一步的資料彙總,,形成DWS;

4.數倉建構完成後,基于數倉模型,根據分析主題和分析名額的要求進行資料集、立方體、多元分析、業務報表的配置,為最終的展現效果提供分析模型。

3.實施規劃

資料治理分析項目的實施主要包括:項目調研、藍圖準備、項目實施和上線驗收幾個階段,其中調研和藍圖是整個項目的基礎,在實施過程中非常關鍵,調研是基礎,是後續藍圖資料和實施落地的前置條件,而藍圖是标準,是實施落地的依據。

1.:主要是明确需求,通過和技術、業務、上司層的溝通,明确客戶的業務需求,建設目的,最終期望等,這個階段需要盡可能多的了解業務和場景,即使是項目實施範圍之外的内容也可以更多的了解。調研的目的是清晰業務,熟悉流程和場景,這樣才能保證在藍圖和實施階段能更加準确的擷取資料、融合業務;

2.:藍圖階段主要是基于調研階段确認的需求和場景,規劃梳理實施的範圍和内容,藍圖是實施階段的依據,需要對具體的實施内容、建設效果、整體規劃、标準規範等進行規劃和落地,以保證明施階段的順利開展,并且達到預期效果,避免需求蔓延。

調研規劃

調研階段是整個資料治理分析項目實施的基礎,是以前期的調研工作需要精準到位,并且盡可能涵蓋所有的業務,能夠将客戶的業務場景整合起來,。

資料治理分析項目調研最佳實踐

1.調研清單

在調研開始前需要提前準備相關資料,包括調研的内容、方式、對象、問題等,對于資料治理分析項目,主要的調研内容包括業務系統、資料分析、基礎資料、業務內建等。

1.:主要确認業務系統資訊,包括已上線、建設中、待建設等,對于已經上線使用的系統,需要明确系統的建設時間、系統廠商、使用情況、使用人員、運維情況等;

2.:資料分析是整個項目的核心,需要重點調研,需要根據行業、業務的不同,規劃業務主題、梳理業務名額,并确認各名額的來源系統、計算方式、報警門檻值等;

3.:基礎資料包括兩個作用,一是支撐資料分析時建構數倉,為數倉提供維表資料,二是進行基礎資料治理,對各業務系統分發基礎資料,是以在調研時需要進行區分,哪些用于維表,哪些用于資料治理,或者同時滿足兩個作用,再基于作用确認基礎資料的來源位置、同步方式、分發方式、屬性資訊等;

4.:業務內建主要是實作系統間業務資料對接,有兩種實作方式,一種是先通過數倉彙總業務資料,再建構資料服務,然後對外提供查詢接口,這種方式适用于資料擷取,不适用于資料寫入;二是通過ESB的API管理進行服務注冊、治理,這種方式資料讀寫都可以完成,但是在平台中不會留存資料。在調研過程中,需要明确需要內建的業務單據,并根據實際需要确認內建方式。

2.調研階段

調研是一項持續的工作,,甚至在實施階段,如果有業務或需要的變更,也要進行一些調研工作,但是主要工作還是在進場後的調研工作。對于資料治理分析項目,一般調研會分幾個階段:

資料治理分析項目調研最佳實踐

> > > > 系統調研

1.主要面對客戶的資訊中心,通過資訊中心了解企業的業務系統情況,了解各個業務系統的等;

2.再調研前需要準備好可以通路的環境,并能有對應的資料,可以看到系統功能、展現效果等,能夠讓客戶知道項目建設的效果,并根據客戶的想法和意見進行設計和完善;

3.在系統調研時需要要求客戶提供測試環境以及測試賬号,一方面可以更好地了解業務系統的功能子產品、業務場景,同時實施時也可以對對接測試環境進行驗證;

4.系統調研主要通過資訊中心,如果資訊中心對業務系統的掌握不到位,或者系統功能了解不全面,需要通過客戶協調系統廠商進行系統補充調研;

> > > > 業務調研

1.在系統調研階段已經初步了解了相關系統的使用情況,同時也對業務有了初步的了解,接下來就需要針對每一個業務部門進行詳細調研,,以及相關業務的關聯關系;

2.業務調研時需要排出計劃,按照業務部門分别進行調研,每個部門調研後需要及時整理相關記錄和問題,之後再帶着問題進行溝通或者和其他相關部門進行調研;

> > > > 高層調研

1.因為資料治理分析項目有很大一部分内容是直接面對高層上司,是以前期調研時高層調研很有必要,在系統和業務調研後,需要根據調研結果整理資料,輸出相關原型,再基于原型和資料進行高層調研,了解高層上司對項目的期望,同時也讓上司層看到最終的效果,提出完善的意見;

2.在調研時,一定要注意了解上司層對未來的規劃和想法,根據未來的規劃考慮項目的建設方向和内容,,後續可以根據據業務發展不斷完善更新;

3.一般高層調研都不是一次性的調研,需要根據意見對相關資料和原型進行反複疊代優化,在優化完善的過程中滿足客戶的需求,同時加深對客戶業務的了解以及未來的規劃。

3.調研輸出

調研工作進行後一定要有對應的輸出,包括調研過程的輸出,以及相關需求、原型、設計等内容,根據調研階段和調研内容的不同,每次調研也要輸出不同的調研資料。

1.:需要補充完善系統情況,整理系統功能子產品、業務場景清單等,同時輸出初步的業務流程,按照子產品化的方式将業務流程穿起來;

2.:每次調研後需要整理調研的會議紀要,将調研過程、相關問題、業務場景等梳理出來,并根據問題進行補充調研,或者調研其他業務部門;

3.:輸出會議,整理上司層的意見,并根據意見對需求、原型、設計等進行完善,或者二次調研等。

準備工作

在項目正式調研開始前,需要提前準備相關調研資料,并且在調研過程中,也要不斷對調研資料進行完善。資料治理分析項目前期資料包括項目實施内容的梳理、調研清單的準備,以及相關标準、行業、通用的模闆等,前期準備一方面可以全面了解項目情況,調研時做到遊刃有餘,另一方面更容易挖掘客戶的需求,了解客戶的想法,加快項目實施,避免後續需求蔓延。

1.業務分析

在開始調研前,可以通過前期溝通、售前交流、項目招投标過程中的相關資料對客戶的業務進行分析,包括客戶的行業、業務場景、業務流程、建設内容等。由于資料治理分析需要從各個系統對接業務資料,并基于業務資料建立業務主題和名額,是以需要充分了解業務場景,如等,并了解各業務場景的互動,如采購和成本、銷售和生産、銷售和财務、生産和采購等。在分析業務的過程中,可以結合以往同類型、同行業的相關項目,或者參考一些行業類業務。

2.标準模闆

對于資料治理分析項目,由于涉及到數倉建設、基礎資料治理、服務內建等内容,是以标準規範的輸出非常重要,基于标準規範,可以保證資料內建過程中标準化,保證資料的準确性和全面性,同時也能。

一般而言,資料治理分析的标準規範會在藍圖階段作為輸出,同時作為實施階段的輸入,以保證明施過程中遵守标準規範,保證資料品質。而資料治理分析項目作為标準的實施方案,内部已經形成了一些标準的規範體系,可以直接整理相關規範文檔模闆,并在實際項目中根據具體場景進行完善,這樣不僅可以提升項目傳遞的效率,同時也能給客戶提供更加專業的指導,提升項目的效果。

3.示範環境

在進行項目調研前,一定要準備示範環境,由于目前采用的都是,在調研前或調研期間,需要客戶提供伺服器,部署示範環境,初期調研示範環境可以隻部署3台的非高可用環境,主要用于調研期間對客戶進行示範,同時進行原型開發需要。

通過示範環境進行調研可以做到事半功倍的效果,基于示範環境可以直接給客戶呈現項目建設的效果,并能根據客戶的需求進行原型的設計,大大提升項目調研、實施的效率。

資料分析

資料分析是資料治理分析項目的核心内容,包括了等内容,其中數倉搭建和可視化分析是資料分析的主體,而資料名額和資料服務可以根據客戶需求進行靈活調整,但為了提升資料分析的效果,一般都會進行資料名額的建設。

資料治理分析項目調研最佳實踐

1.業務主題

業務主題是進行數倉搭建和資料分析的基礎,通過業務主題規劃可以更好地劃分企業業務,同時能夠對資料進行更加精細化的管理。在調研開始前的準備階段時,已經根據業務初步規劃了業務主題,如人事、财務、采購、成本、生産、銷售等,在調研過程中,需要對這些主題進行溝通确認,确認主題範圍。

根據項目周期、建設規劃以及業務模式,可以分階段進行主題建設,如,通過分期建設縮短建設周期,更快展現建設成果,同時也能以一期的成果作為二期的輸入,進行不斷優化疊代,提升建設效果。

資料分析的建設可以分期進行,但是調研時可以統一調研,總體規劃,先将主題範圍确認下來,在二期建設時可以在一期調研成果的基礎上進行優化,加快後續的建設效率。

2.業務名額

如果說業務主題是數倉建設和資料分析的基礎,那麼業務名額就是資料分析的核心,在進行資料分析、可視化展現時,最重要的就是展現業務名額,展現業務名額的結果、範圍、趨勢等,可以說資料分析就是對業務名額的分析,通過名額展現了解業務情況,分析業務趨勢,優化業務模式。

業務名額的調研不僅僅是梳理出名額,更重要的是,通過名額如何分析業務的好壞和趨勢,如何通過名額的分析、組合挖掘業務的問題,促進企業的良性發展。是以在調研階段要對名額進行重點調研,每一個名額的來源、計算、展示、組合、門檻值都需要非常清晰,同時要和業務緊密結合,基于名額展現業務,基于業務分析名額。

3.資料看闆

資料看闆主要是業務主題和業務名額的展現形式,根據業務主題規劃分析展現的看闆,并且對每個看闆展現的業務名額、元件樣式等進行規劃和原型設計。一般而言每個分析主題包括三級頁面:一級看闆頁面、二級詳情頁面、三級報表頁面以及資料大屏:

資料治理分析項目調研最佳實踐

1.:綜合展現目前主題下的總體名額,展現内容相對集中,大多為高度彙總的資料,一般内部無關聯,但是可以穿透到二級詳情頁面,并帶有過濾條件;

2.:看闆頁面的名額明細,一般帶有樹形、清單、查詢條件等,可以通過看闆頁面穿透并接收看闆參數;

3.:主要是多元分析和資料報表,同時帶有過濾條件,可以通過看闆或詳情頁面穿透并接收參數;

4.:在進行分析主題建設時,為了加強建設效果,一般都會為每一個主題建設一個資料大屏,資料大屏不具備資料穿透能力,但是資料大屏的顯示效果會更加酷炫,同時實時性相對較高,可以直接展現實時資料變化。

資料看闆的調研不同于業務調研,需要先輸出原型,由于客戶尤其是業務人員對資料看闆沒有清晰的概念,所有需要根據業務主題、業務名額進行原型設計,設計資料看闆的展現形式,根據展現形式讓客戶選擇或者提出調整意見。

資料治理

資料治理的調研主要是對基礎資料進行調研,在資料治理分析項目中,基礎資料的主要作用是建構數倉的維表,同時支撐資料分析的名額計算、展現次元處理,根據具體業務需要,基礎資料也可能支撐資料治理內建,。

資料治理分析項目調研最佳實踐

1.基礎資料

首先要明确基礎資料的範圍,即确認基礎資料類别,在前期準備時可以根據客戶業務确認一些常用的基礎資料,如等,在調研過程中再根據實際業務以及業務主題、名額、分析的需要進行基礎資料類别的确認。

在完成基礎資料類别确認後,根據資料類别對基礎資料的屬性字段、參考資料、來源系統、內建方式的内容進行溝通确認,一般而言這部分調研需要和資訊中心調研,如果資訊中心不了解相關内容,則需要協調系統廠商進行調研确認。

另外,如果需要通過基礎資料進行資料治理,實作基礎資料的內建與統一,還需要對基礎資料進行深入調研,确認如各類基礎資料的編碼規則、檢驗規則、同步接口、分發系統、接收接口等内容,以滿足通過主資料平台進行資料采集、管理、維護、分發、啟用、禁用等全生命周期管理的需求。

2.标準規範

對于基礎資料,由于會作為數倉維表,為跨系統業務資料整合提供關聯次元,是以必須保證基礎資料的一緻性和準确性,是以需要對基礎資料建立相應的标準規範,如等。

在調研前進行準備工作時,準備的标準模闆就包含基礎資料規範模闆,在調研過程中需要基于這些模闆對内容進行補充完善,并且形成可落地的統一标準,後續無論何時搭建資料,還是進行基礎資料治理,都必須嚴格遵守相關的标準規範,進而保證資料的準确性。

3.資料內建

資料內建包括兩部分,,二者都有相對标準的內建模式,并且已經通過平台進行了固化,在調研過程中,主要基于內建标準進行确認即可,确認基礎資料的建設範圍、作用、來源系統、目标系統、內建接口、內建方式等内容。

資料內建的調研一般主要面對資訊中心進行調研,通過相關技術和運維人員确認基礎資料的内容,但是注意在調研時結合實際業務對于基礎資料的即時性要求,如果業務對基礎資料即時性要求比較高,則需要在調研和設計過程中考慮資料觸發推送的方式,以及可能涉及的系統改造内容。

總結分析

,也是項目正式開始的标志,項目調研的結果會直接影響後續的藍圖開展和實施落地,是以對于項目人員而言,調研工作至關重要,需要加以重視,并提前做好準備工作。

1.提前準備

在正式進場開展調研之前,項目團隊成員需要提前做好資料的準備工作,包括調研計劃、調研内容、調研模闆等,這些資料可以借鑒其他項目的相關資料模闆,結合目前項目的實際情況進行整理。提前準備可以保證在進場後可以直接開展工作,提高工作效率,同時通過提前準備資料把控調研的進度和節奏,提高客戶對于實施團隊、項目落地的信心。

2.業務了解

資料治理分析項目是一個業務性比較強的項目,需要和衆多和系統、業務互動,是以了解業務是一項非常重要的工作,隻有了解業務,才能更好地分析業務主題、業務名額,并基于主題和名額進行項目規劃,規劃項目實施内容、落地效果。在調研階段一定要做好充足的準備,多聽、多看、多問,将産品功能、,加強項目實施的效果。

3.溝通互動

由于前期調研需要反複和客戶溝通,需要和技術人員、業務人員、管理人員、高層上司等進行溝通互動,甚至需要和其他業務廠商進行溝通,是以溝通能力是一項非常重要的能力,并且需要掌握溝通技巧,面對不同人員、不同身份做到舉止得體、遊刃有餘,多從客戶的角度思考問題,多從業務角度出發,保證溝通效果的同時,也能維護好人際關系。

,是以在項目實施過程中需要對平台、業務、系統等進行全面地掌握,并且時刻把握業務的變化,保證明施内容有效落地的同時,也能為客戶未來的業務發展帶來足夠的效益。調研階段是項目的開始,但也是項目的基礎,隻有調研工作做到位、做精準,才能保證後續的實施工作順利推進,最終的建設效果符合客戶的預期。

本文由@數通暢聯原創,歡迎轉發,僅供學習交流使用,引用請注明出處!謝謝~