天天看點

資料倉庫建設步驟

1.系統分析,确定主題

确定一下幾個因素:

    ·操作出現的頻率,即業務部門每隔多長時間做一次查詢分析。

    ·在系統中需要儲存多久的資料,是一年、兩年還是五年、十年。

    ·使用者查詢資料的主要方式,如在時間次元上是按照自然年,還是财政年。

    ·使用者所能接受的響應時間是多長、是幾秒鐘,還是幾小時。

2.選擇滿足資料倉庫系統要求的軟體平台

選擇合适的軟體平台,包括資料庫、模組化工具、分析工具等。有許多因素要考慮,如系統對資料量、響應時間、分析功能的要求等,以下是一些公認的選擇标準:

    ·廠商的背景和支援能力,能否提供全方位的技術支援和咨詢服務。

    ·資料庫對大資料量(TB級)的支援能力。

    ·資料庫是否支援并行操作。

    ·能否提供資料倉庫的模組化工具,是否支援對中繼資料的管理。

    ·能否提供支援大資料量的資料加載、轉換、傳輸工具(ETT)。

    ·能否提供完整的決策支援工具集,滿足資料倉庫中各類使用者的需要。

3.建立資料倉庫的邏輯模型

具體步驟如下:

    (1)确定建立資料倉庫邏輯模型的基本方法。

    (2)基于主題視圖,把主題視圖中的資料定義轉到邏輯資料模型中。

    (3)識别主題之間的關系。

    (4)分解多對多的關系。

    (5)用範式理論檢驗邏輯資料模型。

    (6)由使用者稽核邏輯資料模型。

4.邏輯資料模型轉化為資料倉庫資料模型

    (2)增加時間主鍵:資料倉庫中的資料一定是時間的快照,是以必須增加時間主鍵。

    (3)增加派生資料:對于使用者經常需要分析的資料,或者為了提高性能,可以增加派生資料。

    (4)加入不同級别粒度的彙總資料:資料粒度代表資料細化程度,粒度越大,資料的彙總程度越高。粒度是資料倉庫設計的一個重要因素,它直接影響到駐留在資料倉庫中的資料量和可以執行的查詢類型。顯然,粒度級别越低,則支援的查詢越多;反之,能支援的查詢就有限。

5.資料倉庫資料模型優化

資料倉庫設計時,性能是一項主要考慮因素。在資料倉庫建成後,也需要經常對其性能進行監控,并随着需求和資料量的變更進行調整。

優化資料倉庫設計的主要方法是:

    ·合并不同的資料表。

    ·通過增加彙總表避免資料的動态彙總。

    ·通過備援字段減少表連接配接的數量,不要超過3~5個。

    ·用ID代碼而不是描述資訊作為鍵值。

    ·對資料表做分區。

6.資料清洗轉換和傳輸

    在設計資料倉庫的資料加載方案時,必須考慮以下幾項要求:

    ·加載方案必須能夠支援通路不同的資料庫和檔案系統。

    ·資料的清洗、轉換和傳輸必須滿足時間要求,能夠在規定的時間範圍内完成。

    ·支援各種轉換方法,各種轉換方法可以構成一個工作流。

    ·支援增量加載,隻把自上一次加載以來變化的資料加載到資料倉庫。

7.開發資料倉庫的分析應用

建立資料倉庫的最終目的是為業務部門提供決策支援能力,必須為業務部門選擇合适的工具實作其對資料倉庫中的資料進行分析的要求。

    資訊部門所選擇的開發工具必須能夠:

    ·滿足使用者的全部分析功能要求。資料倉庫中的使用者包括了企業中各個業務部門,他們的業務不同,要求的分析功能也不同。如有的使用者隻是簡單的分析報表,有些使用者則要求做預測和趨勢分析。

    ·提供靈活的表現方式。分析的結果必須能夠以直覺、靈活的方式表現,支援複雜的圖表。使用方式上,可以是客戶機/伺服器方式,也可以是浏覽器方式。

    事實上,沒有一種工具能夠滿足資料倉庫的全部分析功能需求,一個完整的資料倉庫系統的功能可能是由多種工具來實作,是以必須考慮多個工具之間的接口和內建性問題,對于使用者來說,希望看到的是一緻的界面。

8.資料倉庫的管理

隻重視資料倉庫的建立,而忽視資料倉庫的管理必然導緻資料倉庫項目的失敗。資料倉庫管理主要包括資料庫管理和中繼資料管理。

    資料庫管理需要考以下幾個方面:

    ·安全性管理。資料倉庫中的使用者隻能通路到他的授權範圍内的資料,資料在傳輸過程中的加密政策。

    ·資料倉庫的備份和恢複。資料倉庫的大小和備份的頻率直接影響到備份政策。

    ·如何保證資料倉庫系統的可用性,硬體還是軟體方法。

    ·資料老化。設計資料倉庫中資料的存放時間周期和對過期資料的老化方法,如曆史資料隻儲存彙總資料,當年資料儲存詳細記錄。

    然而,中繼資料管理貫穿于整個系統的建設過程中,中繼資料是描述資料的資料。在資料采集階段,中繼資料主要包括下列資訊:

       ·源資料的描述定義:類型、位置、結構。

       ·資料轉換規則:編碼規則、行業标準。

       ·目标資料倉庫的模型描述:星型/雪花模型定義,維/事實結構定義。

       ·源資料到目标資料倉庫的映射關系:函數/表達式定義。

       ·代碼:生成轉換程式、自動加載程式等。

    在資料管理階段,中繼資料主要包括下列資訊:

    ·彙總資料的描述:彙總/聚合層次、物化視圖結構定義。

    ·曆史資料存儲規則:位置、存儲粒度。

    ·多元資料結構描述:立方體定義、維結構、路徑成本、鑽取層次定義等。

       在資料展現階段,中繼資料主要包括以下資訊:

       ·報表的描述:報表結構的定義。

       ·統計函數的描述:各類統計分析函數的定義。

       ·結果輸出的描述:圖、表輸出的定義。