本文根據阿裡雲進階技術專家李金波在首屆阿裡巴巴線上峰會的《企業大資料平台倉庫架建構設思路》的分享整理而成。随着網際網路規模不斷的擴大，資料也在爆炸式地增長，各種結構化、半結構化、非結構化資料的産生，越來越多的企業開始在大資料平台下進行資料處理。分享中，李金波主要從總體思路、模型設計、數加架構、資料治理四個方面介紹了如何利用大資料平台的特性，建構更貼合大資料應用的資料倉庫。
<b>直播視訊：</b>
（點選圖檔檢視視訊）
以下為整理内容。
總體思路<b></b>
随着網際網路規模不斷的擴大，資料也在爆炸式地增長，各種結構化、半結構化、非結構化資料不斷地産生。新環境下的資料應用呈現業務變化快、資料來源多、系統耦合多、應用深度深等特征。那麼基于這些特征，該如何建構資料倉庫呢？我認為應該從穩定、可信、豐富、透明四個關鍵詞入手。其中，穩定要求資料的産出穩定、有保障；可信意味着資料的品質要足夠高；豐富是指資料涵蓋的業務面要足夠豐富；透明要求資料構成流程體系是透明，讓使用者放心使用。
我們之是以選擇基于大資料平台建構資料倉庫，是由大資料平台豐富的特征決定的：
強大的計算和存儲能力，使得更扁平化的資料流程設計成為可能，簡化計算過程；
多樣的程式設計接口和架構，豐富了資料加工的手段；
豐富的資料采集通道，能夠實作非結構化資料和半結構化資料的采集；
各種安全和管理措施，保障了平台的可用性。
倉庫架構設計原則包括四點：第一自下而上結合自上而下的方式，保障資料搜集的全面性；第二高容錯性，随着系統耦合度的增加，任何一個系統出現問題都會對數倉服務産生影響，是以在數倉建構時，高容錯性是必不可少的因素；第三資料品質監控需要貫穿整個資料流程，毫不誇張地說，資料品質監控消耗的資源可以等同于資料倉庫建構的資源；第四無需擔心資料備援，充分利用存儲換易用。
模型設計<b></b>
建構數倉的首要步驟就是進行模型設計。
<b>次元莫模組化或實體關系模組化</b><b></b>
常見的模型設計思路包括次元模組化和實體關系模組化。次元模組化實施簡單，便于實時資料分析，适用于業務分析報表和bi；實體關系模組化結構較複雜，但它便于主體資料打通，适合複雜資料内容的深度挖掘。
每個企業在建構自己數倉時，應該根據業務形态和需求場景選擇合适的模組化方式。對于應用複雜性企業，可以采用多種模組化結合的方式，例如在基礎層采用次元模組化的方式，讓次元更加清晰；中間層采用實體關系模組化方式，使得中間層更容易被上層應用使用。
<b>星型模型和雪花模型</b><b></b>
除了模組化方式之外，在星型模型和雪花模型的選擇上也有可能讓使用者左右為難。事實上，兩種模型是并存的，星型是雪花模型的一種。理論上真實資料的模型都是雪花模型；實際資料倉庫中兩種模型是并存的。
由于星型模型相對結構簡單，我們可以在資料中間層利用資料備援将雪花模型轉換成星型模型，進而有利于資料應用和減少計算資源消耗。
<b>資料分層</b><b></b>
在确定模組化思路和模型類型之後，下一步的工作是資料分層。資料分層可以使得資料建構體系更加清晰，便于資料使用者快速對資料進行定位；同時資料分層也可以簡化資料加工處理流程，降低計算複雜度。
我們常用的資料倉庫的資料分層通常分為集市層、中間層、基礎資料層上下三層結構。由傳統的多層結構減少到上下三層結構的目的是為了壓縮整體資料處理流程的長度，同時扁平化的資料處理流程有助于資料品質控制和資料運維。
在上下三層的結構的右側，我們增加了流式資料，将其添加成資料體系的一部分。這是因為目前的資料應用方向會越來越關注資料的時效性，越實時的資料價值度越高。
但是，由于流式資料集的采集、加工和管理的成本較高，一般都會按照需求驅動的方式建設；此外，考慮到成本因素，流式資料體系的結構更加扁平化，通常不會設計中間層。
下面來具體看下每一層的具體作用。
<b>資料基礎層</b><b></b>
資料基礎層主要完成的工作包括以下幾點：
資料采集：把不同資料源的資料統一采集到一個平台上；
資料清洗，清洗不符合品質要求的資料，避免髒資料參與後續資料計算；
資料歸類，建立資料目錄，在基礎層一般按照來源系統和業務域進行分類；
資料結構化，對于半結構化和非結構化的資料，進行結構化；
資料規範化，包括規範次元辨別、統一計量機關等規範化操作。
<b>資料中間層</b><b></b>
資料中間層最為重要的目标就是把同一實體不同來源的資料打通起來，這是因為目前業務形态下，同一實體的資料可能分散在不同的系統和來源，且這些資料對同一實體的辨別符可能不同。此外，資料中間層還可以從行為中抽象關系。從行為中抽象出來的基礎關系，會是未來上層應用一個很重要的資料依賴。例如抽象出的興趣、偏好、習慣等關系資料是推薦、個性化的基礎生産資料。
在中間層，為了保證主題的完整性或提高資料的易用性，經常會進行适當的資料備援。比如某一實事資料和兩個主題相關但自身又沒有成為獨立主題，則會放在兩個主題庫中；為了提高單資料表的複用性和減少計算關聯，通常會在事實表中備援部分次元資訊。
<b>資料集市層</b><b></b>
資料集市層是上下三層架構的最上層，通常是由需求場景驅動建設的，并且各集市間垂直構造。在資料集市層，我們可以深度挖掘資料價值。值得注意的是，資料集市層需要能夠快速試錯。
資料架構<b></b>
資料架構包括資料整合、資料體系、資料服務三部分。其中，資料整合又可以分為結構化、半結構化、非結構化三類。
<b>資料整合</b><b></b>
結構化資料采集又可細分為全量采集、增量采集、實時采集三類。三種采集方式的各自特點和适應場合如上圖所示，其中全量采集的方式最為簡單；實時采集的采集品質最難控制。
在傳統的架構中，日志的結構化處理是放在數倉體系之外的。在大資料平台倉庫架構中，日志在采集到平台之前不做結構化處理；在大資料平台上按行符分割每條日志，整條日志存儲在一個資料表字段；後續，通過udf或mr計算架構實作日志結構化。
在我們看來，日志結構越規範，解析成本越低。在日志結構化的過程中，并不一定需要完全平鋪資料内容，隻需結構化出重要常用字段；同時，為了保障擴充性，我們可以利用資料備援儲存原始符合字段（如useragent字段）。
非結構化的資料需要結構化才能使用。非結構化資料特征提取包括語音轉文本、圖檔識别、自然語言處理、圖檔達标、視訊識别等方式。盡管目前數倉架構體系中并不包含非結構化資料特征提取操作，但在未來，這将成為可能。
<b>資料服務化</b><b></b>
資料服務化包括統計服務、分析服務和标簽服務：
統計服務主要是偏傳統的報表服務，利用大資料平台将資料加工後的結果放入關系型資料庫中，供前端的報表系統或業務系統查詢；
分析服務用來提供明細的事實資料，利用大資料平台的實時計算能力，允許操作人員自主靈活的進行各種次元的交叉組合查詢。分析服務的能力類似于傳統cube提供的内容，但是在大資料平台下不需要預先建好cube，更靈活、更節省成本；
标簽服務，大資料的應用場景下，經常會對主體進行特征刻畫，比如客戶的消費能力、興趣習慣、實體特征等等，這些資料通過打标簽轉換成kv的資料服務，用于前端應用查詢。
<b>架構設計中一些實用的點</b><b></b>
在架構設計中有一些實用的點，這裡給大家分享一下：
第一，通過巧用虛拟節點實作多系統資料源同步，實作跨系統間的資料傳輸，實作多應用間資料互動。通過巧用虛拟節點減少運維人員在實際出現問題時的運維成本。
第二，采用強制分區，在所有的表都上都加上時間分區。通過分區，保證每個任務都能夠獨立重跑，而不産生資料品質問題，降低了資料修複成本；此外通過分區裁剪，還可以降低計算成本。
第三，應用計算架構完成日志結構化、同類資料計算過程等操作，減輕了開發人員的負擔，同時更容易維護。
第四，優化關鍵路徑。優化關鍵路徑中耗時最長的任務是最有效的保障資料産出時間的手段。
資料治理<b></b>
資料治理不是獨立于系統之外的保障，它應該貫穿在數倉架構内部和資料處理的流程之中。
<b>資料品質</b><b></b>
保障資料品質，可以從事前、事中、事後入手。事前，我們可以通過制定每份資料的資料品質監控規則，越重要的資料對應的監控規則應該越多；事中，通過監控和影響資料生産過程，對不符合品質要求的資料進行幹預，使其不影響下流資料的品質；事後，通過對資料品質情況進行分析和打分，将一些不足和改進回報資料監控體系，推動整體的資料品質提升。
<b>資料生命周期管理</b><b></b>
出于成本等因素的考慮，在大資料平台上我們依然需要對資料生命周期進行管理。根據使用頻率将資料分為冰、冷、溫、熱四類。一個合理的資料生命周期管理要保證溫熱資料占整個資料體系大部分；同時為了保障資料資産的完整性，對于重要的基礎資料會長久保留。
對于資料中間計算過程資料，在保障滿足絕大部分應用通路曆史資料需要的前提下，縮短資料保留周期，有助于降低存儲成本；最後一點值得注意的是，冷備已經成為曆史，在大資料平台下不需要單獨的冷備裝置。
關于分享嘉賓：<b></b>
李金波，阿裡雲進階技術專家，8年以上網際網路資料倉庫經曆，對系統架構、資料架構擁有豐富的實戰經驗，曾經資料魔方、淘寶指數的資料架構設計專家。現任阿裡雲大資料數倉解決方案總架構師。