談談我的資料倉庫經曆

目前還是大資料的時代，傳統的資料倉庫早就跟不上大資料的發展。還記得初入資料倉庫這行時，那時候的用的還是oracle+obiee。資料量大到上千萬的時候，前端完全加載不出來。而且那時候的數倉設計，由于資料倉庫用的oracle，費用比較貴，是以盡量的用時間換空間，前端會存在很多元表和事實表的關聯，甚至有些計算都會放到前端計算。這樣就導緻使用者體驗非常差。後面hadoop起來了，分布式的資料倉庫很好的順應了大資料的時代要求，用空間換時間和使用者體驗，是以基本上計算邏輯都由背景計算了，前端隻是表對表的加載而已。是以，目前市面上的各種次元模組化都大同小異，無非都是ODS保留貼源資料，DW層會劃分為兩個細分層級，一個是明細，用來清洗資料，一個是彙總資料，用來過濾口徑等，最後還有一個DM層（有些廠可能不這麼叫），這一層主要是面向應用，包括可視化，大屏，移動端等等。不知道你們所在的公司，資料倉庫，在數倉模型這塊有什麼不同呢？歡迎留言讨論！！！