天天看點

impala、hive、phoenix、hbase映射測試

**需求:想在phoenix上維護兩張寬表,一張作為即席查詢使用,隻有一天的資料、一張作為曆史表。

寬表的特點是:由多個表組合而成,但是每張表的到數時間不一緻,有的表先到,有的表可能隔天才到。

想要達到的效果:即席查詢用的寬表是來一張表就加載一張表的資料,沒來的等來了再加載,中間過程有查詢的時候,查詢結果是:已經更新的字段(已經到數的表字段)和未更新的字段(沒有到數的表字段)

要求:即席查詢的寬表中的資料,既要在impala、hive中可查,也要在phoenix、habse中可查。

**

目前方案:

假設:寬表由2張表組成:table1和table2

1)每張小表(組成寬表的每張表)先通過排程加載到hive裡面

ods.table1(partition=‘202108010’)、ods.table2(partition=‘202108010’)

2)在hive裡面建立每張小表與phoenix的映射表(表結構與第一步的表結構一緻)

目的:為了能夠在phoenix中操作hive中的表資料,因為寬表中插入資料的時候要用phoenix,而不用hive,因為hive如果隻插入某幾個字段的時候,其他的字段會為null,而需求是更新表字段,沒有到數的字段,保持原貌。

hive>: