kudu-impala分區表（hash和range分區）

1、分區表支援hash分區和range分區，根據主鍵列上的分區模式将table劃分為 tablets 。每個 tablet 由至少一台 tablet server提供。理想情況下，一張table分成多個tablets分布在不同的tablet servers ，以最大化并行操作。

2、Kudu目前沒有在建立表之後拆分或合并 tablets 的機制。

3、建立表時，必須為表提供分區模式。

4、在設計表格時，使用主鍵，就可以将table分為以相同速率增長的 tablets 。

5、您可以使用 Impala 的 PARTITION BY 關鍵字對表進行分區，該關鍵字支援 RANGE 或 HASH分發。分區方案可以包含零個或多個 HASH 定義，後面是可選的 RANGE 定義。 RANGE 定義可以引用一個或多個主鍵列

1、PARTITION BY RANGE ( 按範圍劃分 )

優點：允許根據所選分區鍵的特定值或值的範圍拆分表。這樣可以平衡并行寫入與掃描效率

缺點：如果您在其值單調遞增的列上按範圍進行分區，則最後一個tablet的增長将遠大于其他的，此外，插入的所有資料将一次寫入單個 tablet ，限制了資料攝取的可擴充性

例子：

CREATE TABLE customers (

state STRING,

name STRING,

purchase_count int,

PRIMARY KEY (state, name)

) PARTITION BY RANGE (state) (

PARTITION VALUE = ‘al’,

PARTITION VALUE = ‘ak’,

PARTITION VALUE = ‘ar’,

PARTITION VALUE = ‘wv’,

PARTITION VALUE = ‘wy’

) STORED AS KUDU

TBLPROPERTIES(

‘kudu.table_name’ = ‘customers ‘,’kudu.master_addresses’ = ‘hadoop5:7051’);

2、PARTITION BY HASH ( 哈希分區 )

優點：資料均勻地分布在資料桶之間

缺點：對值的查詢可能要讀取所有的tablet，也就是自定義的3個

例子：

CREATE TABLE cust_behavior (

id BIGINT,

sku STRING,

salary STRING,

edu_level INT,

usergender STRING,

group STRING,

city STRING,

postcode STRING,

last_purchase_price FLOAT,

last_purchase_date BIGINT,

category STRING,

rating INT,

fulfilled_date BIGINT,

PRIMARY KEY (id, sku)

)

PARTITION BY HASH PARTITIONS 3

STORED AS KUDU

TBLPROPERTIES(

‘kudu.table_name’ = ‘cust_behavior ‘,’kudu.master_addresses’ = ‘hadoop5:7051’);

3、進階分區

①、PARTITION BY HASH and RANGE

優點：既可以資料分布均勻，又可以在每個分片中保留指定的資料

例子：

CREATE TABLE cust_behavior_1 (

id BIGINT,

sku STRING,

salary STRING,

edu_level INT,

usergender STRING,

group

STRING,

city STRING,

postcode STRING,

last_purchase_price FLOAT,

last_purchase_date BIGINT,

category STRING,

rating INT,

fulfilled_date BIGINT,

PRIMARY KEY (id, sku)

)

PARTITION BY HASH (id) PARTITIONS 4,

RANGE (sku)

(

PARTITION VALUES < ‘g’,

PARTITION ‘g’ <= VALUES < ‘o’,

PARTITION ‘o’ <= VALUES < ‘u’,

PARTITION ‘u’ <= VALUES

) STORED AS KUDU

TBLPROPERTIES(

‘kudu.table_name’ = ‘cust_behavior_1 ‘,’kudu.master_addresses’ = ‘hadoop5:7051’);