天天看点

你不得不知道的Iceberg的配置Configuration

你不得不知道的Iceberg的配置Configuration
​​全网最全大数据面试提升手册!​​

Configuration

1.table properties

1.1 Read properties

因为Iceberg在HDFS上的data文件,通常都是一个个的小文件,所以读取的时候会先进行combine,然后再返回数据。下面是进行combine的一些配置

你不得不知道的Iceberg的配置Configuration
1.2 Write properties
你不得不知道的Iceberg的配置Configuration
你不得不知道的Iceberg的配置Configuration
1.3 Table behavior properties
你不得不知道的Iceberg的配置Configuration
你不得不知道的Iceberg的配置Configuration
1.4 Reserved table properties

只在创建或更新表的时候使用,并不会作为表metadata保存下来

你不得不知道的Iceberg的配置Configuration
1.5 Compatibility flags
你不得不知道的Iceberg的配置Configuration

2.Catalog properties

你不得不知道的Iceberg的配置Configuration
2.1 Lock catalog properties

关于catalog lock相关的配置,用来控制commit期间的lock行为

你不得不知道的Iceberg的配置Configuration

3.Hadoop configuration

用于Hive Metastore connector