hive 元数据表结构

Table of Contents

• 1. CDS
• 2. db相关
  • 2.1. DBS
  • 2.2. DATABASE_PARAMS
• 3. SerDe相关
  • 3.1. SERDES
  • 3.2. SERDES_PARAMS
• 4. 存储相关
  • 4.1. SDS
  • 4.2. SD_PARAMS
• 5. table相关
  • 5.1. TABLE_PARAMS
  • 5.2. TBLS
  • 5.3. TAB_COL_STATS
  • 5.4. COLUMNS_V2
• 6. 分区
  • 6.1. PARTITIONS
  • 6.2. PARTITION_PARAMS
  • 6.3. PARTITION_KEYS
  • 6.4. PARTITION_KEY_VALS
• 7. VERSION
• 8. 根据元数据拼写表的创建语句

1 CDS TBLS.

mysql> select db_id,db_location_uri,name from DBS;
+-------+----------------------------------------------------+---------+
| db_id | db_location_uri                                    | name    |
+-------+----------------------------------------------------+---------+
|     1 | hdfs://nameservice1/user/hive/warehouse            | default |
|  3132 | hdfs://nameservice1/user/hive/warehouse/bigdata.db | bigdata |
+-------+----------------------------------------------------+---------+

2.2 DATABASE_PARAMS tbls.tbl_id或者 cds.cd_id INPUT_FORMAT 数据输入格式 IS_COMPRESSED 是否对数据进行压缩 IS_STOREDASSUBDIRECTORIES 是否存储在子目录 LOCATION 数据在hdfs中的存放位置 NUM_BUCKETS 分桶的数量 OUTPUT_FORMAT 数据输出格式 SERDE_ID SERDES.SERDE_ID

4.2 SD_PARAMS

该表存储Hive存储的属性信息，在创建表时候使用. 通过STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定

本地环境数据为空。

5 table相关

5.1 TABLE_PARAMS Validate