Hive中分区表和分桶表通过“目录划分”和“数据哈希分布”优化查询结合使用可实现双重数据剪枝。一、分区表按业务维度拆分数据原理分区表将数据按分区字段存储在HDFS不同目录如按日期分区/day20231001查询时通过WHERE子句指定分区避免全表扫描。使用方法创建分区表以日期分区为例sqlCREATE TABLE order_info ( order_no STRING, name STRING, order_amt DOUBLE ) PARTITIONED BY (day STRING) -- 分区字段伪列需指定类型 ROW FORMAT DELIMITED FIELDS TERMINATED BY ,;加载数据静态分区手动指定分区值sqlLOAD DATA INPATH /data/order_20231001.txt INTO TABLE order_info PARTITION (day20231001);动态分区从查询结果推断分区值sqlSET hive.exec.dynamic.partition.mode nonstrict; -- 开启动态分区 INSERT INTO order_info PARTITION (day) SELECT order_no, name, order_amt, day FROM temp_table; -- day为查询结果中的列查询分区数据sqlSELECT * FROM order_info WHERE day 20231001; -- 仅扫描/day20231001目录二、分桶表按哈希均匀分布数据原理分桶表根据分桶字段的哈希值将数据分配到固定数量的文件桶中解决数据倾斜加速JOIN和采样查询。使用方法创建分桶表按订单号分4桶sqlCREATE TABLE bucketed_order ( order_no STRING, name STRING, order_amt DOUBLE ) CLUSTERED BY (order_no) INTO 4 BUCKETS -- 分桶字段为表内真实字段 ROW FORMAT DELIMITED FIELDS TERMINATED BY ,;加载数据需启用分桶强制模式sqlSET hive.enforce.bucketing true; -- 自动按分桶数分配数据 INSERT OVERWRITE TABLE bucketed_order SELECT order_no, name, order_amt FROM order_info;优化JOIN查询 若两表按相同字段分桶且小表桶数是大表的整数倍可启用BucketMapJoinsqlSET hive.optimize.bucketmapjoin true; -- Map阶段直接JOIN避免Shuffle SELECT a.order_no, b.user_name FROM bucketed_order a JOIN bucketed_user b ON a.order_no b.order_no;三、分区与分桶结合使用场景用户行为数据按日期分区用户ID分桶sqlCREATE TABLE user_behavior ( user_id BIGINT, item_id BIGINT, behavior_type INT ) PARTITIONED BY (dt STRING) -- 按日期分区目录划分 CLUSTERED BY (user_id) INTO 32 BUCKETS; -- 每个分区内按用户ID分32桶文件划分优势先按dt过滤分区再按user_id分桶精确定位数据实现“分区剪枝分桶剪枝”双重优化。