淮安市建设工程安全监督站网站,网站内容优化关键词布局,设计方案构思和设计过程,鞍山网络顾问有限公司1.分区表#xff1a; 是Hive中的一种表类型#xff0c;通过将表中的数据划分为多个子集#xff08;分区#xff09;#xff0c;每个分区对应表中的某个特定的列值#xff0c;可以提高查询性能和管理数据的效率。分区表的每个分区存储在单独的目录中#xff0c;分区的定义…1.分区表 是Hive中的一种表类型通过将表中的数据划分为多个子集分区每个分区对应表中的某个特定的列值可以提高查询性能和管理数据的效率。分区表的每个分区存储在单独的目录中分区的定义基于表中的一个或多个列。使用分区表的主要目的是减少查询扫描的数据量从而提高查询效率。 分区过细可能导致生成大量的小文件影响HDFS性能和MapReduce任务的效率。需要定期进行小文件合并操作。
CREATE TABLE customer_data (customer_id STRING,name STRING,age INT,email STRING
)
PARTITIONED BY (city STRING)
STORED AS ORC;select *
from customer_data;-- 插入 New York 的数据
INSERT INTO TABLE customer_data PARTITION (cityNew York)
VALUES
(1, John Doe, 30, johnexample.com),
(2, Jane Smith, 25, janeexample.com),
(3, Bob Johnson, 40, bobexample.com);-- 插入 Los Angeles 的数据
INSERT INTO TABLE customer_data PARTITION (cityLos Angeles)
VALUES
(4, Alice Brown, 32, aliceexample.com),
(5, Charlie Davis, 28, charlieexample.com);-- 插入 Chicago 的数据
INSERT INTO TABLE customer_data PARTITION (cityChicago)
VALUES
(6, Eve White, 45, eveexample.com),
(7, Frank Black, 37, frankexample.com);
可以查看到hdfs上创建了三个目录对应三个分区使用带有where条件的select进行查询会直接从对应的分区目录下查找数据从而减少查询扫描的数据量提高性能。
SELECT * FROM customer_data WHERE cityNew York; 2.分桶表 是Hive中的另一种表类型通过对表中的数据进行散列分桶hash bucket可以进一步提高查询性能尤其是在进行连接join和聚合aggregation操作时。分桶表将数据划分为固定数量的桶bucket每个桶存储在单独的文件中。 ---------------------------------------------------分桶表的特点--------------------------------------------------- 数据划分根据一个或多个列的哈希值将数据分布到固定数量的桶中。 文件存储每个桶的数据存储在独立的文件中。 均匀分布理想情况下数据在所有桶中均匀分布从而提高查询性能。
CREATE TABLE customer_data2 (customer_id STRING,name STRING,age INT,email STRING
)
CLUSTERED BY (customer_id) INTO 4 BUCKETS
STORED AS ORC;
-- 插入数据到分桶表
--通过这些步骤我们创建了一个按 customer_id 列进行分桶的 Hive 表 customer_data并插入了具体的数据。
INSERT INTO TABLE customer_data2 VALUES
(1, John Doe, 30, johnexample.com),
(2, Jane Smith, 25, janeexample.com),
(3, Bob Johnson, 40, bobexample.com),
(4, Alice Brown, 32, aliceexample.com),
(5, Charlie Davis, 28, charlieexample.com),
(6, Eve White, 45, eveexample.com),
(7, Frank Black, 37, frankexample.com),
(8, Grace Green, 22, graceexample.com);select *
from customer_data2;
通过查看hdfs上的路径我们可以看到这些数据会按照对应列的hash值分到不同的桶中
