东软 网站群平台建设,汕头建站平台,做网站常见问题模板,莞城最新通告数据表的基本使用#xff08;一#xff09;#xff1a;基本概念、创建表 1.创建用户和数据库2.Doris 中数据表的基本概念2.1 Row Column2.2 Partition Tablet 3.建表实操3.1 建表语法3.2 字段类型3.3 创建表3.3.1 Range Partition3.3.2 List Partition 1.创建用… 数据表的基本使用一基本概念、创建表 1.创建用户和数据库2.Doris 中数据表的基本概念2.1 Row Column2.2 Partition Tablet 3.建表实操3.1 建表语法3.2 字段类型3.3 创建表3.3.1 Range Partition3.3.2 List Partition 1.创建用户和数据库
mysql -h hadoop1 -P 9030 -u root -p-u指定用户名-p指定密码-h主机-P端口
1创建 test 用户
create user test identified by test;2创建数据库
create database test_db;3用户授权
grant all on test_db to test;2.Doris 中数据表的基本概念
在 Doris 中数据都以 关系表Table的形式进行逻辑上的描述。
2.1 Row Column
一张表包含 行Row和 列Column。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。
在默认的数据模型中Column 只分为 排序列 和 非排序列。存储引擎会按照排序列对数据进行排序存储并建立稀疏索引以便在排序数据上进行快速查找。
而在聚合模型中Column 可以分为两大类Key 和 Value。从业务角度看Key 和 Value 可以分别对应 维度列 和 指标列。从聚合模型的角度来说Key 列相同的行会聚合成一行。其中 Value 列的聚合方式由用户在建表时指定。
2.2 Partition Tablet
在 Doris 的存储引擎中用户数据首先被划分成若干个 分区Partition划分的规则通常是按照用户指定的分区列进行范围划分比如按时间划分。而在每个分区内数据被进一步的按照 Hash 的方式 分桶分桶的规则是要找用户指定的分桶列的值进行 Hash 后分桶。每个分桶就是一个 数据分片Tablet也是数据划分的最小逻辑单元。
Tablet之间的数据是没有交集的独立存储的。Tablet 也是数据移动、复制等操作的最小物理存储单元。Partition 可以视为是逻辑上最小的管理单元。数据的导入与删除都可以或仅能针对一个 Partition 进行。
3.建表实操
3.1 建表语法
使用 CREATE TABLE 命令建立一个表Table。更多详细参数可以查看
help create table;建表语法
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [database.]table_name
(column_definition1[, column_definition2, ...]
[, index_definition1[, index_definition2, ...]])
[ENGINE [olap|mysql|broker|hive|iceberg]]
[key_desc]
[COMMENT table comment]
[partition_desc]
[distribution_desc]
[rollup_index]
[PROPERTIES (keyvalue, ...)]
[BROKER PROPERTIES (keyvalue, ...)];Doris 建表是一个同步命令命令返回成功即表示建表成功。
Doris 支持支持单分区和复合分区两种建表方式。
复合分区既有分区也有分桶。 第一级称为 Partition即 分区。用户可以指定某一维度列作为分区列当前只支持 整型 和 时间类型 的列并指定每个分区的取值范围。第二级称为 Distribution即 分桶。用户可以指定一个或多个维度列以及桶数对数据进行 HASH 分布。 单分区只做 HASH 分布即只分桶。
3.2 字段类型
字段类型名类型字节长度TINYINT1 字节范围 − 2 7 1 -2^7 1 −271 ~ 2 7 − 1 2^7 - 1 27−1SMALLINT2 字节范围 − 2 15 1 -2^{15} 1 −2151 ~ 2 15 − 1 2^{15} - 1 215−1INT4 字节范围 − 2 31 1 -2^{31} 1 −2311 ~ 2 31 − 1 2^{31} - 1 231−1BIGINT8 字节范围 − 2 63 1 -2^{63} 1 −2631 ~ 2 63 − 1 2^{63} - 1 263−1LARGEINT16 字节范围 − 2 127 1 -2^{127} 1 −21271 ~ 2 127 − 1 2^{127} - 1 2127−1FLOAT4 字节支持科学计数法DOUBLE12 字节支持科学计数法DECIMAL[(precision, scale)]16 字节保证精度的小数类型。默认是 DECIMAL(10, 0)precision1 ~ 27scale0 ~ 9其中整数部分为 1 ~ 18不支持科学计数法DATE3 字节范围0000-01-01 ~ 9999-12-31DATETIME8 字节范围0000-01-01 00:00:00 ~ 9999-12-31 23:59:59CHAR[(length)]定长字符串。长度范围1 ~ 255。默认为 1VARCHAR[(length)]变长字符串。长度范围1 ~ 65533BOOLEAN与 TINYINT 一样 0 0 0 代表 false 1 1 1 代表 trueHLL1~16385 个字节hll 列类型不需要指定长度和默认值、长度根据数据的聚合程度系统内控制并且 hll 列只能通过配套的 hll_union_agg、hll_cardinality、hll_hash 进行查询或使用BITMAPbitmap 列类型不需要指定长度和默认值。表示整型的集合元素最大支持到 2 64 − 1 2^{64} - 1 264−1STRING变长字符串 0.15 0.15 0.15 版本支持最大支持 2147483643 字节2GB - 4长度还受 be 配置 string_type_soft_limit实际能存储的最大长度取两者最小值。只能用在 Value 列不能用在 Key 列和分区、分桶列
注意聚合模型在定义字段类型后可以指定字段的聚合类型 agg_type如果不指定则该列为 Key 列。否则该列为 Value 列类型包括SUM、MAX、MIN、REPLACE。
3.3 创建表
3.3.1 Range Partition
CREATE TABLE IF NOT EXISTS example_db.expamle_range_tbl
(user_id LARGEINT NOT NULL COMMENT 用户 id,date DATE NOT NULL COMMENT 数据灌入日期时间,timestamp DATETIME NOT NULL COMMENT 数据灌入的时间戳,city VARCHAR(20) COMMENT 用户所在城市,age SMALLINT COMMENT 用户年龄,sex TINYINT COMMENT 用户性别,last_visit_date DATETIME REPLACE DEFAULT 1970-01-01 00:00:00 COMMENT 用户最后一次访问时间,cost BIGINT SUM DEFAULT 0 COMMENT 用户总消费,max_dwell_time INT MAX DEFAULT 0 COMMENT 用户最大停留时间,min_dwell_time INT MIN DEFAULT 99999 COMMENT 用户最小停留时间
)
ENGINEolap
AGGREGATE KEY(user_id,date,timestamp,city,age,sex)
partition by range(date)
(PARTITION p201701 VALUES LESS THAN (2017-02-01),PARTITION p201702 VALUES LESS THAN (2017-03-01),PARTITION p201703 VALUES LESS THAN (2017-04-01)
)
DISTRIBUTED BY HASH(user_id) BUCKETS 16
PROPERTIES
(replication_num 3,storage_medium SSD,storage_cooldown_time 2018-01-01 12:00:00
);3.3.2 List Partition
CREATE TABLE IF NOT EXISTS example_db.expamle_list_tbl
(user_id LARGEINT NOT NULL COMMENT 用户 id,date DATE NOT NULL COMMENT 数据灌入日期时间,timestamp DATETIME NOT NULL COMMENT 数据灌入的时间戳,city VARCHAR(20) COMMENT 用户所在城市,age SMALLINT COMMENT 用户年龄,sex TINYINT COMMENT 用户性别,last_visit_date DATETIME REPLACE DEFAULT 1970-01-01 00:00:00 COMMENT 用户最后一次访问时间,cost BIGINT SUM DEFAULT 0 COMMENT 用户总消费,max_dwell_time INT MAX DEFAULT 0 COMMENT 用户最大停留时间,min_dwell_time INT MIN DEFAULT 99999 COMMENT 用户最小停留时间
)
ENGINEolap
AGGREGATE KEY(user_id, date, timestamp, city, age, sex)
PARTITION BY LIST(city)
(PARTITION p_cn VALUES IN (Beijing, Shanghai, Hong Kong),PARTITION p_usa VALUES IN (New York, San Francisco),PARTITION p_jp VALUES IN (Tokyo)
)
DISTRIBUTED BY HASH(user_id) BUCKETS 16
PROPERTIES
(replication_num 3,storage_medium SSD,storage_cooldown_time 2018-01-01 12:00:00
);
