正规的网站制作平台,建c2c网站,微信小程序源码提取工具,互联网保险论文本文详细介绍如何使用Routine Load 导入数据
一、准备工作
1.1 安装基础环境
主要是安装StarRocks和Kafka#xff0c;本文直接跳过不做详细介绍~
二、概念及原理
2.1 概念 导入作业#xff08;Load job#xff09; 导入作业会常驻运行#xff0c;当导入作业的状态为 R…本文详细介绍如何使用Routine Load 导入数据
一、准备工作
1.1 安装基础环境
主要是安装StarRocks和Kafka本文直接跳过不做详细介绍~
二、概念及原理
2.1 概念 导入作业Load job 导入作业会常驻运行当导入作业的状态为 RUNNING 时会持续不断生成一个或多个并行的导入任务不断消费 Kafka 集群中一个 Topic 的消息并导入至 StarRocks 中。 导入任务Load task 导入作业会按照一定规则拆分成若干个导入任务。导入任务是执行导入的基本单位作为一个独立的事务通过 Stream Load 导入机制实现。若干个导入任务并行消费一个 Topic 中不同分区的消息并导入至 StarRocks 中。
三、创建导入任务
3.1 语法
CREATE ROUTINE LOAD example_db.example_tbl1_ordertest1 ON example_tbl1
COLUMNS TERMINATED BY ,, -- 指定 CSV 数据的列分隔符默认为\t 可不止指定
COLUMNS (order_id, pay_dt, customer_name, nationality, temp_gender, price) -- 可不指定
PROPERTIES
(desired_concurrent_number 5 ,-- 单个 Routine Load 导入作业的期望任务并发度表示期望一个导入作业最多被分成多少个任务并行执行。默认值为 3max_batch_interval 5, -- 任务的调度间隔即任务多久执行一次。单位秒。取值范围560。默认值10。formatjson, -- 源数据的格式取值范围CSV、JSON。默认值CSVstrip_outer_array true -- 是否裁剪 JSON 数据最外层的数组结构。取值范围TRUE 或者 FALSE。默认值FALSE
)
FROM KAFKA
-- 项目是kafka相关配置
(kafka_broker_list kafka_broker1_ip:kafka_broker1_port,kafka_broker2_ip:kafka_broker2_port,kafka_topic ordertest1,kafka_partitions 0,1,2,3,4,property.kafka_default_offsets OFFSET_BEGINNING
);3.2 其他重要语法
查看导入作业SHOW ROUTINE LOAD查看导入任务SHOW ROUTINE LOAD TASK
SHOW ROUTINE LOAD TASK WHERE JobName example_tbl2_ordertest2暂停导入作业PAUSE ROUTINE LOAD
PAUSE ROUTINE LOAD FOR example_tbl2_ordertest2;恢复导入作业RESUME ROUTINE LOAD
RESUME ROUTINE LOAD FOR example_tbl2_ordertest2;
