给企业做网站运营,商城网站开发技术可行性分析,住房和城乡建设部政策研究中心,深圳住房保障和建设局官网背景
我们的业务数据一般来说都是放在Mysql中的#xff0c;而我们要分析的数据一般都存放在clickhouse中#xff0c;所以如何把数据从mysql同步到ck#xff0c;就变成了一个必须的步骤#xff0c;本文简单记录下几种同步的方式
mysql数据同步到clickhouse
方式一#x…背景
我们的业务数据一般来说都是放在Mysql中的而我们要分析的数据一般都存放在clickhouse中所以如何把数据从mysql同步到ck就变成了一个必须的步骤本文简单记录下几种同步的方式
mysql数据同步到clickhouse
方式一 在clickhouse中独立创建一个ck的表对应着mysql的一张表数据然后使用定时任务比如每天或者每小时从mysql中查询一天的增量或者一小时的增量数据插入到ck中这种方式比较容易理解和实现 方式二 使用canelkafka同步二进制binlog的方式同步数据具体来说是把每条db的变更转换成kafka的记录然后消费kafka消息把数据插入到ck中 方式三 使用ck提供的mysql引擎表
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [TTL expr1],name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2] [TTL expr2],...
) ENGINE MySQL(host:port, database, table, user, password[, replace_query, on_duplicate_clause])
SETTINGS[ connection_pool_size16, ][ connection_max_tries3, ][ connection_wait_timeout5, ][ connection_auto_closetrue, ][ connect_timeout10, ][ read_write_timeout300 ]
;方式四 使用ck提供的当前还处于实验阶段的MaterializedMySQL引擎
CREATE DATABASE mysql ENGINE MaterializedMySQL(localhost:3306, db, user, ***);方式五 通过把mysql表导出成Tsv文件然后通过clickhouse-client工具把TSV文件的数据导入到ck的表中.
参考文献
https://clickhouse.com/docs/zh/engines/database-engines/materialized-mysql
