漳州网站优化,公众号小程序怎么注销,火车头wordpress模块,开发公司简介企业介绍streamparkflink一键整库或多表同步mysql到doris实战#xff0c;此应用一旦推广起来#xff0c;那么数据实时异构时#xff0c;不仅可以减少对数据库的查询压力#xff0c;还可以减少数据同步时的至少50%的成本#xff0c;还可以减少30%的存储成本#xff1b;
streampar…streamparkflink一键整库或多表同步mysql到doris实战此应用一旦推广起来那么数据实时异构时不仅可以减少对数据库的查询压力还可以减少数据同步时的至少50%的成本还可以减少30%的存储成本
streampark搭建
二进制包编译构建
编译构建二进制可执行包使用自己构建的二进制包构建Docker镜像需要准备一台Linux的服务或者是虚拟机可以正常上网即可在该台机子上需要事先安装Git(拉取源码文件)Maven和java环境JDK1.8我采用的是是上传的源码包incubator-streampark-2.1.0.tar.gz然后解压源码包
tar -zxvf incubator-streampark-2.1.0.tar.gz解压到服务器上然后进入到解压路径里面 执行 到此streampark已经搭建完成可以在web页面验证应用是否可以访问 登录账号 是否能创建 flink 搭建 执行 到此flink特搭建完毕
web是否可以访问 上述两个应用搭建成功之后一定要检查对应的应用的涉及到的端口网络权限是否都开启如果没有开启的话那么后续执行的任务的时候不会成功
创建同步mysql到doris任务
此任务是mysql表数据自动同步到doris的任务首先需要mysql和doris数据库的相关配置都知道其次是配置任务中的相关jar都有在同步过程中doris中对应的mysql表ddl是会自动创建的不需要人工介入可以节约同步几十上百张表时人工建表的字段映射的大量时间
streampark中创建任务 创建完任务执行启动 服务中指令启动同步任务
在flink目录执行此脚本 bin/flink run -Dexecution.checkpointing.interval10s -Dparallelism.default1 -c org.apache.doris.flink.tools.cdc.CdcTools /opt/streampark_workspace/workspace/100003/streampark-flinkjob_wuhuabiun.jar mysql-sync-database --database jd_carmax --mysql-conf hostname … --mysql-conf port3306 --mysql-conf username… --mysql-conf password… --mysql-conf database-namejd_carmax --including-tables “.*” --sink-conf fenodes…:2004 --sink-conf usernamewuhuabin --sink-conf password… --sink-conf jdbc-urljdbc:… :2000 --sink-conf sink.label-prefixlabel --table-conf replication_num3
执行完之后在flink ui中能看到对应的任务 doris数据验证
表ddl验证
登录doris数据库;
mysql表的ddl: 查询doris是否把表ddl都同步成功 mysql表ddl和doris中的表ddl一致
表数据量验证
doris表数据量 mysql表数据量 至此自运维mysql一键同步到doris的实战到此
作者京东零售 吴化斌
来源京东云开发者社区 转载请注明来源
