肇庆企业自助建站系统,郴州网站建设解决方案,用邮箱做网站,综合性门户网站有一、简介 DBSyncer(英[dbsɪŋkɜː(r)]#xff0c;美[dbsɪŋkɜː(r) 简称dbs)是一款开源的数据同步中间件#xff0c;提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务#xff0c;提供监控全量… 一、简介 DBSyncer(英[dbsɪŋkɜː(r)]美[dbsɪŋkɜː(r) 简称dbs)是一款开源的数据同步中间件提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务提供监控全量和增量数据统计图、应用性能预警等。 二、安装 临时启动 docker run -d --name dbsyncer -p 18686:18686 crazylife/dbsyncer-web:latest 拷贝数据 mkdir -p /data/dbsyncer docker cp dbsyncer:/app /data/dbsyncer/ 设置文件权限 chmod 777 -R /data/dbsyncer 正式启动 docker run -d \ --name dbsyncer \ -p 18686:18686 \ -e TZAsia/Shanghai \ -v /data/dbsyncer/app:/app \ crazylife/dbsyncer-web:latest 三、配置mysql表实时同步 访问web页面 http://192.168.10.13:18686 默认用户名密码都是admin 登录之后效果如下 接下来要实现将mid_test库下的表players同步到dms_test库下的表players2 点击添加链接 选择类型为MySQL 名称dev-dms-mid_test 账号root 密码*** URL这里要注意修改为mysql地址以及数据库名 最后点击保存 然后再添加驱动dev-dms-dms_test 点击添加驱动 数据源选择dev-dms-mid_test 目标源选择dev-dms-dms_test 名称test1 点击上面的保存 点击增量同步注意全量同步是一次性任务因此后续的表修改不会同步所以这里必须选增量同步。 数据源表选择players 目标源表选择players2 点击添加 高级设置保持默认即可点击保存按钮 点击齿轮图标 点击运行 这里会出现运行中总数会显示这个数字会动态显示挺不错的。 四、测试数据写入 使用python脚本直接写入1万条数据 import pymysql# 替换为您的数据库信息
connection pymysql.connect(hostmysql-xxx.mysql.database.aliyun.com,port3306,userroot,password***,databasemid_test,charsetutf8mb4,cursorclasspymysql.cursors.DictCursor)try:with connection.cursor() as cursor:for i in range(0,10000):# SQL 插入语句sql insert into players (player_id,team_id,player_name,height) values (200%s,200%s,韦德%s,1%s);%(i,i,i,i)print(sql)cursor.execute(sql)# 提交事务connection.commit()# print(connection.__dict__)
except pymysql.MySQLError as e:print(e)
finally:connection.close()执行脚本效果如下 上面的也会动态显示数字同步1万条 注意增量同步支持表数据的增删改查但是不支持DDL语句比如修改表结构添加索引截断表等操作。
