我要外包网站,滨海网站建设公司,兰州关键词优化排名,西城区网站建设基本概念
OceanBase迁移服务#xff08;#xff0c;简称OMS#xff09;#xff0c;可以让用户在同构或异构 RDBMS 与OceanBase 数据库之间进行数据交互#xff0c;支持数据的在线迁移#xff0c;以及实时增量同步的复制功能。
OMS 提供了可视化的集中管控平台#xff…基本概念
OceanBase迁移服务简称OMS可以让用户在同构或异构 RDBMS 与OceanBase 数据库之间进行数据交互支持数据的在线迁移以及实时增量同步的复制功能。
OMS 提供了可视化的集中管控平台通过简单的配置用户即可完成数据的实时迁移且对源数据库和业务系统的影响开销可忽略不计。OMS 旨在帮助用户以最低的风险、极小的开销和最高的效率实现同构/异构数据库向 OceanBase 数据库进行实时数据迁移和数据同步。OMS 社区版支持数据迁移功能您可以通过该功能实时进行 MySQL 数据库与 OceanBase 社区版之间的数据迁移以及 OceanBase 社区版与 OceanBase 社区版之间的数据迁移。
同时通过 OMS 用户可以在不停服的情况下无缝将数据迁移到 OceanBase 数据库上。在业务应用切换数据库到 OceanBase 数据库前OMS 可以启用反向数据同步链路再执行应用切换到 OceanBase 数据库重新建立主备关系此时所有在切换后发生在 OceanBase 数据库上的数据变更都将实时同步至切换前的源端数据库以此来应对紧急回切的需求场景最大程度的降低业务迁移风险助力企业用户构建高可用和高可靠的数据体系架构。 测试目的
本节主要测试 OceanBase 数据库不同租户之间的数据同步。当迁移的源端数据库为 OceanBase 时会通过 OCP 获取相关信息所以需要关联 OCP。OMS 社区版会通过 JDBC 直连 OCP 的元信息库来查询数据迁移流程中需要使用的信息然后发送数据给目标端 OceanBase 租户。该方法同样也适用于 MySQL 与 OceanBase 以及 OceanBase 与 OceanBase 之间的数据同步。 前提条件
1、 已部署 OCP 社区版 3.3.0详细操作请参见 OCP 部署指南。
2、 已部署 OMS 社区版 3.3.0详细操作请参见 OMS 部署指南。
3、部署待迁移的 OceanBase 集群含 OBProxy必须使用 OCP 接管或创建。详细操作请参见 创建集群 和 使用 OCP 接管 OBD 部署的集群。 数据同步测试
环境准备
1、登录 OCP使用 OCP 为待迁移的集群创建租户、数据库及迁移所用的用户。具体操作请参见管理租户。
租户数据库用户备注test1test_oms_1oms源端1test2test_oms_2oms源端2test3test_oms_3oms目标端
2、登录 OMS 社区版控制台。
3、关联 OCP。 当 OMS 社区版的运行涉及 OceanBase 数据源时会通过 OCP 获取相关信息所以需要关联 OCP。具体操作请参见 关联 OCP。添加完成后可在关联 OCP 页面中看到已关联的 OCP。 4、添加 OceanBase 社区版数据源源端和目标端具体操作请参见 添加 OceanBase-CE 数据源添加完成后可在数据源管理中看到已添加的数据源列表。 测试一
测试目的测试能否正常将租户 test1 表 t1 的数据和租户 test2 表 t2 的数据分别迁移至租户 test3 的表 t1 和 表 t2 中。 测试步骤
全量迁移在 OMS 社区版中创建两个迁移项目将源端租户 test1 和租户 test2 的全量数据迁移至目标端租户 test3 中。增量同步在源端租户 test1 的表 t1 和租户 test2 的表 t2 中进行 insert、delete、update查看目标端租户 test3 的表 t1 和 表 t2 数据的变化。反向增量同步正常增量同步完成后开启租户 test3 到 租户 test1 的反向增量同步。在目标端租户 test3 的表 t1 中进行 insert、delete、update查看源端租户 test1 的表 t1 数据的变化。
租户数据库用户表备注test1test_oms_1omst1源端1test2test_oms_2omst2源端2test3test_oms_3omst1t2目标端 1、在客户端使用 oms 用户分别登录租户 test1 和 test2创建表 t1 和 t2。 obclient -hxxx.xxx.xxx.xxx -P2883 -uomstest1#testoms -pXXX -A test_oms_1CREATE TABLE t1 (
id int NOT NULL,
name varchar(45) DEFAULT NULL,
remark varchar(45) DEFAULT NULL,
PRIMARY KEY (id)
) CHARSETutf8mb4;MySQL [test_oms_1] insert into t1(id,name,remark) values(10,aa,test10);
MySQL [test_oms_1] insert into t1(id,name,remark) values(11,bb,test11);
MySQL [test_oms_1] select * from t1;
------------------
| id | name | remark |
------------------
| 10 | aa | test10 |
| 11 | bb | test11 |
------------------
2 rows in set (0.002 sec)obclient -hxxx.xxx.xxx.xxx -P2883 -uomstest2#testoms -pXXX -A test_oms_2CREATE TABLE t2 (
id int NOT NULL,
name varchar(45) DEFAULT NULL,
remark varchar(45) DEFAULT NULL,
PRIMARY KEY (id)
) CHARSETutf8mb4;MySQL [test_oms_2] insert into t2(id,name,remark) values(20,aa,test20);
MySQL [test_oms_2] insert into t2(id,name,remark) values(21,bb,test21);
Query OK, 1 row affected (0.002 sec)MySQL [test_oms_2] select * from t2;
------------------
| id | name | remark |
------------------
| 20 | aa | test20 |
| 21 | bb | test21 |
------------------
2 rows in set (0.002 sec)2、创建数据迁移项目具体操作请参见 数据迁移。 2.1、选择源节点和目标节点这里选择源端1和目标端即源端租户 test1 和目标端租户 test3。 2.2、选择要迁移的源端数据库表单击“”添加至目标端对象中默认生成与源端相同的表名也可以进行重命名。 2.3、启动任务之后可以看到任务的基本信息及迁移步骤详情。 2.4、同理继续创建第二迁移项目源端租户 test2 和目标端租户 test3创建完成后可在迁移项目列表中查看添加的项目。 3、验证迁移结果 3.1、全量迁移验证
登录目标端租户 test3 查看全量迁移的结果。可以看到 test1 租户的表 t1和 test2 租户表 t2 已经迁移成功。 [admin126 ~]$obclient -hxxx.xxx.xxx.xxx -P2883 -uomstest3#testoms -pXXX -A test_oms_3MySQL [test_oms_3] show tables;
----------------------
| Tables_in_test_oms_3 |
----------------------
| t1 |
| t2 |
----------------------
2 rows in set (0.001 sec)MySQL [test_oms_3] select * from t1;
------------------
| id | name | remark |
------------------
| 10 | aa | test10 |
| 11 | bb | test11 |
------------------
2 rows in set (0.001 sec)MySQL [test_oms_3] select * from t2;
------------------
| id | name | remark |
------------------
| 20 | aa | test20 |
| 21 | bb | test21 |
------------------
2 rows in set (0.001 sec) 3.2、增量同步验证
分别在源端租户 test1 的表 t1 和租户 test2 的表 t2 中插入一条数据在目标端租户 test3 中查看数据同步的结果。可以看到新插入的数据已被同步过来。
MySQL [test_oms_1] insert into t1(id,name,remark) values(12,cc,test12);
MySQL [test_oms_2] insert into t2(id,name,remark) values(22,cc,test22);MySQL [test_oms_3] select * from t1;
------------------
| id | name | remark |
------------------
| 10 | aa | test10 |
| 11 | bb | test11 |
| 12 | cc | test12 |
------------------
3 rows in set (0.000 sec)MySQL [test_oms_3] select * from t2;
------------------
| id | name | remark |
------------------
| 20 | aa | test20 |
| 21 | bb | test21 |
| 22 | cc | test22 |
------------------
3 rows in set (0.001 sec)MySQL [test_oms_3] 在源端租户 test1 的表 t1 中修改一条数据在目标端租户 test3 中查看数据同步的结果。可以看到修改的数据已被同步过来。 MySQL [test_oms_1] update t1 set name dd where id 12;MySQL [test_oms_3] select * from t1;
------------------
| id | name | remark |
------------------
| 10 | aa | test10 |
| 11 | bb | test11 |
| 12 | dd | test12 |
------------------
3 rows in set (0.000 sec) 在源端租户 test2 的表 t2 中删除一条数据在目标端租户 test3 中查看数据同步的结果可以看到 id 20的数据被删除。 MySQL [test_oms_2] delete from t2 where id 20;MySQL [test_oms_3] select * from t2;
------------------
| id | name | remark |
------------------
| 21 | bb | test21 |
| 22 | cc | test22 |
------------------
2 rows in set (0.000 sec)3.3、反向增量验证
以租户 test3 反向增量迁移至租户 test1 为例进行反向增量同步前请确认正向增量同步已完成
全量校验完成后单击【进入下一阶段】进行正向切换。 注意启动正向切换前请确保源端数据源为即将停写或者已经停写状态。 反向增量任务启动成功后在目标端租户 test3 的表 t3 中插入一条数据在源端租户 test1 中查看数据反向同步的结果。可以看到新插入的数据已被反向同步过来。 MySQL [test_oms_3] select * from t1;
------------------
| id | name | remark |
------------------
| 10 | aa | test10 |
| 11 | bb | test11 |
| 12 | dd | test12 |
------------------
3 rows in set (0.003 sec)MySQL [test_oms_3] insert into t1(id,name,remark) values(14,ee,test14);MySQL [test_oms_1] select * from t1;
------------------
| id | name | remark |
------------------
| 10 | aa | test10 |
| 11 | bb | test11 |
| 12 | dd | test12 |
| 14 | ee | test14 |
------------------
4 rows in set (0.000 sec) 在目标端租户 test3 的表 t1 中修改一条数据在源端租户 test1 中查看数据同步的结果。可以看到id 10数据已被删除。 MySQL [test_oms_3] delete from t1 where id 10;MySQL [test_oms_1] select * from t1;
------------------
| id | name | remark |
------------------
| 11 | bb | test11 |
| 12 | dd | test12 |
| 14 | ee | test14 |
------------------
3 rows in set (0.000 sec) 测试二
测试目的测试能否正常将租户 test1 和租户 test2 中两张结构相同的表迁移至租户 test3 的一张表中。 测试步骤
全量迁移在 OMS 社区版中创建两个迁移项目将源端租户 test1 和租户 test2 的全量数据迁移至目标端租户 test3 中。增量同步在源端租户 test1 的表 t3 和租户 test2 的表 t3 中进行 insert、delete、update查看目标端租户 test3 的表 t3 数据的变化。 测试结果
同时将两个相同结构的表往另一张表汇总时在进行全量迁移的过程中若存在 id 相同的数据后迁移的数据不会被同步过来会导致后迁移的数据丢失。但是在增量同步的过程中若插入的 id 相同则后表插入的数据会覆盖前表插入的数据导致前表插入的数据丢失。
租户数据库用户表备注test1test_oms_1omst3源端1test2test_oms_2omst3源端2test3test_oms_3omst3目标端 1、在客户端使用 oms 用户分别登录租户 test1 和 test2创建表 t3。
obclient -hxxx.xxx.xxx.xxx -P2883 -uomstest1#testoms -pXXX -A test_oms_1CREATE TABLE t3 (
id int NOT NULL,
name varchar(45) DEFAULT NULL,
remark varchar(45) DEFAULT NULL,
PRIMARY KEY (id)
) CHARSETutf8mb4;MySQL [test_oms_1] insert into t3(id,name,remark) values(010,aa,r1);
MySQL [test_oms_1] insert into t3(id,name,remark) values(011,bb,r2);MySQL [test_oms_1] select * from t3;
------------------
| id | name | remark |
------------------
| 10 | aa | r1 |
| 11 | bb | r2 |
------------------
2 rows in set (0.002 sec)obclient -hxxx.xxx.xxx.xxx -P2883 -uomstest2#testoms -pXXX -A test_oms_2CREATE TABLE t3 (
id int NOT NULL,
name varchar(45) DEFAULT NULL,
remark varchar(45) DEFAULT NULL,
PRIMARY KEY (id)
) CHARSETutf8mb4;MySQL [test_oms_1] insert into t3(id,name,remark) values(010,zz,r3);
MySQL [test_oms_1] insert into t3(id,name,remark) values(012,yy,r4);MySQL [test_oms_2] select * from t3;
------------------
| id | name | remark |
------------------
| 10 | zz | r3 |
| 12 | yy | r4 |
------------------
2 rows in set (0.002 sec) 2、创建租户 test1 至 租户test3 的数据迁移项目具体操作请参见 数据迁移。 3、创建租户 test2 至 租户test3 的数据迁移项目。
3.1、选择源节点和目标节点这里选择源端2和目标端即源端租户 test2 和目标端租户 test3。 3.2、选择要迁移的源端数据库表单击“”添加至目标端对象中默认生成与源端相同的表名也可以进行重命名。 3.3、配置迁移选项这里注意在高级配置中允许全量迁移目标表非空因为前面已经创建了租户 test1 表1 至 test3 表 t3 的迁移项目项目启动后目标表非空。 3.4、租户 test1 表1 至 test3 表 t3 的迁移项目已经在租户 test3 中创建了表 t3此时不需要再创建表因此可直接跳过结构迁移再单击右上角的“恢复”继续进行下一步。 创建完成后可在迁移项目列表中查看到已创建的迁移项目。 4、验证迁移结果 4.1、全量迁移验证
登录目标端租户 test3 查看全量迁移的结果。可以看到租户 test2 中 id 10 因为和 租户 test1 中的 id 相同导致数据未被迁移过来。在项目详情的全量校验中也可以看到数据不一致的提示。 MySQL [test_oms_3] select * from t3;
------------------
| id | name | remark |
------------------
| 10 | aa | r1 |
| 11 | bb | r2 |
| 12 | yy | r4 |
------------------
3 rows in set (0.001 sec) 3.2、增量同步验证
分别在源端租户 test1 的表 t3 和租户 test2 的表 t3 中插入一条数据在目标端租户 test3 中查看数据同步的结果。可以看到新插入的数据已被同步过来。
MySQL [test_oms_1] insert into t3(id,name,remark) values(013,cc,r5);
MySQL [test_oms_2] insert into t3(id,name,remark) values(014,xx,r6);MySQL [test_oms_3] select * from t3;
------------------
| id | name | remark |
------------------
| 10 | aa | r1 |
| 11 | bb | r2 |
| 12 | yy | r4 |
| 13 | cc | r5 |
| 14 | xx | r6 |
------------------
5 rows in set (0.001 sec)分别在源端租户 test1 的表 t1 和租户 test2 的表 t2 中插入一条 id 相同的数据在目标端租户 test3 中查看数据同步的结果。可以看到当 id 相同时后插入的数据会覆盖前插入的数据。
MySQL [test_oms_1] insert into t3(id,name,remark) values(015,dd,r7);
MySQL [test_oms_3] select * from t3;
------------------
| id | name | remark |
------------------
| 10 | aa | r1 |
| 11 | bb | r2 |
| 12 | yy | r4 |
| 13 | cc | r5 |
| 14 | xx | r6 |
| 15 | dd | r7 |
------------------
6 rows in set (0.001 sec)MySQL [test_oms_2] insert into t3(id,name,remark) values(015,ww,r8);
MySQL [test_oms_3] select * from t3;
------------------
| id | name | remark |
------------------
| 10 | aa | r1 |
| 11 | bb | r2 |
| 12 | yy | r4 |
| 13 | cc | r5 |
| 14 | xx | r6 |
| 15 | ww | r8 |
------------------
6 rows in set (0.000 sec)
在源端租户 test1 的表 t3 中修改一条数据在目标端租户 test3 中查看数据同步的结果。可以看到修改的数据已被同步过来。
MySQL [test_oms_1] update t3 set remarktest1 where id 10;
MySQL [test_oms_3] select * from t3;
------------------
| id | name | remark |
------------------
| 10 | aa | test1 |
| 11 | bb | r2 |
| 12 | yy | r4 |
| 13 | cc | r5 |
| 14 | xx | r6 |
| 15 | ww | r8 |
------------------
6 rows in set (0.001 sec)
在源端租户 test2 的表 t3 中删除一条数据在目标端租户 test3 中查看数据同步的结果可以看到 id 12 的数据已被删除。
MySQL [test_oms_2] delete from t3 where id 12;
MySQL [test_oms_3] select * from t3;
------------------
| id | name | remark |
------------------
| 10 | aa | test1 |
| 11 | bb | r2 |
| 13 | cc | r5 |
| 14 | xx | r6 |
| 15 | ww | r8 |
------------------
5 rows in set (0.000 sec)
