宁波北仑网站建设,移动网站 做优化,装修室内设计效果图,毕业设计网站开发题目利用 Paimon Schema Evolution 核心特性同步变更的 mysql 表结构和数据
1、背景信息
在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式 （1）人工通知（比如常规的使用邮件），然后运维人员手动同步到数据仓库中 （2）使用 flink 消费 DDL bi…利用 Paimon Schema Evolution 核心特性同步变更的 mysql 表结构和数据
1、背景信息
在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式 （1）人工通知（比如常规的使用邮件），然后运维人员手动同步到数据仓库中 （2）使用 flink 消费 DDL binlog ，然后自动更新 Hive 的外部表和内部表 schema 那么现在，有了 Paimon ，我们可以利用其特性，自动识别并同步 DDL 这些变化，并同步至 hive 的 paimon 格式表中。这种方式的优点：
1、数据链路变短，更可靠
2、降低开发、维护成本
3、降低了数据集成调度资源和计算资源的使用成本2、软件版本
Mac OS 10.15.6
Apache Hive 3.1.3
Apache Hadoop 3.1.0
Apache Flink 1.19.1
Apache Paimon 0.9.0
Mysql 8.0
flink-sql-connector-mysql-cdc-3.1.1.jar
mysql-connector-java-8.0.27.jar
paimon-flink
