网站备案最多需要多久,织梦网站建设,无锡门户网站制作服务,十大跨界营销案例利用 Paimon Schema Evolution 核心特性同步变更的 postgresql 表结构和数据
1、背景信息
在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式 （1）人工消息通知，然后手动同步到数据仓库中（2）使用 flink 消费 DDL binlog ，然后自动更新 Hi…利用 Paimon Schema Evolution 核心特性同步变更的 postgresql 表结构和数据
1、背景信息
在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式
（1）人工消息通知，然后手动同步到数据仓库中（2）使用 flink 消费 DDL binlog ，然后自动更新 Hive 的外部表和内部表 schema 那现在，有了 Paimon ，我们可以利用其特性，自动识别并同步 DDL 这些变化2、软件版本
2.1、基础环境
Mac OS 10.15.6
Apache Hive 3.1.3
Apache Hadoop 3.1.0
Apache Flink 1.19.1
Apache Paimon 0.9.0
debezium 1.9.8(依赖 kafka 3.2.0)
Postgresql 14
mysql 8.02.2、flink 运行依赖第三方包
flink-connector-postgres-cdc-3.1.1.jar
flink-cdc-base-3.1
