做er图的网站,网站建设公司宣传册,网站模板织梦,wordpress 代码格式化Apache SeaTunne简介 文章目录 1.Apache SeaTunne是什么#xff1f;1.1[官网](https://seatunnel.apache.org/)1.2 项目地址 2.架构3.特性3.1 丰富且可扩展的连接器和插件机制3.2 支持分布式快照算法以确保数据一致性3.3 支持流、批数据处理#xff0c;支持全量、增量和实时数…Apache SeaTunne简介 文章目录 1.Apache SeaTunne是什么1.1[官网](https://seatunnel.apache.org/)1.2 项目地址 2.架构3.特性3.1 丰富且可扩展的连接器和插件机制3.2 支持分布式快照算法以确保数据一致性3.3 支持流、批数据处理支持全量、增量和实时数据集成处理3.4 多引擎支持3.5 JDBC多路复用3.5 高吞吐量和低延迟3.6 完善的实时监控3.7 支持两种作业开发方法:编码和画布设计 4.支持引擎对比5.数据集成工具对比6.官方好文分享7.总结 1.Apache SeaTunne是什么 Apache SeaTunne(前身 Waterdrop,2021 年 10 月更名为 SeaTunnel 并申请加入 Apache孵化器) 是一个分布式、高性能、易扩展、用于海量数据离线 实时同步和转化的数据集成平台。
1.1官网
https://seatunnel.apache.org/1.2 项目地址
https://github.com/apache/seatunnel
https://github.com/apache/seatunnel#apache-seaTunnel-web-project2.架构 架构的核心思想就是
input—transform—output
输入 - 转换 - 输出
3.特性
3.1 丰富且可扩展的连接器和插件机制 SeaTunnel提供了一个不依赖于特定执行引擎的连接器API。基于此API开发的连接器(Source, Transform, Sink)可以在许多不同的引擎上运行例如当前支持的SeaTunnel Engine, Flink和Spark,插件设计允许用户轻松开发自己的连接器并将其集成到SeaTunnel项目中。目前SeaTunnel支持100多个连接器而且这个数字还在飙升。
3.2 支持分布式快照算法以确保数据一致性
3.3 支持流、批数据处理支持全量、增量和实时数据集成处理 基于SeaTunnel Connector API开发的连接器完美兼容离线同步、实时同步、全同步、增量同步等场景。它们大大降低了管理数据集成任务的难度
3.4 多引擎支持 SeaTunnel默认使用SeaTunnel引擎进行数据同步。SeaTunnel还支持使用Flink或Spark作为连接器的执行引擎以适应企业现有的技术组件。SeaTunnel支持多个版本的Spark和Flink
3.5 JDBC多路复用 数据库日志多表解析:SeaTunnel支持多表或整个数据库同步解决了JDBC过度连接的问题;支持多表或全数据库的日志读取和解析解决了CDC多表同步场景需要处理日志重复读取和解析的问题
3.5 高吞吐量和低延迟 SeaTunnel支持并行读写提供稳定可靠的高吞吐量和低延迟的数据同步能力
3.6 完善的实时监控 SeaTunnel支持对数据同步过程中每一步的详细监控信息让用户轻松了解同步任务读写的数据数量、数据大小、QPS等信息。
3.7 支持两种作业开发方法:编码和画布设计 可视化界面操作集成作业管理:SeaTunnel web项目seatunnel-web提供了作业、调度、运行和监控功能的可视化管理 以上是我总结的关于Apache SeaTunne的主要特性官方还有详细的说明可以参看官方文档
4.支持引擎对比 Apache SeaTunne默认使用的是自研的SeaTunne Zeta引擎还支持Spark、Flink计算引擎 5.数据集成工具对比 Apache SeaTunne和Apache StreamPark可以说是平台而DataX和Chunjun只能说是工具。
6.官方好文分享
基于 SeaTunnel 构建 CDC 流式应用
https://mp.weixin.qq.com/s/3G_8JhePUexvuX1acV7dvgApache SeaTunnel Web部署指南
https://mp.weixin.qq.com/s/eNWGP_09Oh4pHdoQkmGPzg基于Apache SeaTunnel 的数据精确一致性技术实践
https://mp.weixin.qq.com/s/cn9QCS-o8fYkilPHUoT_9gSeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比
https://mp.weixin.qq.com/s/ayQIz7ImOI_IhaOmMB5pnA从 0 到 1 快速入门 Apache SeaTunnel 新一代数据集成平台的原理和实践
https://mp.weixin.qq.com/s/i631_RTIuTBAvsOeow0F7Q7.总结 本文使用简短精炼的文字向大家介绍了Apache SeaTunne相信通过本文对Apache SeaTunne有了跟多的认识后面的文章会向大家分享在CentOs7.x上部署遇到的坑和windows10电脑上本地构建Apache SeaTunne运行mysql-jdb to mysql-jdbc的单表同步的demo以及断点调试欣赏Apache SeaTunne的源码和牛皮的设计思想希望我的分享对你有所帮助请一键三连么么么哒
