佛山网站建设有限公司,注册公司地址可以用家庭地址,佛山百度网络推广,北京网站建设的引言
在数字化转型的浪潮中#xff0c;数据已成为企业最宝贵的资产之一。DataOps作为一种文化、流程和实践的集合#xff0c;旨在提高数据管道的质量和效率#xff0c;从而加速数据从源头到消费的过程。白鲸开源科技#xff0c;作为DataOps领域的领先开源原生公司#xf…
引言
在数字化转型的浪潮中数据已成为企业最宝贵的资产之一。DataOps作为一种文化、流程和实践的集合旨在提高数据管道的质量和效率从而加速数据从源头到消费的过程。白鲸开源科技作为DataOps领域的领先开源原生公司由Apache成员成立80%的员工都是Apache Committer主导着两个Apache顶级开源项目Apache DolphinScheduler和Apache SeaTunnel。这些项目在全球6000多家企业中得到实践和使用展现了DataOps的优势。
Apache DolphinScheduler云原生时代的高稳定可视化调度平台
Apache DolphinScheduler是一个云原生的可视化工作流调度平台它解决了企业级场景中的多个痛点如任务单元多、执行频率高、数据量和任务量大、存在依赖关系等。与传统的老旧调度引擎相比DolphinScheduler支持多任务类型、集群化部署与拓展去中心分布式设计高稳定可用开源数据组件更新升级频率高以及多云异构数据的管理能力。
特点
开源数据组件更新升级频率高保持技术栈的先进性。多云异构数据管理适应不同云环境和数据源的需求。任务稳定运行支持百万数据量级的任务稳定运行。
Apache SeaTunnel新一代实时多源数据同步工具——大数据高速公路
Apache SeaTunnel是一个实时多源数据同步工具支持上百种源数据库/地点和目标数据库/地点包括MySQL、PostgreSQL、Kafka、MongoDB、Elastic、Hive等。SeaTunnel的性能比原有解决方案快50%-2倍甚至在某些情况下快30倍。它支持批量数据全量、增量集成以及实时数据集成为大数据提供了高速公路。
特点
性能卓越SeaTunnel性能快50%-2倍某些情况下快30倍。数据同步与集成支持批量数据全量、增量集成以及实时数据集成。
WhaleStudio简介
WhaleStudio是白鲸开源科技根据全球最佳实践发布的商业版版本 调度模块产品功能
工作流编排能力
它支持各类计算任务组件如Amazon DMS、Amazon Datasync、Apache LinkisDataXSqoopSeaTunnel等以及各类云数据库和计算架构支持K8S、MLDB。平台采用插件式设计支持自由扩展数据源支持可视化的数据源管理大大减少了配置修改带来的工作量。 工作流基本配置包括标签设置、租户、牌、全局变量和超时告警。执行策略可以是并行、串行等待或串行优先。数据开发能力包括在线IDE集成实现DataOps。
数据开发能力
WhaleStudio可以实现在线 IDE 集成 实现 DataOps. 产品功能详解
SQL任务 在源中心创建数据源连接在任务中指定数据源在脚本中编写SQL语句支持读写混合和多行SQL支持设置多个前置SQL语句支持调试。 跨项目依赖任务 依赖检查任务跨工作流检查支持时间日期检查支持自循环检查依赖策略包括失败-继续和失败-等待。 资源中心 – git打通 Git文件功能允许用户将整个Git仓库作为资源文件上传到资源中心执行任务时下载脚本文件并提供更新接口。 数据任务血缘关系影响分析 工作流定义和任务定义的影响分析查看任务加工的影响深度和广度工作流实例和任务实例的影响分析。 源中心 统一管理所有数据源控制数据源的读写权限重要信息加密显示多种使用场景。 同步模块产品功能
WhaleTunnel支持160种数据源接口多种数据集成方式包括批量数据全量、增量集成和实时数据集成。它支持商业数据库实时CDC包括Mysql cdc、PostgreSQL cdc等。
离线同步任务定义
离线同步任务定义包括Source和SinkSource用来定义数据的来源Sink用来定义数据同步的目标。支持选择同步字段、全表同步、已有表结构处理、已有数据处理和保障数据一致性。 实时同步任务定义
实时同步任务定义包括创建数据源、Source和任务设置。支持历史数据阶段每次读取的行数、作业启动模式、在快照读取阶段读取增量日志并去重数据、并行度设置等。 数据转换及处理–Transform
WhaleTunnel提供多种数据转换节点可以在数据同步管道中对表属性或数据进行转换处理包括单列复制多列、单列拆分为多列、字段删除、字段重命名、字段值替换、数据变更处理、自定义sql脚本等。
Transform可适配实时同步中的DDL变更如根据表达式匹配的transform会自动对新增字段进行处理。
表DDL变更检查–刷新表元数据
WhaleTunnel支持对同步任务中配置的表进行表结构变更检查以获取尤其是离线同步任务中的表结构变化。支持主动批量检查发现表结构变更和定时批量检查发现表结构变更。 实时数据同步支持DDL变更触发暂停、报警以及延迟告警
实时数据处理支持多种实时数据监测处理包括DDL变更暂停、DDL变更告警、DDL暂停加表、DDL手工处理等。
产品功能
数据质量校验
数据质量支持多种数据源包括正则表达式、表行数校验、两表值比对、空值检测、使用Spark实现、及时性校验、多表准确性、字段长度校验、枚举值校验、自定义SQL、唯一性校验。 数据质量场景
数据质量比对类型包括两表值比对场景如计算语文成绩详情表yunwen_list所有人的总分和成绩汇总表chengji中语文总成绩两者差值在1分以内否则就阻断工作流执行。 Demo
下面是一个Demo详细演示如何从Aurora CDC实时数据同步到Redshift
https://www.bilibili.com/video/BV19zq2YpEFd/ src//player.bilibili.com/player.html?isOutsidetrueaid113632822167469bvidBV19zq2YpEFdcid27285128673p1 scrollingno border0 frameborderno framespacing0 allowfullscreentrue
结语
Apache DolphinScheduler和Apache SeaTunnel作为全球领先的开源原生DataOps平台不仅提供了强大的数据集成和调度能力还通过其商业版本WhaleStudio帮助企业智能化地完成多数据源、多云及信创环境的数据集成、数据开发、工作流编排运维及部署、数据质量管控、团队敏捷协作等一系列问题。这些工具的全球应用案例证明了它们在数据集成领域的创新和领导地位。随着技术的不断进步和企业需求的日益增长DataOps将继续引领数据管理的未来。 本文由 白鲸开源科技 提供发布支持
