移动网站性能,北京网站制作招聘网,宁阳网站建设价格,WordPress文章生成图片本文属于【Azure 架构师学习笔记】系列。 本文属于【Azure Data Factory】系列。 接上文【Azure 架构师学习笔记】-Azure Data Factory (4)-触发器详解-事件触发器 前言
Azure Data Factory#xff0c; ADF 是微软Azure 的ETL 首选服务之一#xff0c; 是Azure data platfor… 本文属于【Azure 架构师学习笔记】系列。 本文属于【Azure Data Factory】系列。 接上文【Azure 架构师学习笔记】-Azure Data Factory (4)-触发器详解-事件触发器 前言
Azure Data Factory ADF 是微软Azure 的ETL 首选服务之一 是Azure data platform中的一种PaaS 托管的 Serverless的服务。通过把ETL功能封装在各种类型的Pipeline中并按需执行从而实现数据的传输和转换。 我们常说的ADF准确的叫法是ADF instance 常规用法是搭配装有Self-hosted integration runtime(SHIR) 服务的VM进行源和目的地之间的数据传输 但是也支持不用SHIR 的情况就是使用自带的Azure IR 由于ADF 本身并不能完全实现所有功能或者没有必要重复造轮子所以很多时候ADF 是通过某些特定的activity去调用外部服务完成一些需要更加专业的服务才能实现的功能。比如借助Databricks activity调用Azure Databricks来实现数据科学方面的需求。 除此之外上面提到的SHIR 有自身的限制它主要支持ADF 里面的copy 活动简单来说就是实现ETL中的E 和L 部分如果需要实现T 那么就要用到ADF 里面其他的activity这些activity大部分都不支持SHIR 需要使用Azure Integration Runtime Azure IR/AIR) 来实现。 简而言之 SHIR- Copy data活动 Azure IR- Data Flow 活动。 如下图所示 Data Flow
Data Flow 活动和Copy Data活动在使用方面大同小异只是Data Flow能支持更多的功能它们其中一个明显的区别就在于Integration Runtime上。前面提到SHIR 和AIRSHIR通过把服务安装在Windows VM上从而搭建一个对外操作的桥梁。而Azure IRAIR则借助Azure自己的IR 来操作这个AIR 有个缺点就是只能操作Azure内的资源如果要访问外部则需要使用SHIR 或者第三种不常用的IRSSIS IR。 如下图所示当使用Data Flow时可以选的都是AIR ADF 有个默认的AutoResolveIntgrationRuntime的AIR 也可以自己创建如下面的Managed Virtual Network。 然后选择Compute Size也就是集群大小。顺带说一句AIR 底层就是使用Azure Databricks的集群来进行运算。 当然当你浏览下图中其他活动时可以从箭头放下去查看对应的可选IR 每个活动都有一些不一样的配置。
Data Flow注意事项
费用
由于Data Flow使用AIR 也就是Databricks 集群一旦使用了集群费用就是一个关键点。集群如果选择不对或者没有在闲时及时关闭那么扣费相当可观。本人就见过几百美金一夜用光的情况。
由于Data Flow集群用的是ADB的集群所以跟Databricks的配置类似不需要用的时候及时停掉这样可以很大程度降低费用。
安全性
由于Data Flow使用AIR 而AIR 默认通过公网访问Azure内的资源所以从企业级应用而言并不安全这就要对这个链接进行改造可以参考我的另外一篇文章【Azure 架构师学习笔记】-Azure Data Factory (5)-Managed VNet
