做律师网站的网络公司,wordpress建立cms,滨州做网站建设,做网站编辑校对我们通常在学习的时候需要掌握大数据组件的原理以便更好的掌握这个大数据组件#xff0c;Flink实际生产开发过程中最常见的就是提交到yarn上进行调度#xff0c;模式使用的Per-Job模式#xff0c;下面我们就给大家讲下Flink提交Per-Job任务到yarn上的流程#xff0c;流程图…我们通常在学习的时候需要掌握大数据组件的原理以便更好的掌握这个大数据组件Flink实际生产开发过程中最常见的就是提交到yarn上进行调度模式使用的Per-Job模式下面我们就给大家讲下Flink提交Per-Job任务到yarn上的流程流程图如下 1客户端将作业提交给 YARN 的资源管理器这一步中会同时将 Flink 的 Jar 包和配置 上传到 HDFS以便后续启动 Flink 相关组件的容器。 2YARN 的资源管理器分配 Container 资源启动 Flink JobManager并将作业提交给 JobMaster。 3JobMaster 向资源管理器请求资源slots。 4资源管理器向 YARN 的资源管理器请求 container 资源。 5YARN 启动新的 TaskManager 容器。 6TaskManager 启动之后向 Flink 的资源管理器注册自己的可用任务槽。 7资源管理器通知 TaskManager 为新的作业提供 slots。 8TaskManager 连接到对应的 JobMaster提供 slots。 9JobMaster 将需要执行的任务分发给 TaskManager执行任务。
