唐河网站制作公司,制作网站软件哪个好,wordpress私信,山西城乡与住房建设厅网站Spark架构图 Driver#xff1a; 解析用户的应用程序代码#xff0c;转化为作业(job)。创建SparkContext上下文对象#xff0c;其负责与资源管理器(ClusterManager)通信#xff0c;进行资源的申请、任务的分配和监控等。跟踪Executor的执行情况。可通过UI界面查询运行情况。…Spark架构图 Driver 解析用户的应用程序代码转化为作业(job)。创建SparkContext上下文对象其负责与资源管理器(ClusterManager)通信进行资源的申请、任务的分配和监控等。跟踪Executor的执行情况。可通过UI界面查询运行情况。 Cluster Manager Cluster Manager负责管理集群资源的分配。常用的Cluster Manager有Standalone模式、YARN和Mesos。它负责从集群中的节点上获取计算资源并监控资源使用情况。 Executors Executors是实际执行任务的工作进程运行在集群节点上。每个Executor负责执行任务并存储数据。向Driver节点注册并反馈任务执行状态。 Tasks 运行在Executor上的最小计算单元。 Spark运行流程图 当执行一个Spark Application时整个过程如下 Driver初始化 应用程序的main函数由Driver执行Driver创建一个SparkContext。SparkContext负责与集群管理器通信申请资源并协调任务的分配和监控。 资源申请与Executor启动 SparkContext向集群管理器注册并申请资源具体来说申请运行Executor的计算资源。集群管理器根据资源情况为Executor分配资源并启动相应的Executor进程。启动的Executor会定期向集群管理器汇报自己的运行状态。 DAG图构建与任务调度 SparkContext根据程序中的RDD依赖关系构建一个**DAG有向无环图**图。DAG图提交给DAGScheduler进行解析DAGScheduler将图分解成多个Stage。每个Stage由多个任务组成这些任务被打包成TaskSet然后提交给TaskScheduler进行调度。 任务执行与结果返回 TaskScheduler将任务分发到Executor执行同时SparkContext将应用程序代码发送给Executor。任务执行结束后Executor将计算结果返回给Driver或将结果写入HDFS、数据库等外部存储。运行完毕后释放所有资源。
