营销网站建设大概费用,网站建设既有书籍又有光盘,公司网站建设注意什么,wordpress新主题tintSpark概述 Spark 可以在多种不同的运行模式下执行#xff0c;每种模式都有其自身的特点和适用场景。
部署Spark集群大体上分为两种模式#xff1a;单机模式与集群模式。大多数分布式框架都支持单机模式#xff0c;方便开发者调试框架的运行环境。但是在生产环境中#xff…Spark概述 Spark 可以在多种不同的运行模式下执行每种模式都有其自身的特点和适用场景。
部署Spark集群大体上分为两种模式单机模式与集群模式。大多数分布式框架都支持单机模式方便开发者调试框架的运行环境。但是在生产环境中并不会使用单机模式。
Spark目前支持的部署模式。 1Local模式在本地部署单个Spark服务 2Standalone模式Spark自带的任务调度模式。国内不常用 3YARN模式Spark使用Hadoop的YARN组件进行资源与任务调度。国内最常用 4Mesos模式Spark使用Mesos平台进行资源与任务的调度。国内很少用
1.Local 模式
在本地模式下Spark 将在单个 JVM 进程中运行通常用于开发、测试和小规模数据处理。在本地模式下Spark 不需要启动集群而是直接在本地计算机上执行任务。
2.YARN 模式常用 YARNYet Another Resource Negotiator 是 Apache Hadoop 的资源管理器可以用来在 Hadoop 集群上管理资源和调度任务。 Spark 可以作为 YARN 上的一个应用程序运行在 YARN 模式下Spark 将利用 YARN 来管理集群资源和调度任务。
在 Spark 中YARN 模式下有两种常见的运行模式yarn-client 和 yarn-cluster。它们的主要区别在于 Driver 程序的运行节点。
1yarn-client模式
在 yarn-client 模式下Driver 程序运行在提交 Spark 应用程序的客户端机器上。这意味着 Driver 程序直接与 YARN ResourceManager 通信并向其请求资源并启动 ApplicationMaster。一旦 ApplicationMaster 启动成功它会协调在 YARN 集群中启动的 Executor 进程并与它们通信以执行任务。
yarn-client 模式的优点是方便调试和监控因为 Driver 程序直接运行在客户端机器上可以直接查看其日志并与其交互。 然而由于 Driver 程序运行在客户端机器上它可能会成为性能瓶颈尤其是当客户端机器的资源有限时。
2yarn-cluster 模式
在yarn-cluster模式下Driver 程序运行在 YARN 集群中作为一个独立的应用程序。当用户提交 Spark 应用程序时Driver 程序会作为一个 YARN ApplicationMaster 启动在集群中并由 YARN ResourceManager 分配资源。一旦 ApplicationMaster 启动成功它会协调在集群中启动的 Executor 进程并与它们通信以执行任务。
yarn-cluster 模式的优点是可以更好地利用集群资源并且 Driver 程序不会成为单点故障。
因为 Driver 程序运行在集群中所以即使客户端机器宕机也不会影响 Spark 应用程序的执行。
但是调试和监控会稍微复杂一些因为 Driver 程序运行在集群中需要查看集群中的日志和监控信息。
yarn-client 模式适用于调试和监控要求较低、资源较为充足的情况而 yarn-cluster 模式适用于对资源利用率和容错性要求较高的情况。 3.Standalone 模式
Spark 的独立模式是一种简单的集群管理器可以用来在独立的 Spark 集群上运行应用程序。在这种模式下用户需要手动启动和管理 Spark 集群中的各个组件如主节点和工作节点。Standalone模式是Spark自带的资源调度引擎构建一个由Master Worker构成的Spark集群Spark运行在集群中。这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群不需要借助Hadoop的Yarn和Mesos等其他框架。
4.Apache Mesos 模式
Apache Mesos 是一个通用的集群管理器可以用来管理多种类型的工作负载包括 Spark 应用程序。在 Mesos 模式下Spark 可以作为 Mesos 上的一个框架运行利用 Mesos 提供的资源管理和调度功能来运行任务。Spark客户端直接连接Mesos不需要额外构建Spark集群。国内应用比较少更多的是运用Yarn调度。
