求网页设计网站,彩页设计公司,沈阳网站推广优化排名公司,wordpress内网外网访问不了spark的集群运行结构 我们要选择第一种使用方式
命令组成结构 spark-submit [选项] jar包 参数
standalone集群能够使用的选项。
--master MASTER_URL #集群地址
--class class_name #jar包中的类
--executor-memory MEM #executor的内存
--executor-cores NUM # executor的…spark的集群运行结构 我们要选择第一种使用方式
命令组成结构 spark-submit [选项] jar包 参数
standalone集群能够使用的选项。
--master MASTER_URL #集群地址
--class class_name #jar包中的类
--executor-memory MEM #executor的内存
--executor-cores NUM # executor的核数
--total-executor-cores NUM # 总核数 用spark-submit提交spark应用程序。 spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://nn1.hadoop:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
/usr/local/spark/examples/jars/spark-examples_2.12-3.1.2.jar \
100
参考
集群参数配置
--master MASTER_URL #集群地址
--class class_name #jar包中的类
--executor-memory MEM #executor的内存
--executor-cores NUM # executor的核数
--total-executor-cores NUM # 总核数
spark webUI Driver 运行 Application 的 main() 函数的节点提交任务并下发计算任务
Cluster Manager在standalone模式中即为Master主节点负责整个集群节点管理以及资源调度在YARN模式中为资源管理器
Worker节点上报自己节点的资源情况启动 和 管理 Executor
Executor执行器是为某个Application运行在worker节点上的一个进程负责执行task任务线程
Task被送到某个Executor上的工作单元跟MR中的MapTask和ReduceTask概念一样是运行Application的基本单位。
运行大概流程
1driver 端提交应用并向master申请资源
2Master节点通过RPC和Worker节点通信根据资源情况在相应的worker节点启动Executor 进程并将资源参数和Driver端的位置传递过来
3启动的Executor 进程 会主动与 Driver端通信Driver 端根据代码的执行情况产生多个task发送给Executor
4Executor 启动 task 做真正的计算每个Task 得到资源参数后对相应的输入分片数据执行计算逻辑
