怎么建设淘宝客网站,软件设计师是干什么的,烟台高端网站开发,网站制作开发技术文章目录Spark 运行环境一、Local 模式1. 下载压缩包2.上传到服务器3. 解压4. 启动 Local 环境5. 命令行工具6. 退出本地模式7. 提交应用二、Standalone 模式1. 解压2. 修改配置文件1#xff09;进入解压缩后路径的 conf 目录#xff0c;复制 workers.template 文件为 worker…
文章目录Spark 运行环境一、Local 模式1. 下载压缩包2.上传到服务器3. 解压4. 启动 Local 环境5. 命令行工具6. 退出本地模式7. 提交应用二、Standalone 模式1. 解压2. 修改配置文件1进入解压缩后路径的 conf 目录复制 workers.template 文件为 workers2修改 workers文件添加 work 节点3复制 spark-env.sh.template 文件名为 spark-env.sh4修改 spark-env.sh 文件添加 JAVA_HOME 环境变量和集群对应的 master 节点5分发 spark-standalone 目录3. 启动集群1执行脚本命令2查看三台服务器运行进程3查看 Master 资源监控 Web UI 界面http://hadoop001:8080/4. 提交应用5. 提交参数说明6. 配置历史服务1修改 spark-defaults.conf.template 文件名为 spark-defaults.conf2启动 hadoop 集群3创建 directory 文件夹4修改 spark-default.conf 文件配置日志存储路径5修改 spark-env.sh 文件, 添加日志配置6分发配置文件7重新启动集群和历史服务8重新执行任务9查看历史服务http://hadoop001:180807. 配置高可用HA1启动HDFS2启动 Zookeeper3修改 spark-env.sh 文件添加如下配置4分发配置文件5启动集群6启动 hadoop002 的单独 Master 节点7提交应用到高可用集群8停止 Hadoop001的 Master 资源监控进程9查看 Hadoop002 的 Master 资源监控 Web UI稍等一段时间后Hadoop002节点的 Master 状态提升为活动状态Spark 运行环境
Spark 作为一个数据处理框架和计算引擎被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn不过逐渐容器式环境也慢慢流行起来。接下来我们就分别看看不同环境下 Spark 的运行 一、Local 模式
所谓的 Local 模式就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境一般用于教学调试演示等。
1. 下载压缩包
Spark官网 下载 Spark 安装包 点击下载 2.上传到服务器 3. 解压 4. 启动 Local 环境
1进入解压缩后的路径执行如下指令
bin/spark-shell2启动成功后可以输入网址进行 Web UI 监控页面访问 5. 命令行工具
在解压缩文件夹下的 data 目录中添加 a.txt 文件。 在命令行工具中执行如下代码指令
sc.textFile(data/a.txt).flatMap(_.split( )).map((_,1)).reduceByKey(__).collect6. 退出本地模式
按键 CtrlC 或输入 Scala 指令 7. 提交应用
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.2.3.jar \
101 --class 表示要执行程序的主类此处可以更换为咱们自己写的应用程序
2 --master local[2] 部署模式默认为本地模式数字表示分配的虚拟 CPU 核数量
3 spark-examples_2.12-3.0.0.jar 运行的应用类所在的 jar 包实际使用时可以设定为咱们自己打的 jar 包
4 数字 10 表示程序的入口参数用于设定当前应用的任务数量 二、Standalone 模式
local 本地模式毕竟只是用来进行练习演示的真实工作中还是要将应用提交到对应的集群中去执行这里我们来看看只使用 Spark 自身节点运行的集群模式也就是我们所谓的独立部署Standalone模式。Spark 的 Standalone 模式体现了经典的 master-slave 模式。 集群规划:
MasterWorkerhadoop001✅✅hadoop002❎✅hadoop003❎✅
1. 解压
同上
2. 修改配置文件
1进入解压缩后路径的 conf 目录复制 workers.template 文件为 workers 2修改 workers文件添加 work 节点 3复制 spark-env.sh.template 文件名为 spark-env.sh 4修改 spark-env.sh 文件添加 JAVA_HOME 环境变量和集群对应的 master 节点
export JAVA_HOME/export/servers/jdk1.8.0_161/
SPARK_MASTER_HOSThadoop001
SPARK_MASTER_PORT7077注意7077 端口相当于 hadoop3 内部通信的 8020 端口此处的端口需要确认自己的 Hadoop 配置
5分发 spark-standalone 目录
分发到hadoop002 分发到hadoop003 3. 启动集群
1执行脚本命令
sbin/start-all.sh2查看三台服务器运行进程 3查看 Master 资源监控 Web UI 界面http://hadoop001:8080/ 4. 提交应用
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop001:7077 \
./examples/jars/spark-examples_2.12-3.2.3.jar \
101–class 表示要执行程序的主类
2–master spark://hadoop001:7077 独立部署模式连接到 Spark 集群
3spark-examples_2.12-3.2.3.jar 运行类所在的 jar 包
4 数字 10 表示程序的入口参数用于设定当前应用的任务数量 执行任务时会产生多个 Java 进程 执行任务时默认采用服务器集群节点的总核数每个节点内存 1024M。 5. 提交参数说明
在提交应用中一般会同时一些提交参数
bin/spark-submit \
--class main-class
--master master-url \
... # other options
application-jar \
[application-arguments]参数解释可选值举例–classSpark 程序中包含主函数的类–masterSpark 程序运行的模式(环境)模式local[*]、spark://hadoop001:7077、Yarn–executor-memory 1G指定每个 executor 可用内存为 1G符合集群内存配置即可具体情况具体分析。–total-executor-cores 2指定所有executor使用的cpu核数为 2 个符合集群内存配置即可具体情况具体分析。–executor-cores指定每个executor使用的cpu核数application-jar打包好的应用 jar包含依赖。这个 URL 在集群中全局可见。 比如 hdfs:// 共享存储系统如果是file:// path那么所有的节点的path 都包含同样的 jar符合集群内存配置即可具体情况具体分析。application-arguments传给 main()方法的参数符合集群内存配置即可具体情况具体分析。
6. 配置历史服务
由于 spark-shell 停止掉后集群监控 hadoop001:4040 页面就看不到历史任务的运行情况所以开发时都配置历史服务器记录任务运行情况。
1修改 spark-defaults.conf.template 文件名为 spark-defaults.conf 2启动 hadoop 集群 3创建 directory 文件夹 集群查看 4修改 spark-default.conf 文件配置日志存储路径
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop001:9000/directory5修改 spark-env.sh 文件, 添加日志配置
export SPARK_HISTORY_OPTS
-Dspark.history.ui.port18080
-Dspark.history.fs.logDirectoryhdfs://hadoop001:9000/directory
-Dspark.history.retainedApplications30⚫ 参数 1 含义WEB UI 访问的端口号为 18080
⚫ 参数 2 含义指定历史服务器日志存储路径
⚫ 参数 3 含义指定保存 Application 历史记录的个数如果超过这个值旧的应用程序信息将被删除这个是内存中的应用数而不是页面上显示的应用数。
6分发配置文件 7重新启动集群和历史服务 8重新执行任务
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop001:7077 \
./examples/jars/spark-examples_2.12-3.2.3.jar \
109查看历史服务http://hadoop001:18080 7. 配置高可用HA
所谓的高可用是因为当前集群中的 Master 节点只有一个所以会存在单点故障问题。所以为了解决单点故障问题需要在集群中配置多个 Master 节点一旦处于活动状态的 Master发生故障时由备用 Master 提供服务保证作业可以继续执行。这里的高可用一般采用 Zookeeper 设置
集群规划:
MasterZookeeperWorkerhadoop001✅✅✅hadoop002✅✅✅hadoop003✅✅
1启动HDFS 2启动 Zookeeper 3修改 spark-env.sh 文件添加如下配置
注释如下内容
#SPARK_MASTER_HOSThadoop001
#SPARK_MASTER_PORT7077添加如下内容:
#Master 监控页面默认访问端口为 8080但是可能会和 Zookeeper 冲突所以改成 8989也可以自定义访问 UI 监控页面时请注意
SPARK_MASTER_WEBUI_PORT8989export SPARK_DAEMON_JAVA_OPTS
-Dspark.deploy.recoveryModeZOOKEEPER
-Dspark.deploy.zookeeper.urlhadoop001,hadoop002,hadoop003
-Dspark.deploy.zookeeper.dir/spark4分发配置文件 5启动集群 6启动 hadoop002 的单独 Master 节点 此时 hadoop002 节点 Master 状态处于备用状态 7提交应用到高可用集群
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop001:7077,hadoop002:7077 \
./examples/jars/spark-examples_2.12-3.2.3.jar \
10出现错误 错误原因没有启动Hadoop集群 8停止 Hadoop001的 Master 资源监控进程 9查看 Hadoop002 的 Master 资源监控 Web UI稍等一段时间后Hadoop002节点的 Master 状态提升为活动状态
