广州市建设局网站,做市场调查分析的网站,青岛房产中介网站开发,个人公众号目录 1. 环境准备
1.1 安装要求
1.2 检查Python和Java环境
2. 下载并解压Spark
2.1 下载Spark
2.2 解压安装包
3. 配置环境变量
4. 配置Spark
5. 启动Spark Shell
6. 运行测试
7. 关闭Spark Shell
8. 常见问题
8.1 兼容性问题
8.2 环境变量配置
总结 1. 环境准备…目录 1. 环境准备
1.1 安装要求
1.2 检查Python和Java环境
2. 下载并解压Spark
2.1 下载Spark
2.2 解压安装包
3. 配置环境变量
4. 配置Spark
5. 启动Spark Shell
6. 运行测试
7. 关闭Spark Shell
8. 常见问题
8.1 兼容性问题
8.2 环境变量配置
总结 1. 环境准备
1.1 安装要求
操作系统Linux推荐、Windows或MacOSPythonPython 3.6或以上Java环境JDK 1.8或以上
1.2 检查Python和Java环境
Spark依赖于Java环境请先确认是否已安装JDK。可通过以下命令检查
java -version
python3 --version
若未安装请根据系统选择安装JDK 8以上的版本。安装完成后设置JAVA_HOME环境变量。
export JAVA_HOME/path/to/jdk export PATH$JAVA_HOME/bin:$PATH
通过Anaconda安装 因为这个软件不仅有python还有其他的功能比单纯安装python功能要强大。
# 上传
cd /opt/modules
# 添加执行权限
chmod ux Anaconda3-2021.05-Linux-x86_64.sh
# 执行
sh ./Anaconda3-2021.05-Linux-x86_64.sh
# 过程
#第一次【直接回车然后按q】Please, press ENTER to continue
#第二次【输入yes】Do you accept the license terms? [yes|no][no] yes
#第三次【输入解压路径/opt/installs/anaconda3】[/root/anaconda3] /opt/installs/anaconda3#第四次【输入yes是否在用户的.bashrc文件中初始化
Anaconda3的相关内容】Do you wish the installer to initialize Anaconda3by running conda init? [yes|no][no] yes
更新环境变量
# 刷新环境变量
source /root/.bashrc
# 激活虚拟环境如果需要关闭就使用conda deactivate
conda activate
配置环境变量并再次刷新
# 编辑环境变量
vi /etc/profile
# 添加以下内容
# Anaconda Home
export ANACONDA_HOME/opt/installs/anaconda3
export PATH$PATH:$ANACONDA_HOME/bin
创建软连接:
# 创建软连接
ln -s /opt/installs/anaconda3/bin/python3 /usr/bin/python3
# 验证
echo $ANACONDA_HOME
2. 下载并解压Spark
2.1 下载Spark
前往 Apache Spark官网 下载Spark安装包。选择预编译好的版本如“Pre-built for Apache Hadoop 3.2 and later”并下载 .tgz 文件。
2.2 解压安装包
使用以下命令解压下载的Spark安装包
# 解压
cd /opt/modules
tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/installs
# 重命名
cd /opt/installs
mv spark-3.1.2-bin-hadoop3.2 spark-local
# 创建软链接
ln -s spark-local spark
3. 配置环境变量
编辑~/.bashrc或/etc/profile文件加入以下环境变量
export SPARK_HOME/opt/installs/spark
export PATH$SPARK_HOME/bin:$PATH
更新环境变量
source /etc/profile
4. 配置Spark
单机模式安装相对简单不需要配置Master和Worker。默认情况下Spark会自动启用单机模式运行。您可以根据需求修改conf/spark-env.sh或conf/spark-defaults.conf配置文件。
5. 启动Spark Shell
Spark安装完成后可以启动Spark Shell来测试环境
/opt/installs/spark/bin/pyspark --master local[2]
若成功启动将看到Spark Shell的命令行提示表示安装成功。
6. 运行测试
在Spark Shell中可以输入以下代码进行简单测试
map算子实现分布式转换
需求将一个包含 1~ 10 共10个元素的列表使用Spark实现分布式处理将每个元素的平方输出
运行后应输出2, 4, 6, 8, 10说明Spark单机模式安装成功。
# 定义一个列表
list1 [1,2,3,4,5,6,7,8,9,10]
# 将列表通过SparkContext将数据转换为一个分布式集合RDD
inputRdd sc.parallelize(list1)# 将RDD中每个分区的数据进行处理
rsRdd inputRdd.map(lambda x : x**2)# 将结果RDD的每个元素进行输出
rsRdd.foreach(lambda x : print(x))
7. 关闭Spark Shell
在测试完成后可以通过以下命令退出Spark Shell
quit
8. 常见问题
8.1 兼容性问题
若出现Python和Java版本兼容性问题可尝试降低Java或Spark版本确保它们相互兼容。
8.2 环境变量配置
确认JAVA_HOME和SPARK_HOME等环境变量正确配置并已通过source /etc/profile生效。
总结
至此您已经成功在单机模式下安装并运行了Spark。这种模式适合小规模数据处理和学习实验。对于更高的性能需求建议使用集群模式。
