深圳网站建设 网络推广,wordpress tag,o2o网站建设好么,gta5网站正在建设中spark依赖java和scale。所以先安装java#xff0c;再安装scale#xff0c;再是spark。 总体教程跟着这个链接 我跟着这个教程走安装java链接#xff0c;但是有一些不同#xff0c;原教程有一些错误#xff0c;在环境变量设置的地方。
java
首先下载jdk。
先看自己的环境…spark依赖java和scale。所以先安装java再安装scale再是spark。 总体教程跟着这个链接 我跟着这个教程走安装java链接但是有一些不同原教程有一些错误在环境变量设置的地方。
java
首先下载jdk。
先看自己的环境用uname -a
(.venv) .venvrootnb-e3kwqjh63t34-0:/mnt/user/mine/# uname -a
Linux nb-e3kwqjh63t34-0 5.4.0-125-generic #141-Ubuntu SMP Wed Aug 10 13:42:03 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux能看到是64位ubuntu。 第一个坑用java8别用其他的spark不认。orcale官网下载要注册这里是华为镜像网站添加链接描述。我下载了jdk-8u202-linux-x64.tar.gz
wget https://repo.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz下载后得到文件jdk-8u202-linux-x64.tar.gz 解压它
tar -xzvf jdk-8u202-linux-x64.tar.gz -C /mnt/user/mine/java//mnt/user/mine/java/随便设的会解压到这个地方最后路径是/mnt/user/mine/java/jdk1.8.0_202。 代码是有了接下来设置环境变量以全局地使用java。 打开环境变量配置文件
vi /etc/profile然后按下i代表insert然后左下角会显示insert代表可以输入了。添加以下值。
export JAVA_HOME/mnt/user/mine/java/jdk1.8.0_202
export CLASSPATH$CLASSPATH:$JAVA_HOME/lib/
export PATH$PATH:$JAVA_HOME/binexport就是全局变量的意思添加了JAVA_HOME变量为以上路径代表我们java的存储路径。然后在原本就有的环境变量——CLASSPATH里添加一个路径JAVA_HOME/lib$JAVA_HOME是shell脚本引用变量的方式CLASSPATH使用冒号来分割多个路径于是现在CLASSPATH后面添加了一个新路径/mnt/user/mine/java/jdk1.8.0_202/lib。 PATH同理。 然后点击esc退出了insert模式。键盘敲击:wq最下面会显示代表write and quit就保存了你写进去的东西。 如果你不想改了敲击:q!即啥都不要了直接quit。 最后重新加载这个文件使用
source /etc/profile之后检查java环境变量设没设好就看命令行能不能直接用java指令。输入
java -version我输出了
# java -version
java version 1.8.0_202
Java(TM) SE Runtime Environment (build 1.8.0_202-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode)scale
我借鉴runoob网站链接 也就是只要这一个命令
curl -fL https://github.com/coursier/launchers/raw/master/cs-x86_64-pc-linux.gz | gzip -d cs chmod x cs ./cs setup把这个长命令拆成碎的是这样。
curl -fL https://github.com/coursier/launchers/raw/master/cs-x86_64-pc-linux.gz
gzip -d cs-x86_64-pc-linux.gz
chmod x cs-x86_64-pc-linux
./cs-x86_64-pc-linux setup但是很慢。我选择二进制安装手动下载再解压再设置path环境变量和java差不多。 下载地址添加链接描述 随便选个型号点进去不带RC1的不知道RC1什么意思。然后拉到最下面选符合型号的我是linux64位就下scala3-3.6.1-x86_64-pc-linux.tar.gz 然后解压它
tar -xzvf scala3-3.6.1-x86_64-pc-linux.tar.gz解压完的scale名字巨长自己重命名个短的。然后设置环境变量
vi /etc/profile把这一段插进去
export PATH$PATH:你的scale路径/bin带不带引号都行 然后保存退出重新读取配置文件
source /etc/profile试试scale
.venvrootnb-e3kwqjh63t34-0:/mnt/user/mine # scala
Welcome to Scala 3.5.2 (23.0.1, Java Java HotSpot(TM) 64-Bit Server VM).
Type in expressions for evaluation. Or try :help.scala 用ctrl-c强制退出。
安装spark
跟着官方文档 下载完解压
tar -xzvf spark-3.5.3-bin-hadoop3.tgz加个环境变量
export PATH$PATH:/mnt/user/mine/scala/bin:/mnt/user/mine/spark/bin管它好不好看我就直接接scala后面了。
顺利的话输入
spark-shell就有
(.venv) .venvrootnb-e3kwqjh63t34-0:/mnt/user/mine# spark-shell
Setting default log level to WARN.
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
24/11/21 15:05:25 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
24/11/21 15:05:26 WARN Utils: Service SparkUI could not bind on port 4040. Attempting port 4041.
Spark context Web UI available at http://nb-e3kwqjh63t34-0:4041
Spark context available as sc (master local[*], app id local-1732172726695).
Spark session available as spark.
Welcome to____ __/ __/__ ___ _____/ /___\ \/ _ \/ _ / __/ _//___/ .__/\_,_/_/ /_/\_\ version 3.5.3/_/Using Scala version 2.12.18 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_202)
Type in expressions to have them evaluated.
Type :help for more information.scala 结束
