腾讯服务器做网站,珠海网站建站,中企动力青岛分公司,苏州网站设计哪家公司好终于#xff0c;要对并行计算下手了哈哈哈。
一直讲大数据大数据#xff0c;我单次数据处理量大概在1t上下#xff0c;是过亿级的轨迹数据。 用python调用multiprogress编写的代码#xff0c;用多线程也要一个多月跑完。 我对这个效率不太满意#xff0c;希望能快一点再快…终于要对并行计算下手了哈哈哈。
一直讲大数据大数据我单次数据处理量大概在1t上下是过亿级的轨迹数据。 用python调用multiprogress编写的代码用多线程也要一个多月跑完。 我对这个效率不太满意希望能快一点再快一点这是学习Spark的前提。 安装过程见 spark出pyspark了可直接用python调用。但是我想接触下scala。所以先装scala试试。
博客园windows上安装和运行spark scala Spark简单介绍Windows下安装ScalaHadoopSpark运行环境集成到IDEA中
下面采用的是博客园的步骤。先IDEA再saprk、hadoop、scala。 第二个微信链接是先scala、hadoop再spark。都可以
安装jdk
安装intelj IDEA配置scala插件
wechat文章2023最新版IntelliJ IDEA安装教程非常详细从零基础入门到精通看完这一篇就够了
安装spark
https://archive.apache.org/dist/spark/spark-3.5.0/ 官网下也可以 这里需要注意的是验证部门也就是解压完spark文件后官方提醒要验证一下下载包是否有错。参考下面链接step4 How to Install Apache Spark on Windows 10https://phoenixnap.com/kb/install-spark-on-windows-10 安装hadoop
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz 需要注意的是带【src.tar.gz】下载解压后的hadoop没有bin文件要去https://gitcode.net/mirrors/cdarlint/winutils/-/tree/master/hadoop-3.3.5/bin选择版本下载补充。我不理解为什么 3.3.6是最新版本hadoop但是上面gitcode库中bin更新到3.3.5所以注意版本 https://downloads.apache.org/hadoop/common/hadoop-3.3.5/另一个方法是在https://downloads.apache.org/hadoop/common/hadoop-3.3.6/选择【tar.gz】结尾的文件也就是几百兆的那个很大的。里面自带bin文件 具体可见Spark简单介绍Windows下安装ScalaHadoopSpark运行环境集成到IDEA中 中安装hadoop的如果在cmd验证时输入hadoop显示有一个错误是Error: JAVA_HOME is incorrectly set。解决方法一 Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd解决方法。 环境变量设置java_home办法JAVA_HOME环境变量的配置Win10系统 随后关掉cmd再重新打开输入hadoop不会报错了。
安装scala SDK
scala和spark版本对应看这个链接https://mvnrepository.com/artifact/org.apache.spark/spark-core 我3.5对应scala的2.12或者2.13。然后去官网下载配好环境变量就行 https://www.scala-lang.org/download/all.html
安装Maven
我没有装有需要再来 我的综合版本 IDE:Intelij IDEA 2023.2.2 spark-3.5.0-bin-hadoop3 hadoop-3.3.6-tar.gz Scala 2.13.12
验证scala
在IDEA中新建项目。2023版本跟网上的一些之前版本例子不一样尤其是在【build system】这里选择红框的。 这样新建的项目中才可以生成新的scala类。
