贵州省住房建设部网站,全球网站排行榜,wordpress手机后台版,app展示网站之前我们的hadoop不管是伪分布式还是分布式#xff0c;都是配置在虚拟机上#xff0c;我们有的时候想要运行一些mapreduce、hdfs的操作#xff0c;又要把文件移到虚拟机#xff0c;又要上传hdfs#xff0c;麻烦得要死#xff0c;那么有的时候我们写的一些java、python的h… 之前我们的hadoop不管是伪分布式还是分布式都是配置在虚拟机上我们有的时候想要运行一些mapreduce、hdfs的操作又要把文件移到虚拟机又要上传hdfs麻烦得要死那么有的时候我们写的一些java、python的hadoop代码我们只想在本地运行一下看看有没有问题、会是一个什么结果怎么办 那就需要在window配置hadoop系统环境然后以后只需要在本地写代码运行就行了 Hadoop 是一个跨平台的分布式计算框架可以在多种操作系统上运行包括 Linux、Windows 和 macOS。因此之前我们给虚拟机安装的hadoop安装包依旧使用于window系统直接拿那个安装包解压到本地就行。 需要在您的Windows系统上安装以下软件 Java JDKHadoop依赖Java因此需要安装JDK。一定要1.8版本的稳定Hadoop下载Hadoop的二进制文件。WinUtilsHadoop在Windows上需要特定的WinUtils。 一、安装JAVA环境
那么还是跟虚拟机配置hadoop一样要先配置好JAVA环境JDK这里我不想讲下载安装java环境的流程有需要的、一次java环境都没有安装过的小白请自行查找别的教程
但是要注意尽量用1.8版本的JDK没配的自己找别的教程自行安装1.8JDK。 【拓展】
但是这里我打算讲一下安装过多个java环境JDK的人我们怎么去切换本地的JAVA环境 我自己本人之前也因为刚学java不是很懂安装了几个版本的JDK然后安装路径乱七八糟的当时我本地已经有了【1.8】【17】【21】【11】四个版本的JDK了现在用的是【21】版本但是现在为了适配hadoop我不得不换成【1.8】的JDK。 那么首先在idea可以找到我们的JDK的路径如下图所示 然后我们在【系统设置】的【环境变量】那里可以把你之前设置的【JAVA_HOME】写成对应版本的【JAVA_HOME1.8】、【JAVA_HOME21】、【JAVA_HOME11】......一定要把对应版本的JDK的安装路径对应上 然后你想要当前使用哪一个版本的JDK你就在path变量里添加对应的【JAVA_HOME】变量 不过注意【1.8】之后的版本的【jre】和【jdk】分开要分别添加【%JAVA_HOME版本号%\bin】和【%JAVA_HOME版本号%\jre\bin】 那如果现在我们要用【1.8】版本的JDK因为【1.8】的JDK包含了jre就可以删掉【%JAVA_HOME版本号%\jre\bin】只留【%JAVA_HOME版本号%\bin】 最后测试【Win R】输入cmd输入【java -version】看看能不能正常切换JAVA环境 二、Hadoop安装
1、下载并解压安装
如果还没有下载过hadoop的第一次了解的请到这个链接进行下载 【hadoop 33.3以上版本】去这个清华大学的中国镜像安装网站 Index of /apache/hadoop/common 直接自己选一个安装 那么如果之前用虚拟机安装过Hadoop的就找到之前那个安装包不用担心hadoop适不适配Window因为一个hadoop适配任何系统你直接拿来window解压用就完事了
解压你下载的hadoop压缩包路径自定义但是路径中不要有空格 2、配置hadoop的环境变量、path变量
在“此电脑”图标上右击选择“属性”点击“高级系统设置”点击“环境变量”添加【HADOOP_HOME】这个变量路径就是我们刚刚解压的hadoop根目录路径 然后再到【path】添加【%HADOOP_HOME%\bin】、【%HADOOP_HOME%\sbin】注意千万别漏了 “ \ ” 三、下载安装【winutils】
然后要下载【winutils】插件要靠他才能在window使用hadoop 下载地址GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows如果进不去可能要用一下梯子因为guthub是外网但是我当时直接就进去了 直接下载压缩包 这一步可做可不做 最后到hadoop路径下的【etc/hadoop】下用记事本编辑修改【hadoop-env.cmd】指定java的路径 然后测试安装成功输入【hadoop version】 四、进行本地的hadoop伪分布式配置文件配置
然后在hadoop根目录下创建一个【data】目录然后在这个目录下创建【datanode】、【namenode】、【tmp】三个文件夹 然后进入到hadoop的配置文件目录在hadoop的【/etc/hadoop】下
配置 core-site.xml 文件 在hadoop的【/etc/hadoop】路径下找到【core-site.xml】 用记事本编辑把下面configuration/configuration换成下面代码 注意把下面路径换成你自己的hadoop解压路径下的\data\tmp configurationpropertynamehadoop.tmp.dir/namevalue/【你自己的hadoop解压路径】\data\tmp/value/propertypropertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/property
/configuration 配置 mapred-site.xml 文件 在hadoop的【/etc/hadoop】路径下找到【mapred-site.xml】 用记事本编辑把下面configuration/configuration换成下面代码 configurationpropertynamemapreduce.framework.name/namevalueyarn/value/propertypropertynamemapred.job.tracker/namevaluehdfs://localhost:9001/value/property
/configuration 配置 yarn-site.xml 文件 在hadoop的【/etc/hadoop】路径下找到【yarn-site.xml】 用记事本编辑把下面configuration/configuration换成下面代码 configurationpropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.nodemanager.aux-services.mapreduce.shuffle.class/namevalueorg.apache.hahoop.mapred.ShuffleHandler/value/property
/configuration 配置 hdfs-site.xml 文件 在hadoop的【/etc/hadoop】路径下找到【hdfs-site.xml】 用记事本编辑把下面configuration/configuration换成下面代码 注意把下面两个路径换成你自己的hadoop解压路径下的\data\namenode和\data\datanode configuration!-- 这个参数设置为1因为是单机版hadoop --propertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.name.dir/namevalue/【你自己的hadoop解压路径】\data\namenode/value/propertypropertynamedfs.datanode.data.dir/namevalue/【你自己的hadoop解压路径】\data\datanode/value/property
/configuration 配置 hadoop-env.sh 文件 使用CtrlF查找export JAVA_HOME找到相应的位置,配置下如图 五、准备启动hadoop
1、格式化namenode
然后对hadoop的namenode进行格式化 2、然后启动hadoop 会弹出四个窗口别关让他们开着就行 那么有的人的yarn项目可能会出现这种错误这是因为可能之前有人做前端开发电脑里由于之前安装node.js时系统里有重名命令yarn 所以在运行hadoop的yarn的时候需要制定其yarn路径解决办法是打开hadoop目录下的【sbin】目录下的【start-yarn.cmd】文件修改其yarn运行代码为
rem start resourceManager
start Apache Hadoop Distribution [你的hadoop安装路径下的bin路径]\yarn resourcemanager
rem start nodeManager
start Apache Hadoop Distribution [你的hadoop安装路径下的bin路径]\yarn nodemanager
rem start proxyserver
rem start Apache Hadoop Distribution [你的hadoop安装路径下的bin路径]\yarn proxyserver
其中[你的hadoop安装路径下的bin路径] 这里你可以用之前配置的环境变量【%HADOOP_HOME%\bin】也可以直接写完整的hadoop的bin路径类似【F:\hadoop-3.3.5\bin】 再次在hadoop目录的【sbin目录】下输入【star-all.cmd】或者分别输入【star-dfs.cmd】【star-yarn.cmd】应该就正常了 3、检测启动成功否
然后输入jps就能看到我们的节点信息了 然后打开浏览器跟linux安装hadoop一样也是访问【http://localhost:9870/】来查看我们的hadoop的namenode页面 以及resourcemanager的页面【http://localhost:8088/cluster】
