网站建站基本要素,优化网站工具,网站建站服务的公司,太原百度做网站多少钱当初搭建Hadoop、Hive、HBase、Flink等这些没有截图写文#xff0c;今为分享特重装。下载Hadoop下载地址#xff1a;https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/以管理员身份运行cmd切换到所在目录执行start winrar x -y hadoop-3.3.4.tar.gz#xff0c;解压。配置…当初搭建Hadoop、Hive、HBase、Flink等这些没有截图写文今为分享特重装。下载Hadoop下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/以管理员身份运行cmd切换到所在目录执行start winrar x -y hadoop-3.3.4.tar.gz解压。配置系统变量配置环境变量值%Hadoop_Home%\bin测试配置是否成功打开cmd输入hadoop问题系统找不到指定的路径。 Error: JAVA_HOME is incorrectly set.Please update D:\BigData\hadoop-3.3.4\etc\hadoop\hadoop-env.cmd解决Program Files中间有空行导致报错把Program Files改成dos软链接名PROGRA~1rem set JAVA_HOME%JAVA_HOME%
set JAVA_HOMEC:\PROGRA~1\Java\jdk1.8.0_131测试配置是否成功配置 data 和 temp 文件夹① 进入 “D:\hadoop-3.1.3” ② 新建 “data” 文件夹③ 新建 “temp” 文件夹④ 进入 data 文件夹新建 “datanode” 文件夹 和 “namenode” 文件夹配置hadoop相关配置文件进入“D:\BigData\hadoop-3.3.4\etc\hadoop”core-site.xml中增加propertynamefs.defaultFS/namevaluehdfs://localhost:9000/value
/propertyhdfs-site.xml中增加propertynamedfs.replication/namevalue1/value
/property
propertynamedfs.namenode.http-address/namevaluelocalhost:50070/value
/property
propertynamedfs.namenode.name.dir/namevalue/D:/BigData/hadoop-3.3.4/data/namenode/value
/property
propertynamedfs.datanode.data.dir/namevalue/D:/BigData/hadoop-3.3.4/data/datanode/value
/propertymapred-site.xml中增加propertynamemapreduce.framework.name/namevalueyarn/value
/propertyyarn-site.xml中增加propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value
/property
propertynameyarn.nodemanager.aux-services.mapreduce.shuffle.class/namevalueorg.apache.hadoop.mapred.ShuffleHandler/value
/property
propertynameyarn.nodemanager.resource.memory-mb/namevalue1024/value
/property
propertynameyarn.nodemanager.resource.cpu-vcores/namevalue1/value
/property
propertynamehadoop.tmp.dir/namevalue/D:/BigData/hadoop-3.3.4/temp/nm-local-dir/value
/property
propertynameyarn.nodemanager.local-dirs/namevalue/D:/BigData/hadoop-3.3.4/temp/nm-local-dir/value
/property 格式化 namenode 节点组合键 “WinR”-输入 “cmd”-“Enter” 在弹出的窗口输入 “hdfs namenode -format” 对namenode节点进行格式化。启动sbin-start-all.cmd报错 java.lang.RuntimeException: java.io.FileNotFoundException:Could not locate Hadoop executable: D:\BigData\hadoop-3.3.4\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems本地安装的Hadoop的bin目录缺少winutils.exe的文件。解决方案①下载winutils和hadoop.dllhttps://github.com/steveloughran/winutils②复制到D:\BigData\hadoop-3.3.4\bin。③重新执行hdfs namenode -format。问题Apache Hadoop Distribution yarn resourcemanager和hadoop namenode正常启动Apache Hadoop Distribution datanode和nodemanager报错如下解决方案①datanode、tmp文件夹右键-属性-安全-编辑完全控制②删除提前手动建立的datanode、tmp文件夹由hadoop创建。已issuehttps://github.com/steveloughran/winutils/issues/25测试Hadoop打开浏览器在地址栏输入http://localhost:50070查看Hadoop状态在地址栏输入http://localhost:8088/查看cluster状态
