中国建设银行网站客户注册,如何编辑网站,南平市建设局网站,做网站贷款1.安装下载Hadoop文件
1#xff09;hadoop-3.3.5 将下载的文件保存到英文路径下#xff0c;名称一定要短。否则容易出问题#xff1b;
2#xff09;解压下载下来的文件#xff0c;配置环境变量
3#xff09;我的电脑-属性-高级设置-环境变量 4.详细配置文件如下#…1.安装下载Hadoop文件
1hadoop-3.3.5 将下载的文件保存到英文路径下名称一定要短。否则容易出问题
2解压下载下来的文件配置环境变量
3我的电脑-属性-高级设置-环境变量 4.详细配置文件如下
HADOOP_HOME D:\ProgramFiles\hadoop-3.3.5系统 path: %HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin
2.安装windows环境依赖
需要有windows客户端依赖资料路径下的依赖文件(已上传到平台)拷贝 winutils.exe 到hadoop的bin文件夹 ~\hadoop-3.3.5\bin再把 hadoop.dll 拷贝到 C:\Windows\System32。 6)验证Hadoop环境变量是否正常。
鼠标双击运行winutils.exe若没有报错一闪而过就可以了。如果报如下错误找不到MSVCR120.dll。说明缺少微软运行库正版系统往往有这个问题。再资料包里面有对应的微软运行库安装包双击安装即可。
3.安装JDK-1.8.371和IDEA 2023
1注册oracle账号后下载地址 https://www.oracle.com/java/technologies/downloads/#java8-windows
2安装的时候可以只安装 jdk1.8不安装独立的jre。若电脑上有多个JDK版本需要在配置环境变量的时候小心。 3验证java 是否安装成功cmd - 中输入名 java -version 4 下载好IDEA2023可从官网下载安装。IntelliJ IDEA – 领先的 Java 和 Kotlin IDE
插件需要下载下另外激活可参见-IDEA PyCharm WebStorm PhpStorm Jetbrains全家桶最新破解激活码 - 爱激活网
4.打开工程目录-创建项目工程 按照上述的内容填写后建立Maven 工程。
5.修改配置文件中的依赖
1添加junit插件 - test 插件 2添加org.slf4j --日志 pom.xml文件中的依赖项如下 dependencies dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId version3.3.5/version /dependency dependency groupIdjunit/groupId artifactIdjunit/artifactId version4.12/version !-- 一定要把下面的这个scope注释掉-- !-- scopetest/scope-- /dependency dependency groupIdorg.slf4j/groupId artifactIdslf4j-log4j12/artifactId version1.7.36/version /dependency /dependencies 添加配置文件后在页面又上角有个M图标可以点击下会自动刷新之后需要从Maven仓库依赖 dependency 一定要和服务器上安装的版本一致 6.为工程配置日志文件
在 IDEA中创建一个Maven工程 Ktest并导入相应的依赖坐标日志添加
在项目的src/main/resources目录下新建一个文件命名为“log4j.properties”在文件中填入 log4j.rootLoggerINFO, stdout log4j.appender.stdoutorg.apache.log4j.ConsoleAppender log4j.appender.stdout.layoutorg.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern%d %p [%c] - %m%n log4j.appender.logfileorg.apache.log4j.FileAppender log4j.appender.logfile.Filetarget/spring.log log4j.appender.logfile.layoutorg.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern%d %p [%c] - %m%n 6.在包下面新建一个类名 7.在服务器上尝试创建文件夹 编写代码-在HDFS文件系统中写入一个 /yiji/ercengmulu 的文件. ------------------------------------------------------------------------------------- package org.example;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;public class Testt{Test //引入当时添加的Junitpublic void testMkdirs() throws URISyntaxException,IOException,InterruptedException{//创建连接集群的Name Node地址URI uri new URI(hdfs://hadoop102:8020);//创建配置项Configuration conf new Configuration();//指定用户String user antares;//获取客户端对象FileSystem fs FileSystem.get(uri,conf,user);fs.mkdirs(new Path(/yiji/ercengmulu));fs.close();}
}8. 打开服务器上的部署的服务
hadoop102:8020 --- 需要在服务器端打开Hadoop之后才能运行刚刚创建的类。
测试通过。
