网站与网页的区别与联系,海外营销方案,生成器在线制作,网站检测器1.通讯协议 所有的HDFS通讯协议都是建立在TCP/IP协议之上。 客户端通过一个可配置的TCP端口连接到Namenode#xff0c;通过ClientProtocol协议与Namenode交 互。而Datanode使用DatanodeProtocol协议与Namenode交互。 一个远程过程调用(RPC)模型被抽象出来封装ClientProtoc… 1.通讯协议 所有的HDFS通讯协议都是建立在TCP/IP协议之上。 客户端通过一个可配置的TCP端口连接到Namenode通过ClientProtocol协议与Namenode交 互。而Datanode使用DatanodeProtocol协议与Namenode交互。 一个远程过程调用(RPC)模型被抽象出来封装ClientProtocol和Datanodeprotocol协议。在 设计上Namenode不会主动发起RPC而是响应来自客户端或 Datanode 的RPC请求。 编写RPC package com.nefu.rpc;public interface RPCprotocol {long versionID 666;void mkdirs(String path);
}这段代码定义了一个 Java 接口interface叫做 RPCprotocol它主要用于描述一个远程过程调用RPC的协议。让我们逐行解释 1.接口定义 2.RPCprotocol 是一个接口接口在 Java 中是一种规范用于描述一组方法的集合而不提供这些方法的具体实现。其他类可以实现这个接口并提供方法的具体实现。 3.常量 versionID 4.versionID 是一个接口中的常量其值为 666。这个常量被用于标识协议的版本号。在某些情况下这样的版本号可以用来确保通信的双方使用相同或兼容的协议版本。 5.抽象方法 mkdirs 6.接口定义了一个抽象方法 mkdirs该方法没有具体的实现。这个方法的目的是用于创建目录接受一个字符串类型的参数 path表示要创建的目录路径。 综合起来这个接口定义了一个协议规定了远程调用的版本号以及远程调用的方法。实际的使用场景需要有一个实现了这个接口的类该类提供了 mkdirs 方法的具体实现。其他系统的组件可以通过这个接口调用 mkdirs 方法实现在远程系统上创建目录的功能。例如可以有一个服务器实现这个接口并在客户端通过远程调用执行相应的操作。 package com.nefu.rpc;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;
import org.apache.hadoop.ipc.Server;import java.io.IOException;public class NamenodeServer implements RPCprotocol{public void mkdirs(String path){System.out.println(在服务端创建路径 path);}public static void main(String[] args) throws IOException{Server server new RPC.Builder(new Configuration()) .setBindAddress(localhost) .setPort(9999) .setProtocol(RPCprotocol.class) .setInstance(new NamenodeServer()) .build();System.out.println(服务器开始工作 ); server.start(); }}这段代码实现了一个简单的Hadoop RPC服务。让我们逐行解释 1.导包语句 2.import org.apache.hadoop.conf.Configuration;导入Hadoop配置相关的类。 3.import org.apache.hadoop.ipc.RPC;导入Hadoop IPCInter-Process Communication相关的类。 4.import org.apache.hadoop.ipc.Server;导入Hadoop IPC中的服务器类。 5.import java.io.IOException;导入处理输入输出异常的类。 6.类定义 7.public class NamenodeServer implements RPCprotocol定义了一个名为 NamenodeServer 的类该类实现了之前提到的 RPCprotocol 接口。 8.mkdirs 方法实现 9.public void mkdirs(String path)实现了 RPCprotocol 接口中的 mkdirs 方法。在这个具体的实现中它简单地在服务器端打印一条消息指示在服务端创建了指定路径的目录。 10.main 方法 11.public static void main(String[] args) throws IOException主方法是程序的入口点。 12.Server server new RPC.Builder(new Configuration())...创建了一个 Server 实例通过 RPC.Builder 构建。指定了服务器的配置、绑定地址localhost、端口号9999、使用的协议RPCprotocol.class以及服务器实例NamenodeServer 的一个实例。 13.System.out.println(服务器开始工作 );打印一条消息指示服务器开始工作。 14.server.start();启动服务器开始监听指定的端口等待客户端的远程调用请求。 综合起来这段代码实现了一个简单的Hadoop RPC服务器该服务器监听在本地地址localhost的9999端口上并实现了RPCprotocol接口中的mkdirs方法。当客户端通过RPC调用mkdirs方法时服务器会在控制台上打印一条消息指示在服务端创建了指定路径的目录。 package com.nefu.rpc;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.ipc.RPC;import java.io.IOException;
import java.net.InetSocketAddress;public class HdfsClient {public static void main(String[] args) throws IOException {RPCprotocol client RPC.getProxy(RPCprotocol.class, RPCprotocol.versionID, new InetSocketAddress(localhost, 9999), new Configuration());System.out.println(我是客户端);client.mkdirs(/input);}
} 这段代码实现了一个简单的Hadoop RPC客户端。让我们逐行解释 1.导包语句 2.import org.apache.hadoop.conf.Configuration;导入Hadoop配置相关的类。 3.import org.apache.hadoop.ipc.RPC;导入Hadoop IPCInter-Process Communication相关的类。 4.import java.io.IOException;导入处理输入输出异常的类。 5.import java.net.InetSocketAddress;导入处理网络地址的类。 6.类定义 7.public class HdfsClient定义了一个名为 HdfsClient 的类。 8.main 方法实现 9.public static void main(String[] args) throws IOException主方法是程序的入口点。 10.RPCprotocol client RPC.getProxy(RPCprotocol.class, RPCprotocol.versionID, new InetSocketAddress(localhost, 9999), new Configuration());通过 RPC.getProxy 方法创建了一个代理对象 client该对象实现了 RPCprotocol 接口。这个代理对象将用于向服务器发起RPC调用。 11.System.out.println(我是客户端);打印一条消息指示这是客户端的输出。 12.client.mkdirs(/input);通过代理对象调用远程服务器的 mkdirs 方法传递了一个路径参数 /input。 综合起来这段代码实现了一个Hadoop RPC客户端该客户端连接到在本地地址localhost的9999端口上运行的RPC服务器并通过RPC调用向服务器发送了一个 mkdirs 请求创建了名为 /input 的目录。客户端在控制台上输出了一条消息指示它是客户端。
