网站建设网站及上传,基础建设期刊在哪个网站可以查,如何选择小程序定制公司,即时聊天wordpress手机app文章目录 一. hive高可用原理说明1. Hive MetaStore HA2. hive server HA 二. hive高可用实现1. 配置2. beeline链接测试3. zookeeper相关操作 一. hive高可用原理说明
1. Hive MetaStore HA Hive元数据存储在MetaStore中#xff0c;包括表的定义、分区、表的属性等信息。 hi… 文章目录 一. hive高可用原理说明1. Hive MetaStore HA2. hive server HA 二. hive高可用实现1. 配置2. beeline链接测试3. zookeeper相关操作 一. hive高可用原理说明
1. Hive MetaStore HA Hive元数据存储在MetaStore中包括表的定义、分区、表的属性等信息。 hive metastore 配置多台可以避免单节点故障导致整个集群的hive client不可用。
原理如下 Active-active mode is not supported for Hive Metastore. Hence, there is one active instance of the Hive Metastore service at any given point in time. The other instances of the Hive Metastore service are in standby state. hive metastore不支持双活的高可用也就说hive metastore的高可用是主备架构其中一个节点提供服务另外一个节点处于就绪的状态。
相关配置项在hive-site.xml中
property
namehive.metastore.uris/name
valuethrift://metastore_node1:9083,thrift://metastore_node2:9083/value
/property2. hive server HA HiveServer2是Hive的一个查询引擎允许用户通过多种方式如JDBC、ODBC等提交和执行Hive查询。它负责解析客户端的请求生成查询计划并将这些任务提交给底层的执行引擎如 MapReduce 或 Tez。HiveServer2 本身并不直接处理 Thrift 协议而是通过 Hive Thrift Server 来实现 Thrift 服务。 Hive从0.14开始使用Zookeeper实现了HiveServer2的HA功能ZooKeeper Service DiscoveryClient端可以通过指定一个nameSpace来连接HiveServer2而不是指定某一个host和port。
原理图如下 The JDBC/ODBC client connects to Zookeeper, which randomly returns a : for a registered HiveServer2 instance. The client uses the returned value to connect to a particular HiveServer2 instance directly to perform its work. If the HiveServer2 instance fails while the client is connected, the client session is terminated and there is no automatic fail-over to a new HiveServer2 instance. JDBC/ODBC client比如中台的元数据发现服务通过JDBC访问连接zookeeperzookeeper随机返回一个server信息(host:port)用于注册hiveserver2实例。客户端使用返回的值连接指定的hiveserver实例进行元数据查询等操作。当连接的hiveserver挂了或者无法通讯创建的client会话将会关闭且没有自动的故障转移操作转移到另外一个hiveserver实例。也就是说你需要重新请求HiveServer。 上面提到的随机返回一个hiveserver说明hiveserver高可用具备一定的请求分流减少hiveserver的请求压力。 参考 IBM - availability-enabling-hiveserver2-high 相关配置在hive-site.xml中添加 property
namehive.server2.support.dynamic.service.discovery/name
valuetrue/value
/propertyproperty
namehive.server2.zookeeper.namespace/name
valuehiveserver2_zk/value
/propertyproperty
namehive.zookeeper.quorum/name
valuezk_server1:2181,zk_server2:2181,zk_server3:2181/value
/propertyproperty
namehive.zookeeper.client.port/name
value2181/value
/property二. hive高可用实现
1. 配置
每个hive所在节点修改配置hive-site.xml
propertynamehive.server2.support.dynamic.service.discovery/namevaluetrue/value
/propertypropertynamehive.server2.zookeeper.namespace/namevaluehiveserver2_zk/value
/propertypropertynamehive.zookeeper.quorum/namevaluezk_node1:2181,zk_node2:2181,zk_node3:2181/value
/propertypropertynamehive.zookeeper.client.port/namevalue2181/value
/propertypropertynamehive.metastore.uris/namevaluethrift://metastore_node1:9083,thrift://metastore_node2:9083/value
/property 所有节点执行启动hive Metastore和hive server 因为hive server 依赖hive metastore所以先启动metastore nohup hive --service metastore /opt/module/apache-hive-2.1.1-bin/metastore.log 21
nohup hive --service hiveserver2 /opt/module/apache-hive-2.1.1-bin/hiveserver.log 21 2. beeline链接测试
语法说明
jdbc:hive2://zookeeper quorum/dbName;serviceDiscoveryModezooKeeper;zooKeeperNamespacehiveserver2_zk参数含义说明 zookeeper quorum : 为Zookeeper的集群链接串如node1:2181,node2:2181,node3:2181dbName : 为Hive数据库不填默认为defaultserviceDiscoveryModezooKeeper : 指定模式为zooKeeperzooKeeperNamespacehiveserver2_zk : 指定ZK中的nameSpace即参数hive.server2.zookeeper.namespace所定义 连接测试
beeline -u jdbc:hive2://zk_node1:2181,zk_node2:2181,zk_node3:2181/;serviceDiscoveryModezooKeeper;zooKeeperNamespacehiveserver2_zk -n user1 -p passwd1这里因为配置了用户名和密码 所以使用了-n、-p 去链接密码设置见我的相关文章 hive CUSTOM authentication mode通过用户名密码连接hiveserver 3. zookeeper相关操作
见 availability-enabling-hiveserver2-high
