怎么把自己的网站放到百度上,软件工程专业招聘信息,自助建站一般适用于大型电子商务网站建设,河南seo推广平台文章目录 4. 分布式数据库HBase4.1 HBase简介4.2 HBase数据模型4.3 HBase的实现原理4.4 HBase运行机制4.5 HBase的应用方案4.6 HBase安装和编程实战 4. 分布式数据库HBase
4.1 HBase简介
HBase是BigTable的开源实现 对于网页搜索主要分为两个阶段 1.建立整个网页索引#xf… 文章目录 4. 分布式数据库HBase4.1 HBase简介4.2 HBase数据模型4.3 HBase的实现原理4.4 HBase运行机制4.5 HBase的应用方案4.6 HBase安装和编程实战 4. 分布式数据库HBase
4.1 HBase简介
HBase是BigTable的开源实现 对于网页搜索主要分为两个阶段 1.建立整个网页索引设计网页爬虫爬取的网页存入BigTable中在上面运行MapReduce 2.搜索互联网网页 BigTable诞生 Bigtable是在GFS的基础上实现的 为什么分布式存储系统可以得到广泛的关注 它具有非常好的性能可以支持PB级别的数据它具有非常好的可扩展性用集群去存储几千台服务器完成分布式存储 HBase特点高可能、高性能、面向列、可伸缩 HBase:通过水平扩展的方式允许几千台服务器去存储海量文件 HBase和BigTable的底层技术对应关系 为什么需要设计HBase这么一个数据库产品 虽然已经有了HDFS和MapReduce,但是Hadoop主要解决大规模数据离线批量处理Hadoop无法满足大数据实时处理需求。 随着这些年数据的大规模爆炸式增长传统关系型数据库的扩展能力非常有限即使通过设计主从复制方案或者分库的方式仍然有两个缺陷一个是不便利另一个是效率非常低 传统关系型数据库如何进行数据规模化扩展 设计主从复制方案由主服务器负责接收写请求若干从服务器都是主服务器的副本从服务器接收外界的读请求这样可以实现数据库在性能上的一定扩展 做分库对企业内部数据进行分库将写负载分流 Hbase和传统关系型数据库有什么联系和区别 数据类型方面传统关系数据库用的是非常经典的关系数据模型 数据操作方面在关系数据库中定了非常多的数据操作查找插入删除等 存储模式方面关系数据库基于行模式存储而对于HBase来讲是基于列存储 在数据索引方面关系数据库可以直接针对各个不同的列构建非常复杂的索引 数据维护方面在关系数据库当中做一些数据更新操作的时候实际上里面旧的值会被新的值覆盖掉而HBase生成新的版本旧的版本仍然存在不会被替换 可伸缩性方面关系数据库是很难实现水平扩展的最多可以实现纵向扩展 HBase访问接口
4.2 HBase数据模型 HBase是一个稀疏的多维度的排序的映射表包含行键列族列限定符时间戳 HBase特点 列族的特性 支持动态扩展可以对列族进行增加或者减少 保留旧的版本执行数据更新操作的时候会保留旧版本 HBase以表的形式组织数据与关系型数据库的区别关系型数据库会对其进行规范化处理根据第一范式、第二范式、第三范式将 表进行不断分解最后需要对表进行多表连接HBase不考虑冗余牺牲空间去避免表连接操作带来的效率问题 列限定符列 实际过程中可以动态增加或者减少列 单元格具体存储数据的地方 时间戳新的版本会通过时间戳进行确定 数据坐标的定位必须通过四维行键、列族、列限定符、时间戳来定位数据位置 HBase数据的概念视图 列族名称具体列限定符“”在概念上HBase数据是稀疏的因为很多单元格是空白的 HBase数据的物理视图是按照列族进行存储的 传统关系型数据库是行式存储而HBase是列式存储 行式数据库和列式数据库示意图 面向行的存储有什么优势和缺点 列式存储的优点 列式存储按照一个列去存储可以带来很高的数据压缩率适用于以分析型应用为主的场景行式存储不可能达到很高的数据压缩率适合事务型操作比较多的场景
4.3 HBase的实现原理 HBase的功能组件Master服务器、库函数、Reigion服务器 库函数链接每个客户端 Master服务器充当管家作用 Region服务器负责存储不同的Region 客户端在获取Region位置信息之后直接和Region服务器进行打交道 HBase的表和Region的关系 初始化的时候将一个HBase表划分为多个Region随着表的增大Region规模增加会分裂成多个新的Region分裂时只需要修改指向信息是非常快速的 Region到底被存到哪里去了 HBase的三层结构 Root表在一个Region机器上存储的元数据信息即META表的位置 META表存储的是用户数据存储的位置 Root表的地址是写死在Zookeeper中的 为了加速寻址客户端会缓存位置信息但同时需要解决缓存失效问题它会先通过缓存查找数据若找不到数据则判定缓存失效需要重新进行三级寻址 三层结构中各层次的名称和作用 Region的定位
4.4 HBase运行机制 HBase的系统架构 客户端访问HBase的接口为了加快访问速度会进行位置地址的缓存 Zookeeper服务器实现协同管理服务其被大量用于分布式系统提供配置维护域名服务分布式同步服务等在HBase中其主要提供管家功能维护和管理整个HBase集群 Master服务器主服务器负责对HBase的表的增删改查负责不同Region服务器的负载均衡负责调整分裂、合并后Region的分布负责重新分配故障、失效的Region服务器也要借助Master来进行重新分配 Region服务器负责用户数据的存储和管理其负责向HDFS文件系统中读写数据 Region服务器集群由多个Region服务器构成每个Region服务器中有多个组件若干个Region共用一个HLog文件每个Region中的每个列族会单独构成一个Store进行存储会先存储到MemStore缓存中缓存满了在存储到StoreFile文件中StoreFile是HBase的表现形式它在底层是借助HDFS存储的其在HDFS中以HFile的格式存储 用户读写数据过程 写入数据 首先将数据写入MemStore缓存区 为了保存数据不丢失会在写入Memstore前会先写入HLog日志当HLog数据写入到磁盘之后才允许返回客户端 读取数据 首先用户也会先访问MemStore因为最新写入的数据会存储于MemStore中 若MemStore查找不到会到磁盘的StoreFile中去找相关数据 缓存刷新过程 StoreFile文件的合并 刷写可能导致多个StoreFile文件遍历StoreFile文件找数据文件越多会影响查找速度因此将多个StoreFile文件合并为一个大的StoreFile文件 StoreFile的分裂 StoreFile的不断合并可能会导致StoreFile的文件越来越大当合并的StoreFile越大的时候就会引发分裂操作 HLog的工作原理 HBase的底层是廉价的低端机因此需要通过日志的发生来恢复故障 HBase为每个Region服务器都配置了公共的HLog 故障恢复 Zookeeper来监视整个集群会通知Master出问题的服务器需要将故障服务器的内容迁移Master会将故障服务器的HLog文件取出包含故障服务器的各个Region对象以及日志记录然后对HLog的日志记录拆解为不同的Region的日志记录因为所有的Region的日志都记录在HLog中最后将这些Region分配到其他可用的Region服务器上去 为何不每个Region设置单独的HLog文件 因为这样对于每个Region的更新操作需要写入不同的HLog文件是非常耗时的而且集群出故障的时间远少于正常运行的时间所有公共的HLog文件的可以大大提升写入性能
4.5 HBase的应用方案 HBase在实际应用中的性能优化方法 若想把时间靠近的数据存在一起 提升读写性能 节省存储空间 将到达时间限制的一些数据清楚即使它没有到达版本最大数 HBase如何检测性能 可以通过以下几种工具Master-status、Ganglia、OpenTSDB、Ambari Master-staus Ganglia OpenTSDB Ambari SQL语句查询HBase上相关数据 SQL易于使用大部分人对HBase比较陌生但是对SQL比较熟悉 HBase原生代码查询数据编写代码较多SQL是非过程语言很多系统的底层会帮它生成相关操作 Hive和Phoenix 构建HBase二级索引 原生的HBase不支持对于各个列构建相关的索引默认支持对rowkey行键进行索引 HBase0.92版本引入新特性Coprocessor可以支持二级索引 Coprocessor如何构建二级索引 其提供两个实现endpoint和observer Endpoint相当于关系型数据库的存储过程observer相当于触发器 每次往HBase表中插入数据时observer会监测到会将插入的数据同步写到索引表 此时在HBase中就存在了主表和索引表 索引表不是HBase内部自身的是由其他产品帮其构建的二级索引是通过Coprocessor格外开发的程序对不同的其他列进行索引 Coprocessor构建二级索引的优点和缺点 优点非侵入性引擎构建在HBase之上既没有对HBase进行任何改动也不需要上层应用做任何妥协缺点每插入一条数据需要向索引表插入数据即耗时是双倍的对HBase的集群压力也是双倍的 HBase的应用方案 Redis的方案将索引写入到Redis的缓存数据库中定期的把索引更新到HBase底层数据库可以避免频繁更新磁盘索引表的问题 SolrHBase:Solr服务器构建其他列和行键之间的对应关系输入其他列的某一个值可以快速找到这个列对应的行键通过行键快速找到HBase记录
4.6 HBase安装和编程实战
见:HBase2.5.4安装和编程实践指南_厦大数据库实验室博客 (xmu.edu.cn)
