东莞网站设计方案,广州做服装电商拿货的网站,广告软文怎么写,石岩小学网站建设HBase是Hadoop生态系统中的一个组件#xff0c;是一个分布式、面向列存储的内存型开源数据库#xff0c;可以支持数百万列#xff08;MySQL4张表在HBase中对应1个表#xff0c;4个列#xff09;、超过10亿行的数据存储。可用作#xff1a;冷热数据分离HBase适合作为冷数据…HBase是Hadoop生态系统中的一个组件是一个分布式、面向列存储的内存型开源数据库可以支持数百万列MySQL4张表在HBase中对应1个表4个列、超过10亿行的数据存储。可用作冷热数据分离HBase适合作为冷数据存储存储和查询海量历史数据MySQL适合作为热存储存储支持数据读写、事务操作归档近期未更新的历史数据新增数据至HBase再删除MySQL记录海量流水记录流水记录可随时新增字段适合存储海量流水记录1、HBase内存调优HBase硬件层面的调优主要包含内存和CPU。1内存调优 HBase操作过程中需要大量的内存开销table是可以缓存在内存中的一般会分配整个可用内存的70%给HBase的Java 堆。但是不建议分配非常大的堆内存因为GC垃圾回收过程持续太久会导致HBase Region Server处于长期不可用的状态一般16-48G即可。2HBase CPU调优 HBase 在应用上的各种操作对CPU的消耗也比较大如频繁使用过滤器对数据进行匹配查询、搜索查询和过滤多条件组合扫描查询压缩操作频繁等。如果CPU配置过低会导致HBase集群负载比较高造成线程阻塞所以CPU核数越多越好。2、HBase JVM性能调优HMaster不会处理过重的负载并且实际数据不经过HMaster所以垃圾回收时HMaster通常不会产生问题。在HBase Region Server写入数据时数据会先保存在memstore中当写入的的数据大于memstore阈值时数据会写入磁盘。因为写入的数据是由客户端在不同事件写入故占据的Java堆空间很可能时不连续的会出现孔洞所以需要对Region Server的JVM垃圾回收进行优化。
