大学生心理咨询网站建设论文,专业网站搭建报价,深圳做微商网站制作,建论坛网站impala是Cloudera公司主导开发的新型查询系统#xff0c;它提供SQL语义#xff0c;能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
虽然Hive系统也提供了SQL语义#xff0c;但由于Hive底层执行使用的是MapReduce引擎#xff0c;仍然是一个批处理过程#xff0c;难以满…impala是Cloudera公司主导开发的新型查询系统它提供SQL语义能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
虽然Hive系统也提供了SQL语义但由于Hive底层执行使用的是MapReduce引擎仍然是一个批处理过程难以满足查询的交互性。相比之下impala的最大特点也是最大卖点就是它的快速。
换句话说impala是性能最高的SQL引擎它提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。
场景案例
假如我们在hive中有一些数据希望通过impala查询这时我们就需要把hive的数据同步到impala每当hive表的数据或表结构发生变更就需要对impala中的刷新元数据和刷新表。
使用方式
invalidate metadata
该命令是用于刷新全库或者某张表的元数据包括表的元数据和表内的文件数据执行这条命令时它会首先清除表的缓存然后从metastore中重新加载全部数据并缓存该操作代价比较繁重主要用于在hive中修改了表的元数据需要同步到impala例如create table(创建表)、drop table(删除表)、alter table add columns(修改表结构)等。
如果只是涉及到表的数据改变则不需要使用invalidate metadata 。而是使用refresh命令就可以了。
invalidate metadata 语法
invalidate metadata //重新加载所有库中的所有表
invalidate metadata [table_name] //重新加载指定的某个库中某张表
注意避免只是使用invalidate metadata后面没有条件限制。如果没有条件限制还不如重启catalog。
例如
impala-shell -i node_name -q invalidate table_name
refresh 命令是用于刷新某个表或者某个分区的数据信息它会重用之前的表元数据仅仅执行文件刷新操作它能够检测到表中分区的增加和减少主要用于表中元数据未修改数据的修改例如insert into(插入数据)、load data(加载数据)、alter table add partition(新增分区)、alter table drop partition(删除分区)等如果直接修改表的hdfs文件增加、删除或者重命名也需要指定refresh刷新数据信息。
refresh 语法
refresh [table_name] //刷新某个库中某张表
refresh [table_name] partition [partition] //刷新某个库中某张表的某个分区
例如
impala-shell -i node_name -q refresh table_name
总结:
如果在使用过程中涉及到了元数据或者数据的更新则需要使用这两者其中一个操作来完成从上面分析我们知道invalidate metadata操作比refresh要重量级。
如果涉及到表的schema改变使用invalidate metadata [table_name]
如果只是涉及到表的数据改变使用refresh [table_name]
如果只是涉及到表的某一个分区数据改变使用refresh [table_name] partition [partition]。
