网站建设有什么看法,成都医院网站建设,安康哪里做网站,幻灯片模板1、Apache Hive 概述
1.1、分布式SQL计算
对数据进行统计分析#xff0c;SQL是目前最为方便的编程工具。
大数据体系中充斥着非常多的统计分析场景 所以#xff0c;使用SQL去处理数据#xff0c;在大数据中也是有极大的需求的。
MapReduce支持程序开发#xff08;Java…1、Apache Hive 概述
1.1、分布式SQL计算
对数据进行统计分析SQL是目前最为方便的编程工具。
大数据体系中充斥着非常多的统计分析场景 所以使用SQL去处理数据在大数据中也是有极大的需求的。
MapReduce支持程序开发Java、Python等 但不支持SQL开发
1.2、分布式SQL计算 - Hive
Apache Hive是一款分布式SQL计算的工具 其主要功能是
将SQL语句 翻译成MapReduce程序运行基于Hive为用户提供了分布式SQL计算的能力 写的是SQL、执行的是MapReduce。 1.3、为什么使用Hive
使用Hadoop MapReduce直接处理数据所面临的问题
人员学习成本太高 需要掌握java、Python等编程语言。MapReduce实现复杂查询逻辑开发难度太大 。
使用Hive处理数据的好处
操作接口采用类SQL语法提供快速开发的能力简单、容易上手。底层执行MapReduce可以完成分布式海量数据的SQL处理。
2、模拟实现Hive功能
如果让您设计Hive这款软件要求能够实现
用户只编写sql语句Hive自动将sql转换MapReduce程序并提交运行处理位于HDFS上的结构化数据。
如何实现
2.1、元数据管理
假设有如下结构化文本数据存储在HDFS中。
假设要执行 SELECT city, COUNT(*) FROM t_user GROUP BY city;
对这个SQL翻译成MapReduce程序会出现哪些困难
针对SQLSELECT city, COUNT(*) FROM t_user GROUP BY city;若翻译成MapReduce程序有如下问题
数据文件在哪里使用什么符号作为列的分隔符哪些列可以作为city使用city列是什么类型的数据 所以我们可以总结出来第一个点 即构建分布式SQL计算 需要拥有元数据管理功能即
数据位置数据结构等对数据进行描述
2.2、解析器
解决了元数据管理后我们还有一个至关重要的步骤 即完成SQL到MapReduce转换的功能。
我们称呼它为SQL解析器期待它能做到
SQL分析。SQL到MapReduce程序的转换。提交MapReduce程序运行并收集执行结果。
2.3、基础架构
所以当解析器也拥有了之后我们就完成了一款基于MapReduce的分布式SQL执行引擎的基础构建。
即核心组件需要有
元数据管理帮助记录各类元数据。SQL解析器完成SQL到MapReduce程序的转换。
当拥有这2个组件 基本上分布式SQL计算的能力就实现了。
2.4、ive架构
Apache Hive其2大主要组件就是SQL解析器以及元数据存储 如下图。
3、Hive基础架构
3.1、Hive架构图 3.2、Hive组件
3.2.1、元数据存储
通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字表的列和分区及其属性表的属性是否为外部表等表的数据所在目录等。
– Hive提供了 Metastore 服务进程提供元数据管理功能
3.2.2、Driver驱动程序包括语法解析器、计划编译器、优化器、执行器
完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中并在随后有执行引擎调用执行。
这部分内容不是具体的服务进程而是封装在Hive所依赖的Jar文件即Java代码中。
3.2.3、用户接口
包括 CLI、JDBC/ODBC、WebGUI。其中CLI(command line interface)为shell命令行Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互类似于JDBC或ODBC协议。WebGUI是通过浏览器访问Hive。
– Hive提供了 Hive Shell、 ThriftServer等服务进程向用户提供操作接口。
结束 hy:38 低级的快乐来自放纵高级的快乐来自克制。
