做汽车价格的网站建设,程序员帮人做黑彩网站,设计公司企业价值观,坂田网站的建设什么是GreenPlum#xff1f;GreenPlum是业界最快最高性价比的关系型分布式数据库,它在开源的PostgreSQL的基础上采用MPP架构#xff08;Massive Parallel Processing#xff0c;海量并行处理#xff09;,具有强大的大规模数据分析任务处理能力。GreenPlum作为大数据融合存储…什么是GreenPlumGreenPlum是业界最快最高性价比的关系型分布式数据库,它在开源的PostgreSQL的基础上采用MPP架构Massive Parallel Processing海量并行处理,具有强大的大规模数据分析任务处理能力。GreenPlum作为大数据融合存储平台中众多数据库之一与其他数据库系统和文件系统一起为OceanMind提供完整的OceanStorage大数据融合存储解决方案。GreenPlum的特点数据的强一致性GreenPlum数据库支持分布式事务支持ACID保证数据库中数据的强一致性。标准SQL接口比MapReduce接入更方便 完整的分布式事务能力确保强数据一致性 近乎线性的在线扩展能力 高并发数据加载技术 高灵活的行、列以及混合存储及压缩技术 高可用技术方案 丰富的生态系统便捷对接hadoop等良好的线性扩展能力GreenPlum数据库采用MPP架构其基本特征是有多台SMPSymmetric Multi-Processor对称多处理器服务器通过节点互联网络连接而成是一种Share Nothing完全无共享结构因而扩展能力最强理论上可以无限扩展。目前的技术可以实现512个节点互联包含数千个CPU。借助MPPGreenplum在大型数据集上执行复杂SQL分析的速度比很多解决方案都要快。Greenplum也带来了其它开源方案中没有的数据管理质量特性、升级和扩展能力。同时Greenplum也降低了大规模实时数据分析的门槛相比于 Map-ReduceSQL语法简单功能强大易上手使用和开发成本低易于对接其他第三方数据分析工具。GreenPlum数据库 VS传统数据库使用传统数据库时我们经常会通过分库分表的方式将数据打散到多个数据库实例中。其缺点在于可能会出现不平均的情况数据在后端被打散成许多数据分片但是有些分片的数据量很大热度很高有些分片相对来说热度较低。当进行数据统计或分析时一部分用户数据处理速度慢一部分用户数据处理速度快使得许多用户的体验下降。GreenPlum数据库采用分而治之的方法将数据非常均衡的分布在所有节点上。而且当服务器数量不够或者计算能力不够的时候可以在线横向扩展此时数据库会重新做二次分片也就是表数据需要重新分布在保证强大处理能力的同时也时刻保持用户性能的均衡提升用户体验。GreenPlum分析Greenplum是一个关系型数据库是由数个独立的数据服务组合成的逻辑数据库。与oracle RAC的shared-Everything架构不同greenplum采用shared-NothingMPP架构整个集群由多个数据节点Segment Host和控制节点Master Host组成。在典型的shared-Nothing中每个节点上所有的资源的cpu、内存、磁盘都是独立的每个节点都只有全部数据的一部分也只能使用本节点的数据资源节点之间的信息交互都是通过节点高速互联网络实现其主要的优点是大规模的并行处理能力。在Greenplum中需要存储的数据在进入到数据时将先进行数据分布的处理工作将一个表中的数据平均分布到每个节点上并为每个表指定一个分布列distribute column,之后便根据hash来分布数据基于shared-Nothing的原则Greenplum这样处理可以充分发挥每个节点处IO的处理能力。Greenplum对标准SQL的支持非常完善。一个SQL执行后经过Master节点会进行执行计划的拆分下发到下面的n个节点中并行处理。再到Master节点进行汇总。大规模数据存储 GreenPlum数据库通过将数据规律地分布到多个节点上来实现大规模数据的存储支持50PB级海量数据的存储和处理。Greenplum数据库通过将数据分布到多个节点上来实现规模数据的存储。数据库的瓶颈经常发生在I/O方面数据库的诸多性能问题最终总能归罪到I/O身上久而久之IO瓶颈成为了数据库性能的永恒的话题。Greenplum采用分而治之的办法将数据规律的分布到节点上充分利用Segment主机的IO能力以此让系统达到最大的IO能力主要是带宽。在Greenplum中每个表都是分布在所有节点上的。Master节点首先通过对表的某个或多个列进行hash运算然后根据hash结果将表的数据分布到Segment节点中。整个过程中Master节点不存放任何用户数据只是对客户端进行访问控制和存储表分布逻辑的元数据。 Greenplum提供称为“多态存储”的灵活存储方式。多态存储可以根据数据热度或者访问模式的不同而使用不同的存储方式。一张表的不同数据可以使用不同的物理存储方式。支持的存储方式包含行存储行存储是传统数据库常用的存储方式特点是访问比较快多列更新比较容易。行存储比较适合OLTP业务适合频繁的更新或访问大部分字段的场景。Greenplum作为一款HTAP数据库做了很多对OLTP场景的优化在这种场景下可以选用行存储。列存储列存储按列保存不同列的数据存储在不同的地方通常是不同文件中。适合一次只访问宽表中某几个字段的情况。列存储的另外一个优势是压缩比高。列存储更适合压缩查询列子集时速度快适用于分析型场景。不同列可以使用不同压缩方式gzip(1-9)quicktzdeltaRLEzstd外部表数据保存在其他系统中例如HDFS数据库只保留元数据信息。外部表是PostgreSQL的优势之一Greenplum也继承了这一优势。历史数据和不常访问的数据存储在HDFS或者其他外部系统中。可以无缝查询所有数据。支持TextCSVBinaryAvroParquetORC格式。 并行数据加载 并行加载技术充分利用分布式计算和分布式存储的优势保证发挥出每一块Disk的I/O资源并行加载比串行加载速度提高40-50倍以上减少ETL窗口时间增加Segment和ETL Server并行加载速度呈线性增长主流的系统架构主流的系统架构主要有三类对称多处理结构SMP非一致存储访问结构NUMA和海量并行处理架构MPP。SMP较为典型的包括Oracle、MySQL等特点存储包括CPU、内存和IO都是共享的。在一台机器就能支撑起整个网站的Web时代SMP架构是非常流行的足以支撑前端业务。不足扩展能力有限。随着业务的扩大数据量的增长在业务场景上就有了很大的限制。NUMA特点拥有多个CPU模块每个模块由多个CPU组成有独立的本地内存节点之间通过互联模块进行连接和信息交互较好解决SMP系统的扩展问题。不足互联模块访问效率和本地内存访问不在一个效率层级系统性能无法随着CPU数线性增加。MPP例如Greenplum的架构特点MPP是采用SMP组成的多个服务器多个服务器共同完成任务。在硬件使用上可以发挥SMP架构的优势多节点并行处理时内存、CPU、网络、IO、磁盘均不共享即Share-Nothing架构每个节点只访问本地内存和存储节点信息交互和节点本身是并行处理的。所有数据节点角色一样可以提升并行计算能力。Share Nothing节点之间数据不共享只有通过网络连接实现的协同每个节点有独立的存储和内存。数据根据某种规则(如Hash)散布到各个节点计算任务也是会发布到各个节点并行执行后再将结果聚合到整体返回用户使用时会看做整体不足MPP架构也存在一些不足如果多台服务器在进行并行处理时如果有一台服务器出现部分性能下降会影响到整个MPP集群的性能即木桶的短板效应。MPP架构集群规模不能过大不能像Hadoop那样几千个集群同时运行某个查询逻辑。此外并发度不能过高。MPP架构正常情况下都是进行两阶段事务提交的需要有一个事务汇总和底层事务查询的过程如果并发过高资源损耗会过大会影响到整体系统的响应。不同的系统架构有其擅长的应用场景很难说某个架构更好在其擅长的应用场景下都可以发挥其优势。Greenplum架构 GreenPlum数据库是典型的Master/Slave架构。在Greenplum集群中存在一个Master节点和多个Segment节点。Master实例是GreenPlum数据库服务端服务端通过端口监听客户端连接。Segment由Master分配管理一部分数据存储进程每个Segment都采用独立端口监听。Master实例协调所有数据库实例分布式请求Segment并且合并从Segment返回的结果。Greenplum数据库是由Master Server、Segment Server和Interconnect三部分组成Master Server和Segment Server的互联使用过Interconnect。图中的架构可以被拆解为三部分来看第一部分是上面的Master节点第二部分是中间的高速交互网络第三部分是下面的Segment 节点是存储生产数据的地方会利用多个不同的机器将数据均匀分布在上面。例如图中使用了5台机器数据会被均匀分布在这5台机器上充分利用MPP架构的优势5台机器同时运算从而提高查询效率。Master 节点是整个系统的控制中心和对外的服务接入点它负责接收用户SQL请求将SQL生成查询计划并进行并行处理优化然后将查询计划分配到所有的Segment节点并进行处理协调组织各个Segment节点按照查询计划一步一步地进行并行处理最后获取到Segment的计算结果再返回给客户端。从用户的角度看Greenplum集群看到的只是Master节点无需关心集群内部的机制所有的并行处理都是在Master控制下自动完成的。Master节点一般只有一个或二个。 Segment节点: 是Greenplum执行并行任务的并行计算节点它接收Master的指令进行MPP并行计算因此所有Segment节点的计算性总和就是整个集群的性能通过增加Segment节点可以线性化得增加集群的处理性能和存储容量Segment节点可以是1~10000个节点。外部数据在加到Segment时采用并行数据流进行加载直接加载到Segment节点这项独特的技术是Greenplum的专有技术保证数据在最短时间内加载到数据库中。Interconnect: 是Master节点与Segment节点、Segment节点与Segment节点之间进行数据传输的组件它基于千兆交换机或者万兆交换机实现数据再节点之间的高速传输。Greenplum适用场景Greenplum虽然是关系型数据库产品它的特点主要就是查询速度快数据装载速度快批量DML处理快。而且性能可以随着硬件的添加呈线性增加拥有非常良好的可扩展性。因此它主要适用于面向分析的应用。比如构建企业级ODS/EDW或者数据集市等等。GP常用指令GP常用指令好文参考https://blog.csdn.net/m0_51197424/article/details/123524159官方文档http://docs-cn.greenplum.org/v6/admin_guide/intro/about_loading.html
