罗庄区住房和城乡建设局网站,赣州网站建设费用,网络seo是什么,手机网站建设计1、数仓选型对比如下(先列举表格#xff0c;后续逐个介绍)
数仓应用目标产品特点适用于 适用数据类型数据处理速度性能拓展 实施难度运维难度性能优化成本传统数仓(SQLServer、Oracle等关系型数据库)面向主题设计的#xff0c;为 分析数据而设计基于Oracle、 SQLServer、MyS…1、数仓选型对比如下(先列举表格后续逐个介绍)
数仓应用目标产品特点适用于 适用数据类型数据处理速度性能拓展 实施难度运维难度性能优化成本传统数仓(SQLServer、Oracle等关系型数据库)面向主题设计的为 分析数据而设计基于Oracle、 SQLServer、MySQL 等关系型数据在复杂关联、汇总、 事务处理方面能力 强适合数据量小、 高可靠、数据价值密 度高的应用多适用于结构化数据利用处理过程的中间 表分析查询速度可 比原有速度提高3~5倍单表上亿性能断崖 式下跌拓展性能差难度普通 技术比较成熟相对简单优化的大致原理有2个 一是数据分块存储便 于数据的存储和管理 二是中间处理提高数 据提供的速度。软件费用实施费用 成本较低MPP数仓(以GreenPlum为例)在传统数仓之上搭建 并行数据库系统。充 分发挥计算机的优 势提高数据库系统 的整体性能MPP架构、TB级处 理支持大量运算 关系型数据库适合结构化数据的深 度分析、复杂查询以 及多变的自助分析类 应用、数据集市等关系数据方面有优 势比较适合比如电 信、银行这类数据主 要以结构化存储的企 业或组织相比传统数仓速度 为几倍至几十倍性能可随着硬件的扩 容呈线性增加拥有 非常好的可扩展性 扩展上限为几百难度中等 较成熟中等技术角度模型优化、 查询执行计划。业务角 度全量刷新改增量刷 新减少计算量充分 利用已计算的指标每2~3TB一个节点 硬件配置不用太高 GP产品免费但实 施优化单价较高成 本中等Hadoop数仓分布式数据库系统主 要目的在于实现场地 自治和数据的全局透 明共享而不要求利 用网络中的各个节点 来提高系统处理性能Hadoop架构、 HDFS、MR和 Hive,支持海量运 算非关系型数据 库TB或更大数据 量并发多的场景适合海量数据存储查 询、批量数据ETL、 非结构化数据分析等可以基于Hadoop 开发处理结构或非结 构化数据的应用适 用于互联网领域相比传统Oracle数 仓速度为几倍至几 十倍(瓶颈阈值高于 MPP数仓) 支持量高的动态扩 容扩展上限为几千实施难度高 要求较高较难Hadoop性能调优不 仅涉及Hadoop本身 的性能调优还涉及更 底层的硬件、操作系统 和Java虚拟机等系统 的调优需要大量的节点支 持实施人员需要专 业对口同时需要对 应的非通用sql支 持成本较高
