昆明市网站建设公司,怎么写代码自己制作网站,书店网站规划与建设,wordpress图文教程这篇文章主要浅谈一下我对大数据生态体系建设的理解。 大数据生态系统为高并发#xff0c;高吞吐#xff0c;高峰值#xff0c;高堆积等大规模数据的采集#xff0c;处理#xff0c;计算#xff0c;存储#xff0c;服务提供了完善的处理体系#xff0c;致力于打造核心数…这篇文章主要浅谈一下我对大数据生态体系建设的理解。 大数据生态系统为高并发高吞吐高峰值高堆积等大规模数据的采集处理计算存储服务提供了完善的处理体系致力于打造核心数据中台建设实现整个生态的高可扩展和高弹性对数据熵的聚变提供基础数据处理支撑贯穿整个阿里大数据生态体系和应用场景对外暴露数据应用层采用适配原则可以和各类集团内应用提供统一的访问和回调接口对于接受到的数据处理和计算请求会交给数据服务层进行数据清洗转换和预处理然后会把数据交由数据计算层来进行数据分拣计算提炼出最有价值的数据来实现业务场景最佳适配数据计算层主要采用流批一体的处理思想结合各类离线和实时计算平台等自研发的大数据和云计算处理服务来实现大规模高精准的数据计算挖掘出最有价值的数据提炼数据价值同时集成了数据整合和管理体系和工具来进行最终的数据萃取。数据采集层则主要负责增全一体从各类关系型/非关系型数据库大数据存储引擎中间件容器中借助各类自研发日志采集服务实现实时/离线采集日志/增全量数据使用drc等实时数据流基础设施实现数据同步结合动态表流表对偶性等实时计算核心概念实现流表数据同步和转换支持各类数据溯源。数据采集层和数据计算层通过各类自研发消息中间件/数据传输中间件实现数据同步同时对于数据计算层引入了数据仓库和模型的概念采集到的数据经过提炼和萃取后会保留有意义的数据到各类数据仓库中并基于元数据存储引擎对数据进行建模对外统一暴露调度运行态的数据模型进行业务处理内部封装了所有的大数据采集计算和存储服务。 实时计算平台也叫做开放流计算服务核心API是AntPL SQL弃用了DataStreamAPI原因是SQL具有很多特性比如声明式自动调优易于理解扩展性强运行稳定流批一体。比如很多人知道的Apache Flink就是一个面相集团的开放流计算服务它的底层runtime就是一个统一了流和批的底层处理引擎而SQL恰好可以在API层面实现流和批的统一。Flink最大的特点就是流批一体的高性能高效率面向大数据的实时数据计算引擎可以随着时间变化和数据变化不断更新结果始终处于运行状态对于运行期数据源数据的增量变更会采取增量监听抓取和实时计算的方式生成新的动态表流新的动态表流又会作为下一个连续查询的输入源继续参与计算以此类推最终会形成一个完整的数据流。在实时计算中动态表可以理解为随着时间变化不断更新的表流可以理解为是一个具有输入输出的数据通道流和动态表是可以通过changelog进行相互转换的那么我们就把这种特性叫做流表的对偶性因为我们传统sql都是批处理是不支持流处理的无论是概念上还是语法上都不方便无法在批流之间建立映射关系因此如果我们要定义流sql就需要结合Flink SQL的核心概念连续查询来实现Flink SQL流批一体可以通过一套SQL定义同时实现批流处理并且对接了绝大多数数据源进行输入输出比如各类RDB ClusterRandomAntQMetaQDataHubTimeTunnelTDDLSLSDRC融合队列HBaseExploerODPS等等连续查询往上走还可以上升到维度的概念啊分层的概念啊数据分层多流关联维表关系等等再此先不再深入讨论流式SQL的衍变。 Flink SQL核心功能莫过于DataHubMetaQRocketMQOTS进行数据分层和流表维表关联读写往深点说还有很多高级特性比如双流JOIN维表JOINTopN窗口计算和水位多路输入输出MiniBatchRetraction等机制实现early-fire支持各类语言的数据计算任务研发质量管理整合运维保障已经实现了跨语言跨数据源跨地域的实时计算开发和管理。兼容T-SQLPL/SQLJavaCPythonSpark-JarGolang等等内置各类大数据处理引擎如SparkODPSKeplerFlink结合大数据存储引擎HBaseExplorerODPSRDS Cluster等等实现数据从数据采集数据处理数据计算数据服务数据应用的全产业链高效稳定发展必将为DT时代大数据发展注入更多技术支持能够兼容更多的大数据业务场景因此数据中台建设是所有基础设施建设中非常重要的一环。
