校园二手交易网站开发背景,西安装修公司排名,餐饮加盟网站制作,你的安全设置不允许网站本资料来源公开网络#xff0c;仅供个人学习#xff0c;请勿商用#xff0c;如有侵权请联系删除。部分资料内容#xff1a;
一.1.1 数据采集子系统
数据采集需要实现对全区各委办单位的数据采集功能#xff0c;包括离线采集、准实时采集和实时采集的采集方式#xff0c;根…本资料来源公开网络仅供个人学习请勿商用如有侵权请联系删除。部分资料内容
一.1.1nbsp;数据采集子系统
数据采集需要实现对全区各委办单位的数据采集功能包括离线采集、准实时采集和实时采集的采集方式根据各委办局业务数据的情况进行采集技术的实现。
Ønbsp;数据采集政府数据来源多样包含视频类数据、物联感知类数据以及传统的政务公共数据各数据来源的数据格式也不一致在收集的过程中需对数据进行规范化处理以便于管理使用。
Ønbsp;大数据存储实现现有应用的大量结构化数据、半结构化数据以及将全市统一规划的大量图片、视频资料等非结构化数据的存储需求要求大数据基础平台采用分布式文件系统实现对汇聚的多类型海量数据的存储。
Ønbsp;大数据分析计算数据分析的处理速度、准确度对实际应用的及时性、高效性都有至关重要的影响。大数据平台提供分布式计算、流式计算、内存计算多种数据计算引擎能够针对不同的场景采用不同的计算模型对数据进行大规模批量处理或者实时处理大大提升政府部门的决策效率能力。
Ønbsp;分布式资源管理和调度Hadoop 2.0中的资源管理系统它是一个通用的资源模块可以为各类应用程序进行资源管理和调度。
Ønbsp;大数据集群运维管理作为运维系统为数据基础支撑子平台提供高可靠、安全、容错、易用的集群管理能力支持大规模集群的安装/升级/补丁、配置管理、监控管理、告警管理、用户管理、租户管理等。
一.1.2nbsp;数据治理子系统
建设大数据治理子平台提供数据标准管理、元数据管理、数据质量管理能力实现对数据的规范治理与管理提供数据工厂能力实现对归集的数据进行清洗、加工支撑业务的数据应用需求。具体在本次杨浦大数据资源平台建设项目中数据治理子平台的建设内容包括
Ønbsp;资源目录管理提供资源目录管理功能包括资源编目、目录提交、目录审核、目录发布、目录汇总、目录查询等
Ønbsp;数据标准管理提供数据标准管理功能包括字典标准管理、命名标准管理、维度标准管理及数据项标准管理
Ønbsp;元数据管理提供元数据管理功能包括元数据正向采集、元数据维护、元数据查询、元数据导入/导出、元数据血缘分析
Ønbsp;数据质量管理提供数据质量管理功能包括质量模型配置、质量规则管理、方案配置调度、质检结果查看、质检分析报告
Ønbsp;数据开发平台提供数据开发平台能力支持可视化开发和原生态开发两种开发模式实现原生态开发与可视化编排的互相转换
Ønbsp;统一调度管理提供统一调度管理功能提供流程设计与管理、调度策略管控、任务调度控制、等功能模块。
一.1.3nbsp;数据资源中心
在本次项目中我们需要制定全区公共数据汇聚的标准规范和管理制度归集全区各单位的政府公共数据形成XX市的数据资源湖。同时经过对数据进行清洗、转换、融合、治理后形成高质量的公共数据资源构建形成杨浦标准化数据仓库。
基于全区的数据资源湖利用经过治理后的数据可以针对某一特领域的业务数据共享、应用需求按主题归集形成专题库和主题库并面向政务部门及社会进行数据开放。此外我们还将持续开展、深入杨浦大数据的应用探索围绕跨部门、跨领域、跨行业的数据应用需求对数据实体进行数据关联、数据融合和衍生计算生成算法标签逐步建立不同领域的应用专题或主题库构建面向全区多部门提供统筹的数据共建共享共用的数据服务。具体在本次杨浦大数据资源平台建设项目中数据资源门户的建设内容包括
Ønbsp;建立XX市级数据湖构建全区公共数据的存储与计算空间支撑各类数据资源的汇聚存储、处理计算与查询应用并依据部门类别、数据源类别等提供资源隔离的多租户数据应用空间
Ønbsp;完成数据对接的实施完成与区各委办业务与管理系统、XX大数据资源平台以及物联网相关平台数据的对接汇聚各类业务数据形成全区公共数据资源池
Ønbsp;建设基础库建设全区统一的基础人口综合库、法人综合库、电子证照库以及地理空间库支撑全区人口、法人、电子证照与地理空间等数据相关应用
Ønbsp;建设主题库建设全区统一的产业经济主题库、电子证照主题库、权力事项主题库等支撑全区产业经济相关数据应用。
Ønbsp;主题库
围绕跨部门、跨领域、跨行业等的通用应用服务对数据实体进行数据关联、数据融合和衍生计算生成算法标签提供超级应用级数据服务。主题库的建设是为了满足某一特大型领域的业务共建共享需求需要多个部门合作在大数据主管部门的支撑下构建面向全区多部门提供统筹的数据共建共享共用的数据服务。
为了解决目前全区面向企业法人提供服务缺失基础数据的情况本次项目拟建设XX市企业精准服务主题库。
Ønbsp;专题库
面向特定领域专题应用的数据服务。一般由各自委办局自行开发建设也可以根据实际情况由委办局委托大数据中心代建代运营。作为领域的专题数据一般不作为支撑大型跨领域、跨行业的超级综合应用并向外部门提供数据服务更多的是满足部门自身需求。
一.1.4nbsp;数据共享子系统
为减少不同委办大数据服务中共性模块的重复建设实现对外服务的规范、安全管理和成功案例的快速复制最大程度吸引外部开发能力建设大数据对外服务基础平台提供数据交换管理、自助数据探索、个性化推荐、行业标签等共性服务功能实现大数据对外服务的快速部署。
建设数据共享服务将功能和接口要求以应用需求为导向在政务服务、市场监管、城市管理、社会治理等领域探索开展公共数据共享应用为跨区域协同发展提供数据支撑。
包含数据交换和服务管理支持结构化库表下发、文件共享、API接口共享、非结构化数据共享、接口代理等多种数据共享方式。
一.1.5nbsp;门户子系统
在XX市大数据资源平台项目的基础上扩展功能。主要包括消息推送、数据推送、个人信息管理、系统管理等功能。
建立数据开放门户主要实现数据目录、数据接口、数据应用、数据图谱、地图数据、互动交流、数据开发者、辅助事项、个人管理等各项门户目录的建设。包含业务流程申请、展示、统计、查询等功能。
Ønbsp;分析、统计、展示功能
将数据共享情况、数据归集情况进行统计分析后展示。可对填报、统计分析数据设置审批岗对数据进行双重把关对统计结果进行推送。KPI指标监控、监控指标预警信息及时推送、数据钻取实现由粗-细切换维度的数据分析、可视化图表易于信息获取。
Ønbsp;查询及业务流程申请功能
当委办向大数据中心提出查询要求需要通过申请审批完成数据资源分享同意后方可对委办开放查询服务以满足委办对于某项或某类数据的需要。
大数据中心对接委办的管理流程委办提出需求需要查询某数据项将在该门户提出申请如三清单一目录的申请直接进行登记。
一.1.6nbsp;统一运维子系统
为了实现杨浦大数据资源平台下的高效运行和维护提供标准化的监控管理指标和数据对云资源、应用和业务对象的性能数据管理、运行状态监视和告警管理等及时发现异常和潜在问题对云管理运行过程中的监控及容量使用情况等运维数据进行深入分析保障大数据资源平台稳定、高效的运行以及资源安全、合理的分配。构建一站式数据资产可视化管理实现对数据生产的全过程监控实现对数据资产的血缘谱系和信息资源目录的统一管理。
一.1.1nbsp;总架构图
本次项目建设的总体架构如下图一.1.1nbsp;数据治理子系统
建设大数据治理子平台提供数据标准管理、元数据管理、数据质量管理能力实现对数据的规范治理与管理提供数据工厂能力实现对归集的数据进行清洗、加工支撑业务的数据应用需求。具体在本次杨浦大数据资源平台建设项目中数据治理子平台的建设内容包括
Ønbsp;资源目录管理提供资源目录管理功能包括资源编目、目录提交、目录审核、目录发布、目录汇总、目录查询等
Ønbsp;数据标准管理提供数据标准管理功能包括字典标准管理、命名标准管理、维度标准管理及数据项标准管理
Ønbsp;元数据管理提供元数据管理功能包括元数据正向采集、元数据维护、元数据查询、元数据导入/导出、元数据血缘分析
Ønbsp;数据质量管理提供数据质量管理功能包括质量模型配置、质量规则管理、方案配置调度、质检结果查看、质检分析报告
Ønbsp;数据开发平台提供数据开发平台能力支持可视化开发和原生态开发两种开发模式实现原生态开发与可视化编排的互相转换
统一调度管理提供统一调度管理功能提供流程设计与管理、调度策略管控、任务调度控制、等功能模块。
一.1.1.1nbsp;流处理引擎
为企业级用户搭建统一的分布式流式数据处理平台实现统一的实时数据接入、处理、订阅全面保障实时的业务场景开发。
实时开发管理一站式完成流作业开发编排和管理能力同时根据流数据的特征进行统一建模管理
实时数据服务依据实时业务场景的特点提供个性化数据订阅和数据推送能力
实时分析处理主要对流式数据进行业务逻辑运算包括字段计算、多流合并、维度汇总和复杂事件处理
实时数据交换主要完成B域订购数据、缴费数据、消费数据等的采集、清洗转换、分发同时支持O域数据的采集一.1.1.1.1nbsp;实时流数据交换
采用Master-Slave的分布式架构针对不同系统的多种数据源提供一站式实时采集、预处理和分发的功能全界面化数据流采集配置和管理摆脱单调的自定义脚本和手动流程管理数据流。
·nbsp;异构系统间统一调度处理支持异构系统、平台、数据库间数据调度流程的编排、调度、处理和监控
·nbsp;全界面化操作能力丰富的图形化操作界面控件式无编码开发功能开发0门槛。
·nbsp;分布式线性动态扩展实现节点动态线性扩展从而满足高性能要求。
·nbsp;对第三方软件集成能力提供插件式开发将对外服务、集成功能封装成API供其他软件调用
一.1.1.1.2nbsp;实时流数据分析处理
通过高速分布式缓存Redis Cluster 完成流数据和批数据的关联运算满足多维度指标的分组统计运算、实时汇总计算、多流合并计算。
实时字段计算通过高速分布式缓存Redis Cluster 完成上网类、位置类、订单缴费类等流数据计算运算速度快高并发高吞吐并为用户提供托拉拽控件的方式完成SQL即可完成标签易用性强。
实时汇总计算实时增量/全量数据汇总分析支持多指标多维度并行计算汇总结果直接输出给外部系统使用提高效率支持SQL语法便捷、易用。
多流合并计算解决多种流数据合并处理例如位置流内容流的实时join场景完全基于Spark、Flink内存机制而非与外部组件交互提供双时间窗口设定机制规避时序性、延迟性。
一.1.1.1.3nbsp;实时数据开发
提供开发者基于控件模式的流数据开发编排能力屏蔽了复杂的底层开发过程降低开发门槛。提供向导式开发过程简单易用大幅提升客户感知。
一.1.1.1.4nbsp;实时任务监控及告警
全面展示作业运行的健康状态包括运行时长、任务的运行情况。
提供实时和历史的性能指标分析和展示同时提供性能优化的参数设定即时生效。
Kafka核心指标实时监控同时提供告警项和阈值设定实时分级展示告警信息。
一.1.1.2nbsp;关联检索引擎
通过提供数据的存储、建立丰富的索引多样化的查询接口支持各种结构化业务数据解析能够为更多的用户丰富的数据类型为多样化的业务提供通用的查询能力。
高效的查询性能通过对不同业务场景建立索引实现对流数据和批量数据的高效查询。
灵活的查询接口提供可视化查询界面和API查询接口通过定义丰富的查询参数支撑灵活的数据查询。
便捷的聚合查询通过定义预定义函数实现SQL的聚合查询屏蔽底层查询的复杂性。篇幅有限无法完全展示喜欢资料可转发评论私信了解更多信息。
