河南做网站高手排名,网站制作的方法,商城网站开发项目分工,南昌免费网站建站模板星环科技大数据基础平台TDH社区版#xff0c;在保留了商业版核心技术优势的基础上最大程度地降低了用户使用大数据技术的门槛与成本#xff0c;具有更轻量、更简单、更易用等特性。
此次TDH社区开发版、社区版、社区订阅版均发布了新版本#xff0c;带来新的产品组件和新的…星环科技大数据基础平台TDH社区版在保留了商业版核心技术优势的基础上最大程度地降低了用户使用大数据技术的门槛与成本具有更轻量、更简单、更易用等特性。
此次TDH社区开发版、社区版、社区订阅版均发布了新版本带来新的产品组件和新的功能为用户提供更为便利、简单、易用的大数据平台产品。 TDH社区开发版-新产品单机版搜索引擎和图数据库
TDH社区开发版仅需单台服务器即可一键安装部署让众多开发爱好者可以0成本、低门槛快速的构建数据开发环境。此前社区开发版包含Inceptor关系型分析引擎以及Hyperbase宽表数据库、向量数据库Hippo等组件满足关系型数据分析、数据仓库、历史数据查询、在线检索等场景。
此次TDH社区开发版正式推出Scope搜索引擎以及StellarDB图数据库满足用户在多样化数据检索以及使用图模型探索数据关联关系等方面的需求。
在延续了社区开发版单机部署、简单易用等特性的基础上新发布的两款产品还具有以下特性 搜索引擎Scope支持结构化、半结构化及图片、音影、互联网数据等非结构化数据存储提供海量数据的交互式多维检索分析服务帮助用户快速实现日志收集分析、表单数据处理等场景以及搜索引擎、分析检索等应用开发 图数据库StellarDB提供高性能的图存储、计算、分析、查询和展示服务。支持原生图存储具备 深度链路分析能力提供丰富的图分析算法和深度图算法帮助用户快速开发欺诈检测、推荐引擎、社交网络分析、知识图谱等应用。 TDH社区版-新功能解决小文件、数据倾斜等问题 新功能1海量小文件问题救星
随着每日增量数据的插入以及可能的数据重复插入小文件数量与日俱增导致长GC、OOM、集群不稳定增加计算资源开支等一系列问题因此小文件治理是必要的也是迫切的。
星环科技产品针对不同表格式均有对应的Compact机制例如针对Holodesk表用户可以使用Compact Service小文件合并专用服务进行小文件合并任务该服务在组件级别做了隔离开启后不会影响Quark的查询计算性能合并效果更好。
开源产品普遍使用非事务存储格式如RCFile、ORC等非事务表合并小文件需要根据每一张表的数据量和分布手动编写任务进行重写来实现小文件合并而在这个阶段表无法对外提供服务只能读不能写相关业务受到影响。
星环科技采用了全新的技术针对这个场景设计了新的算法在任务运行过程中动态的执行小文件合并操作能够确保在合并过程中Quark端的业务包括表的读写删除等操作不被长时间阻塞并成功执行不报错。
TDH社区版引入了企业版针对非事务表小文件治理的能力社区版用户也可以高效治理集群内的小文件无需担心因为处理不及时影响业务系统。
此外社区版还引入了归档分区功能针对一些较少访问及更改的历史数据及分区信息用户可以选择跨分区进行合并进一步减少存储开销、元数据管理开销以及任务调度开销。
新功能2数据倾斜治理好帮手
数据倾斜是指在并行处理海量数据时单个task上需要处理大量的数据某些节点会比其他节点需要更长的时间运行才能完成数据计算导致并行处理效率受到限制也造成了空闲节点的资源浪费。通常可以采用针对倾斜的key单独处理或MapJoin等方式进行处理但像MapJoin主要适用于大小表关联的情况。
社区版此次针对大表与大表之间进行关联场景新增了新的SkewJoin功能能够智能地处理大表之间的连接操作有效减少查询响应时间可在一定程度缓解大表关联场景下的数据倾斜问题。
新功能3全新Manager
Manager为所有核心组件提供统一的管理和运维能力保障集群稳定运行。此次Manager UI全新升级结合新增的监控工具提升了系统、节点、服务等的关键指标的易读性和易操作性使数据洞察一目了然助力用户快速把握全局态势。同时针对超大集群下管理节点上下线、服务配置等操作实现了升级性能提升了近10倍大幅降低用户配置操作时间。
TDH社区订阅版—新产品大数据开发工具TDS 在构建大数据平台的过程中除了大数据基础平台本身利用大数据开发套件高效实现数据集成和开发也是建设过程的关键。
星环科技大数据开发工具 Transwarp Data Studio (TDS)为企业提供了一站式统一的数据开发平台各个套件可以支持多个场景的使用需求如数据开发、数据治理或者综合性的数据中台等场景。针对更加细分的场景如任务流调度、血缘分析或数据资产门户等TDS可以支持组件的灵活组合提供更综合的能力服务。
此次TDH社区订阅版上架了TDS系列数据开发套件提供了数据集成、SQL开发和任务调度等能力帮助用户将数据归集到数据仓库和数据湖可以更高效地完成数据统一化。 数据库开发工具Waterdrop数据库管理工具可以进行跨平台管理可作为Inceptor SQL 客户端还支持并兼容其余多种数据库帮助用户实现数据库管理、SQL 编辑、SQL 执行和数据操作。 任务调度软件Workflow帮助用户通过图形化的界面设计完整的业务流程、设置执行时间、定义任务之间的依赖关系并自动调度所设流程允许取消超时任务、重试错误任务等来提供任务可靠性能够支持日均百万级任务的分布式调度系统。 大数据整合工具Transporter将分散于各个地方、各种平台上的各种格式的数据同步或集成到大数据平台上通过简洁、统一的可视化 界面快速配置数据流转流程实现异构平台和数据源之间的数据流转。 数据库在线开发与协同工具SQLBooK提供了 SQL 的编辑、智能 提示、编译、调试和可视化结果展现等的开发功能还提供 SQL 审核、版本管理、数据源管理等管理能力可以帮助开发者即插即用地做数据探索与开发。
