国网北京电力建设研究院网站,设计师服务平台官网,福建建设执业资格注册管理中心网站,携程做网站的流程导读#xff1a;9 月 25 日#xff0c;2023 飞轮科技产品发布会在线上正式召开#xff0c;本次产品发布会以 “新内核、新图景” 为主题#xff0c;飞轮科技 CEO 马如悦全面解析了现代化数据仓库的演进趋势#xff0c;宣布立足于多云之上的 SelectDB Cloud 云服务全面开放… 导读9 月 25 日2023 飞轮科技产品发布会在线上正式召开本次产品发布会以 “新内核、新图景” 为主题飞轮科技 CEO 马如悦全面解析了现代化数据仓库的演进趋势宣布立足于多云之上的 SelectDB Cloud 云服务全面开放增加了全新的私有仓库BYOC产品模式同时发布了更加自主可控的 SelectDB Enterprise 企业版。飞轮科技联合创始人兼 COO 连林江介绍了基于 SelectDB 的多个场景解决方案以及生态合作模式来自同盾科技、趣丸科技以及观测云的多位客户代表为大家分享了基于 SelectDB 的架构升级在真实业务场景中带来的收益未来飞轮科技将坚持以“客户价值”为出发点引领技术革新、以“开放共赢”为核心理念携手更多合作伙伴为行业注入新的活力。以下内容根据飞轮科技 CEO 马如悦演讲内容整理 免费试用 SelectDB Cloudhttps://cn.selectdb.cloud/ 距离上一次产品发布会已经有近一年的时间在这一年的时间里我们对于技术趋势、对于客户服务、对于市场需求都有了更加深度的思考因而我们的核心产品 SelectDB 也有了更加长足的进步因此很高兴可以给大家分享这一年我们所取得的成果——这就是我们今天发布会的主题 “新内核、新图景” 新内核指的是 SelectDB 产品内核将全面采用最新发布的 Apache Doris 2.0 版本新图景指的是新的产品定位与产品形态接下来将为大家一一阐述。
数据仓库的现代化趋势
纵观数据仓库的发展历程数据仓库的演进经历了三个阶段第一阶段即在 2010 年之前以 Teradata、Greenplum、IBM Netezza 为代表的传统数据仓库占据主流。 2010 年前后随着谷歌三驾马车的问世基于 Hadoop 的大数据平台成为大数据分析的基座成为第二阶段的事实标准。如今已经进入第三阶段现代化的数据仓库产品开始涌现这些产品兼顾了传统数据仓库的可靠性和性能优势以及对大数据的高效处理和实时分析能力。
总体而言数据仓库的三大现代化趋势为实时分析、湖仓融合以及云原生化。
实时分析大规模实时数据上的极速查询 随着时间的推移数据的利用价值逐步下降
过去大多数企业使用的传统数据仓库/大数据平台主要是对历史数据进行批量分析如果能对数据进行实时分析并将分析结果实时运用到业务之中毫无疑问将会进一步利用好数据的实时价值并驱动业务进步。因此到如今时代数据分析逐渐从原来的批量处理演变到现在的实时处理。
以业务分析需求的变化为例越来越多的企业开始采用实时报表和实时仪表盘展示数据取代了传统跑批任务生成的报表。而从批量生成的静态报表到交互式分析也是另一个典型趋势过去我们只需要跑一份静态报表而现如今现在很多公司内部都有大量的数据分析师需要与系统进行快速互动实时产出分析结果。此外数据结果不再仅限于人使用逐渐转向为机器和算法使用的实时决策系统。这些变化清晰地展现了一个新的趋势数据从批量处理逐渐转向实时分析已成为必然。
与此同时过去数据分析系统主要是给内部的运营决策或数据统计来使用而随着业务的发展、数字化转型的深化越来越多的数据分析开始面向业务的外部客户主要场景包括广告营销报表、物流实时看板、保险客户分析和交易明细查询等。这些都是数据分析需求由内到外的转换这种转变也要求我们的分析系统能够适应更多样化的业务场景。
在应对大规模数据的实时分析时核心挑战来自两个方面
随着数据实时写入数据库我们面临的挑战之一是如何以更低的延迟提供数据。我们需要降低数据传输和处理的延迟以提高数据的新鲜度并及时处理最新数据的变化。对于上层数据应用而言如何提供更快的查询、降低查询耗时。我们需要持续优化查询性能提高查询的快速响应度以满足上层数据应用的性能需求。
SelectDB 实现了大规模实时数据的极速查询
那么 SelectDB 是如何解决实时分析的难点呢一方面是 SelectDB 实现了 大规模数据的实时导入与实时存储
秒级的数据实时更新主键表与追加SelectDB 实现了实时数据的秒级可见在主键表和非主键表上实现了高效的实时更新和追加相比之下许多传统数据仓库甚至包括现在广泛使用的 Snowflake 和 Redshift 往往只能支持批量更新、甚至没有主键表的支持很难实现高频率的实时更新。数据库 CDC / Kafka 流式数据同步实时数据仓库的上游数据源往往来自 TP 数据库或 Kafka 消息队列 为此 SelectDB 内置了数据库的CDC变更数据捕获功能以及 Kafka 的流式数据同步功能能够实现秒级的数据同步。毫秒级轻量化表模式修改不止数据可以实时写入和更新对于表的模式Schema也需要进行快速变更以适应当今快速变化的业务环境。而 SelectDB 能够毫秒级提供 Schema 修改的功能同时 Schema 修改期间完全不影响在线业务的运行丰富的半结构化数据类型支持随着不同类型的数据不断增加半结构化数据类型也日益常见。SelectDB 通过引入 Array、Map、JSON 等数据结构能够高效支持半结构化数据类型的存储和处理需求。
在查询方面SelectDB 实现了多种查询负载上的极速分析性能
高并发点查询SelectDB 实现了单节点 30000 QPS 的超高并发 真正具备了在一套架构下同时满足高吞吐的 OLAP 分析和高并发的 Data Serving 在线服务的能力大大简化了混合工作负载下的技术架构为用户提供了多场景下的统一分析体验。大宽表查询 众所周知ClickHouse 在处理大宽表查询方面表现出色而在 ClickHouse 所发起的数据库性能排行榜 Clickbench 中2022 年 10 月 SelectDB 首登榜单即斩获榜单第一名的成绩这进一步证明了 SelectDB 在处理大宽表查询方面具备出色的性能。多表 Join 查询多表 Join 是 Apache Doris 一以贯之的优势同样也是 SelectDB 的核心优势。在 SSB 和 TPC-H 等多表 Join 的测试中SelectDB 性能最多可以达到 ClickHouse 的 100 倍、Greenplum 的 5-10 倍增量库内 ELT 过去 Spark 被广泛用于批处理的 ETL而 Flink 则专注于实时 ETL。SelectDB 提供了内置的增量 ETL 功能相对于 Spark 具备更高的实时性并且更易于使用。
湖仓融合开放性和高性能可以兼得
在大数据领域存在众多的系统和组件它们往往在架构中扮演着不同的角色。而随着时代的进步架构“减负”已成为企业发展的重要目标。数据仓库在性能方面表现出色而数据湖则以其开放性和能够存储各种数据的优势而受到青睐。然而无论湖或仓在场景上都具备一定的局限性因此如今我们正处于数据湖和数据仓库融合的阶段要想充分利用数据仓库的高性能和数据湖的开放性整合这两者变得至关重要。 对于现代化的数据仓库湖仓统一融合的最重要特性有两个方面
Federated Query Engine 作为一个联邦查询引擎数据仓库可以访问各种数据湖上的表格式包括存储在 HDFS、S3 上的 CSV、Parquet、JSON 等文件以及查询 Iceberg、Hudi、Delta Lake 等数据湖中的数据。Open Data Lake 数据仓库还可以作为一个开放的数据湖供 Spark、Flink、Trino 等查询引擎进行查询。这种能力在数据湖与数据仓库融合的背景下成为数据仓库需要展现的一个重要特点。
在当前的数据湖与数据仓库的融合趋势中大多数通常只关注了前一方面而数据仓库的格式开放性很少被提及。在当今这个数据类型多样且数据负载庞大的时代数据仓库可能也将面临数据科学或其他形式的大规模分布式计算如果不开放数据格式那么 Spark、Python 之类的工具将无法使用。
而以上两方面 SelectDB 都进行了大量的技术创新以实现更加彻底的湖仓融合能力。
作为一个高效的联邦查询引擎SelectDB 可以通过创建数据目录的方式与外部数据源进行映射例如可以将 Hive、Elasticsearch、Iceberg 等数据源映射为外部表SelectDB 将自动更新源数据并自动进行外部数据的高速缓存。
以 Hive Catalog 为例在创建 Catalog 完成后将自动进行数据映射一旦完成即可轻松地切换 Catalog 并直接进行数据查询。同时数据目录的更新操作是按需的可以指定要查询的库和表进行更新也可以利用插入语句INSERT INTO将查询结果插入到内部表中这些操作仅需一条命令即可完成具有更高的易用性。在性能方面我们也将 SelectDB 与 Presto/Trino 进行了对比在相同集群配置下查询 Hive 上的 ORC 文件SelectDB 相较 Presto/Trino 具有约 3-5 倍的性能优势。 如何让 SelectDB 作为开放的数据湖格式并被其他计算引擎访问这是湖仓融合开放性的重要呈现。
在此 SelectDB 提供了基于 Arrow Flight 的 HTTP Data API 高吞吐数据读写接口。众所周知SelectDB 内核 Apache Doris 是兼容 MySQL 协议的这意味着可以通过 JDBC 进行快速访问。但 MySQL 协议最初是面向报表场景设计的返回结果数据量一般较少、不擅长处理大规模的数据读写操作。
而如果希望将 SelectDB 作为开放的数据湖格式因此必须具备高度可拓展的读取接口。为此我们采用了 HTTP Data API可以使客户端以并发方式与多个 BE 进行读取并提供更高的数据读取能力。无论是使用 Flink Connector、Spark Connector还是通过 Python SDK 数据科学、机器学习 都可以快速访问。因此基于 SelectDB 可以与整个 AI 和数据科学生态进行良好的整合这也是未来的重要发展方向。
云原生化存算分离架构下的弹性计算 云原生的核心价值
让我们来谈谈第三个趋势云原生。
当谈到云原生时很多人认为概念比较宽泛。总体而言云原生能带来的核心价值如上有四个方面首先是存算分离。在云上提供了高质量、低成本的对象存储系统以及 HDFS 等共享存储系统将大量的历史数据或冷数据迁移到低成本的存储介质会为企业带来巨大的成本节约。其次存算分离的特性使得计算变得更加弹性在业务波峰波谷效应明显的场景中也可以通过计算资源的弹性调度更好地应对变化。同时由于进行了存算分离计算可以实现更好的负载隔离完全可以根据业务需求进行隔离或者进行读写分离。另外由于可以共享同一份存储数据共享变得更加简单。这意味着数据不再需要繁重的迁移工作同一份数据可以被多个计算业务共享使用。
让我们来看看 SelectDB 如何提供云原生能力简而言之就是如何更好地基于云做好存算分离架构下的弹性计算。
共享存储与本地缓存
在过去的几年里有关存算分离和存算一体的争论一直存在。存算一体简单且性能高因为数据完全在本地进行读取。计算和存储的解耦尽管带来了弹性但可能会导致性能下降其核心原因在于在数据库的查询过程中谓词需要被下推到存储系统上执行、以过滤掉大量不必要的数据并减少传输到计算引擎的数据。一旦存储和计算分离对象存储系统本身没有计算逻辑谓词无法下推到存储层面因此计算节点将面对大量的数据传输网络传输成本成为新的瓶颈。
因此即使 MapReduce 和 Spark 之类的批处理系统都会通过数据近地化调度尽量将计算推到存储所在的节点上以减少数据的传输代价并提高性能更何况对于查询性能高度敏感的实时分析系统。那么存算分离架构下存储系统无法进行谓词下推该如何解决呢
为了解决以上问题SelectDB 引入了本地高速缓存即本地 SSD用于缓存经常被使用的热数据。当然这里还涉及到许多设计细节包括如何进行缓存、哪些数据应该被缓存、哪些数据可以自动或手动进行干预以及在节点伸缩时如何进行缓存的预热和平衡迁移等。
多计算集群
在存算分离架构下SelectDB 提供了多计算集群的能力。多计算集群可以共享一份元数据和数据并且保持强一致性因此可以保证多个计算集群之间的负载隔离。这一能力适用于多个应用场景例如一个集群群用于数据导入、一个集群用于在线查询、一个集群用于离线处理不同业务部门可以使用不同的计算机群。通过这一能力计算负载之间可以实现完全隔离。
计算节点弹性扩缩容
云原生架构强调弹性能够根据负载需求快速地进行扩容或缩容。SelectDB 可以支持手动扩缩容也可以根据特定时间进行自动扩缩容。此外它还支持集群的自动启停当没有负载时会自动停止有查询负载时会自动启动这些都会带来了弹性计算的能力可以节省计算成本。
总结完以上趋势我们也看到 SelectDB 已经具备了现代化数据仓库的三大能力因此我们也将 SelectDB 定义为“面向实时分析的现代化数据仓库”。
SelectDB Cloud 全面开放使用基于 Apache Doris 2.0 版本打造全新内核
在过去的一年里我们邀请了大量客户参与内部测试与共建长时间的精心打磨也使得我们的产品具备了更高的成熟度和稳定性。
今天很高兴地宣传云原生实时数据仓库服务 SelectDB Cloud 正式 GAGeneral Availability全面开放使用 SelectDB Cloud 的全新内核基于 Apache Doris 2.0 版本打造在实时数据更新、盲测查询性能与自适应能力以及半结构化数据分析场景上都得到了全面的革新。后续任何客户不再需要申请白名单进行测试您可以自行注册账户并使用我们的免费试用套餐来体验我们的云服务。 在中国市场我们已经上线了阿里云、华为云和腾讯云并计划在今年四季度上线亚马逊云科技。而在国际市场我们已经上线了 AWS 并计划在今年四季度上线谷歌云GCP。因此您完全可以根据您的业务需求选择登陆我们的国际站点或者中国站点无论哪个站点都可以使用我们的免费套餐尝试我们最新的功能。
存算分离架构带来极致性价比 刚才我们介绍了 SelectDB 在存算分离方面的能力包括共享存储、本地高速缓存、多计算集群以及计算节点的弹性扩缩容等大家也可以通过以上图来了解 SelectDB Cloud 的整体架构对于企业而言可以建立多个仓库、每个仓库可以有多个计算集群这些集群之间共享对象存储每个集群由多个计算节点组成计算节点还可以实现弹性扩缩容。这样的架构也为企业带来了极致性价比
存储冷热分离对于面向海量数据分析的 AP 系统而言不可避免会持续积累历史数据而这些历史数据会占据大量存储成本。相对于价格高昂的云盘对象存储的价格低廉且可靠性高将冷数据卸载至对象存储可以将存储成本降低至原来的五分之一。弹性计算我们注意到许多客户计算集群的真实利用率CPU 利用率大约只有 20%这是因为需要满足每天的峰值负载而大多数时间内 CPU 利用率相对较低。通过弹性扩缩容功能可以根据负载的需求不断地扩展或缩减节点使 CPU 利用率保持在 70%-80% 甚至更高计算效率得到极大幅度提升、计算成本仅需之前的 25%。
降低运维复杂度提升开发效率 除了在降低资源消耗方面进行了大量的设计SelectDB Cloud 在降低运维复杂度和提升人员开发效率方面也提供可视化管理控制台和可视化开发 WebUI 两大工具。
在 SelectDB Cloud 管理控制台我们提供了灵活丰富的配置能力
多云统一管理在国际站和中国站我们提供了七朵云在可视化控制台上可以进行多云的统一管理云市场打通与多家云厂商的云市场无缝打通包括阿里云云市场、华为云云商店、AWS Marketplace 等可以复用云账号资金、利用云市场扣费渠道进行付费集群管理Serverless 化配置无需配置节点套餐与数量只需配置所需的 CPU 核数并进行简单配置即可创建一个集群最大化减少节点套餐和集群规模的配置成本安全连接无需过分担心安全性问题因为 SelectDB Cloud 提供了多种安全性选项既支持在公网上添加 IP 白名单也支持私网连接最大化保障您的数据安全性。监控与报警无需额外配置监控和报警系统如果已有监控和报警系统也可以与 SelectDB Cloud 对接。既方便了运维管理人员同时也为数据库开发人员和业务开发人员提供了便利更加轻松地创建数据库、查看库表以及管理数据库的权限。
同时我们还提供了面向开发人员的可视化 Web UI 内置了包括数据查询、数据集成、数据管理和权限管理等在内的多项功能无需额外安装 Navicat 等工具。
更高的数据安全性更便捷的云上服务体验
在过去的一年中我们发现有很多客户对数据安全和合规性有更高的要求。SaaS 形态下用户只负责数据仓库的使用数据存储、运维监控、告警处置以及底层资源伸缩等完全由云厂商负责对数据合规有高度要求的客户而言存在一定阻力。为了更好地满足这部分客户的需求我们研发了全新 SelectDB Cloud 私有仓库BYOCBring Your Own Cloud部署形态。
如上图所示SelectDB Cloud 最初设计时是作为纯 SaaS 的产品形态这意味着所有的管理控制和数据存储都在 SelectDB Cloud 网络中我们为每个客户划分了一个专有的隔离区域因此也称其为专有仓库客户端可以通过公网或私有网络的私有链接来连接到 SelectDB Cloud。
而私有仓库 BYOC 这一解决方案我们仍将控制面放在 SelectDB Cloud 中可以享受全托管的服务模式、无需自行维护并且集群将构建在客户的 VPC 中这样可以保证数据完全存放在客户自有环境中完全满足安全合规的要求。与此同时可以充分利用客户在云服务商的账户折扣成本上更加可控此外还可以便捷地与客户 VPC 中的上下游系统进行打通。
当前 BYOC 还处于预览阶段正式版将于今年 10 月正式发布后续进展欢迎大家随时关注。
SelectDB Enterprise 企业版更加自主可控的私有部署模式
除了构建于多云之上的 SelectDB Cloud 云服务以外今天我们发布的另一产品为 SelectDB Enterprise 企业版。
与 Apache Doris 100% 兼容的企业版内核
作为一款私有部署和自管理的系统软件SelectDB Enterprise 内核基于 Apache Doris 构建并且与 Apache Doris 100% 兼容。
基于开源软件进行商业化的企业级产品与开源版本有不同的目标开源的优势在于通过开放协作和快速迭代来促进技术创新任何个体或企业都可以为其贡献新功能和特性。而企业版产品更多追求的是稳定性出现问题只需要修复 Bug 即可而不需要通过频繁升级引入新功能。
因此 SelectDB Enterprise 企业版内核更加注重稳定性只有在社区功能达到稳定状态后才会将其合入企业版内核同时引入了严格的质量测试保证更高的稳定性和更快的漏洞修复速度并且我们为每个版本提供长达 1-3 年的长周期支持。
SelectDB Enterprise 企业版内核还内置了可视化开发 WebUI用以提升数据开发人员的效率。
可视化集群管控工具 SelectDB Enterprise Manager 此外针对 SelectDB 企业版我们还提供了可视化集群管控工具。该管控工具不仅可以管理开源的 Apache Doris 内核还可以管理 SelectDB Enterprise 企业版内核支持创建、配置、变更、升级、扩缩容等功能并且可以同时管理多个集群此外还提供监控、报警、巡检和审计等功能。
目前SelectDB Enterprise Manager 当前已支持在物理机和虚拟机环境的部署Kubernetes 和公有云的部署支持正在开发中。换而言之客户可以使用可视化集群管控工具在任何地方部署 SelectDB Enterprise。如果客户有私有云环境我们可以协助支持与私有云环境对接。
专家级技术支持服务
除了企业版的内核和管控工具我们还提供专家技术服务旨在消除用户在生产环境中使用 Apache Doris 的后顾之忧。作为基于 Apache Doris 的商业化公司飞轮科技聚集了大量的社区贡献者、Committer 以及 PMC 成员提供了更加专业的技术支持服务
消除风险提供例行巡检及时消除系统可能的隐患解决问题严格的服务 SLA确保 7*24 小时专属支持对紧急 Bug 提供天级别的专属修复版本更新优化系统通过对产品培训、业内最佳实践分享与客户一起优化系统性能和成本。
自主可控、安全可靠
SelectDB Enterpris 是一个自主可控、安全可靠的解决方案目前已经通过了多项安全性认证包括等保三级以及 6 项 ISO 安全管理体系认证。 同时 SelectDB Enterprise 企业版与众多国产系统生态进行了兼容获得了十多项系统兼容认证包括 飞腾、华为鲲鹏、海光等芯片以及欧拉、麒麟、统信等国产操作系统。对于对自主可控、安全可靠性有要求的企业可以放心地使用 SelectDB Enterprise 企业版。
灵活的产品使用和部署形态飞轮科技期待携手更多客户
感谢您聆听到现在让我们一同对今天飞轮科技所发布的多种产品形态进行总结便于您更清晰地根据需求选择您适合的产品。
如果您希望将运维管理工作完全交给系统完成那推荐选择全托管的 SelectDB Cloud SaaS 模式控制面和数据面都在 SelectDB 账户中便于您最大程度节省数据仓库的管理工作量。在 SelectDB Cloud 中我们将呈现更彻底地 Serverless 化无需关注机器配置实现了更高的弹性和灵活性。
如果您希望将集群管理工作交给系统自动完成、对数据合规性要求更高、并且拥有自己的云资源账号推荐使用 SelectDB Cloud BYOC 模式。在这种形态下控制面仍然位于 SelectDB 账户、而数据面则位于您自己的 VPC 中。您只需要进行授权我们就可以利用您的账号在 VPC 下进行计算和资源的管控兼顾安全合规性和云上服务体验。
如果您希望在物理机、虚拟机、Kubernates 容器平台以及私有云、公有云等任意环境部署集群或者对安全合规性有着更高要求可以选择 SelectDB Enterprise 企业版解决方案。
无论是哪一种方案期待 SelectDB 都可以为您提供更高效率、更低成本且更省心的选择。
点击此处即可申请试用 SelectDB体验其卓越的性能和灵活的应用场景。我们将为你提供大规模数据极速分析、湖仓融合、云原生化的使用体验并将有专业的技术团队与您联系为您提供详细的试用指南和支持。
