wordpress主题 wiki,seo 什么意思,天津建设网站天津市地铁规划图,海外注册域名的网站MyScale 是一款完全托管于亚马逊云科技#xff0c;支持 SQL 的高效向量数据库。MyScale 的优势在于#xff0c;它在提供与专用向量数据库相匹敌甚至优于的性能的同时#xff0c;还支持完整的 SQL 语法。在这篇文章中#xff0c;我们将阐述 MyScale 是如何借助亚马逊云科技的…MyScale 是一款完全托管于亚马逊云科技支持 SQL 的高效向量数据库。MyScale 的优势在于它在提供与专用向量数据库相匹敌甚至优于的性能的同时还支持完整的 SQL 语法。在这篇文章中我们将阐述 MyScale 是如何借助亚马逊云科技的基础设施构建出一个稳定且高效的云数据库。 亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术观点和项目并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏看到这里请一定不要匆匆划过点 这里让它成为你的技术宝库 什么是向量数据库
或许你尚未察觉然而向量嵌入vector embedding实际上无处不在。它们构成了众多机器学习和深度学习算法的根基被广泛运用于从搜索引擎到智能助手等各式各样的应用。机器学习与深度学习通常会把文本、图像、音频、视频等非结构化数据转化为向量嵌入的形式进行储存并借由向量相似性搜索技术进行语义相关性搜索。基于向量的相似性搜索现如今已被大量应用于各类人工智能驱动的应用场景包括图像检索、视频分析、自然语言理解、推荐系统、定向广告、个性化搜索、智能客服以及欺诈检测等。在这样的背景下对向量数据的管理显得尤为重要我们需要能够快速地储存、索引和搜索这些向量化的数据。
现存的向量数据库大体上可以分为两大类别。一类是专为向量设计的专有向量数据库产品例如 Pinecone、Weaviate、Qdrant、Chroma、Milvus 等。另一类则是在通用的 SQL 或 NoSQL 数据库产品上进行扩展其中最为人熟知的 SQL 数据库之一 Postgres 通过插件 pgvector 支持了向量索引和搜索而包括 ClickHouse、Redis、Elasticsearch 和 Cassandra 在内的许多开源数据库近期都增加了对向量索引的原生支持。
人们通常认为专有的向量数据库专门为向量检索设计能够提供较佳的搜索性能。而支持向量搜索的通用数据库产品则依赖于原有的通用数据库能够提供更为完善的数据管理和结构化数据查询能力向量检索性能则有所损失。MyScale 基于开源的在线分析处理OLAP数据库 ClickHouse 开发集成了自主研发的多尺度树图英文multi-scale tree graph缩写 MSTG向量索引算法。它不仅继承了 ClickHouse 卓越的结构化数据分析和查询能力同时也提供了数倍于专有向量数据库的性价比从而将两者的优势集于一身给企业提供了统一的结构化和非结构化数据管理方案。
整体架构
MyScale 是一款完全依托于亚马逊云科技云平台的数据库服务其架构深度结合了亚马逊云科技的多元化产品线包含了 Amazon EC2 云端虚拟服务器、Amazon EKS 集群管理、Amazon S3 对象存储、Amazon NLB 负载均衡等。有赖于亚马逊云科技提供的强大底层设施我们迅速地构建出了 MyScale 的云端服务产品。
如下图所示MyScale 云服务的架构设计包括全局控制平面global control plane、区域控制平面regional control plane以及区域数据平面regional data plane三个层次每个层次对应一个 Kubernetes 集群。全局控制平面中部署了云服务的业务系统负责组织、用户的的使用量统计等。每管理以及整体个区域对应一个云服务供应商的一个可用区如 Amazon US-EAST-1。每个区域独立部署一个控制平面和多个数据平面。控制平面提供该区域内的集群管理创建、停止、销毁API 以及计费系统数据平面则运行用户启动的 MyScale 数据库集群它们运行在同一个数据平面中的多个可用区。 MyScale 的所有服务都部署在亚马逊云科技的托管 Kubernetes 服务 EKS 上。EKS 提供了高度可用、安全及可扩展的 Kubernetes 环境这使得 MyScale 可以充分利用 Kubernetes 的强大功能如服务发现、负载均衡、自动扩缩容、安全隔离等。借助 Amazon EKS 上的 Cluster AutoscalerMyScale 可以根据用户工作负载的需求快速地启动、停止和扩展实例对 EKS 的节点池进行扩缩容。
为了保证用户集群之间的隔离MyScale 利用了 Kubernetes 的命名空间namespace特性。在数据平面中用户创建的每个 MyScale 数据库集群对应 Kubernetes 中的一个命名空间这样就可以最小化集群之间的相互影响。每个集群对应的命名空间中包含数据库节点、负载均衡服务和元数据存储服务。
用户在使用 MyScale 云服务时可以通过运行在全局控制平面上的 Web UI 来创建和管理 MyScale 集群。用户在 Web UI 创建 MyScale 集群后云服务的后端会调用相应区域控制平面中的接口将 MyScale 数据库集群的具体参数和配置转成一个 Kubernetes 中的 CRD 资源配置文件保存在该区域的控制平面中。对应的区域数据平面中运行的 Cluster Manager 会监听到区域控制平面中数据库集群 CRD 资源的变化情况并做出相应的操作在数据平面中创建或修改实际的 MyScale 数据库集群。在 MyScale 数据库集群启动后用户可以通过 Web UI、Python/Java/NodeJS 客户端、HTTP 接口以及包括 Langchain 和 LlamaIndex 在内的 LLM 应用框架来访问 MyScale 数据库。
我们选择了配备基于 NVMe 的本地 SSD 盘的 EC2 实例来部署 MyScale 数据库。和大部分选择纯内存 HNSW 向量索引算法的向量数据库不同MyScale 自研的 MSTG 算法允许将向量数据缓存在本地 NVMe SSD 盘中因此 MyScale 在为用户提供高性能的向量搜索的同时大大节约了内存的使用。在我们的公开测试中MyScale 超过了 Pinecone、Weaviate、Qdrant、Zilliz 等专有向量数据库提供了最佳的性价比QPS per dollar。
在部署 MyScale 云服务时我们使用 Crossplane 来实现对亚马逊云科技上的 EC2 和 EKS 服务的部署和管理。首先我们通过 Crossplane 的 Amazon Provider 配置了对应的亚马逊云科技账户信息使得 Crossplane 能够访问和操作我们的亚马逊云科技资源。然后我们定义了 EC2 和 EKS 的 YAML 配置文件通过这些文件我们可以定义我们需要的服务器和 Kubernetes 集群的参数如实例类型、集群大小等。通过应用这些配置文件Crossplane 的 Amazon Provider 会调用 Amazon API 来创建和配置这些资源。
不仅如此Crossplane 还能够定期同步这些资源的状态使得我们可以通过 Kubernetes 的接口来监控和管理这些资源。当我们需要修改或删除这些资源时只需要修改对应的 YAML 文件并重新应用Crossplane 就会自动完成对应的操作。通过使用 Crossplane我们能够以一种声明式、统一和自动化的方式来管理我们的云资源大大提升了我们的工作效率和准确性。
在数据安全方面MyScale 采用了 Teleport一种先进的远程访问管理系统。Teleport 能够为开发者和运维人员提供通过密文连接安全地访问我们 Kubernetes 集群的能力。这不仅提升了系统的安全性也提升了操作的便捷性。更重要的是Teleport 具有全面的审计功能能够详细记录所有会话和事件这对于进行安全分析和满足合规性要求非常有帮助。这就意味着我们可以对任何操作有完全的可视化从而更好地控制和保护 MyScale 云服务系统为用户提供安全可靠的服务。
小结
这篇文章介绍了 MyScale一个在亚马逊云科技上托管的向量数据库。MyScale 基于开源的在线分析处理OLAP数据库 ClickHouse 开发集成了自主研发的多尺度树图MSTG向量索引算法可以提供优秀的数据管理和结构化数据查询能力同时也提供了性价比突出的向量搜索功能以及结构化和非结构化联合分析、处理的功能可以被广泛应用于图像检索、视频分析、自然语言理解等 AI 驱动的场景。
文章来源https://dev.amazoncloud.cn/column/article/654883fade82943ae0ac426e?sc_mediumregulartrafficsc_campaigncrossplatformsc_channelCSDN
