个人企业网站,北京电脑培训网站,百度平台官网,泰州智搜网络科技有限公司本文字数#xff1a;3357#xff1b;估计阅读时间#xff1a;9 分钟 作者#xff1a;ClickHouse Team 本文在公众号【ClickHouseInc】首发 Chase Richards 自 2011 年在初创公司 Marketly 担任工程负责人#xff0c;直到 2020 年公司被收购。他现在是品牌保护公司 Corsear… 本文字数3357估计阅读时间9 分钟 作者ClickHouse Team 本文在公众号【ClickHouseInc】首发 Chase Richards 自 2011 年在初创公司 Marketly 担任工程负责人直到 2020 年公司被收购。他现在是品牌保护公司 Corsearch 的工程副总裁。他在最近的一次聚会上与我们分享了他使用 ClickHouse 的经验。 Corsearch 于 2018 年从 Wolters Kluwer 分离出来成为一家专业公司。新公司通过多次收购迅速扩展整合专业知识成为品牌保护解决方案的领导者。Chase Richards 作为工程副总裁在提升 Corsearch 的品牌保护解决方案方面发挥了关键作用服务于全球的组织。专注于跟踪国际商标、检测冲突和侵权、打击假冒伪劣、保护内容免受盗版和网络侵权这意味着需要从大量无害或授权数据中筛选出侵权行为和恶意行为者。早在 2017 年仍在 Marketly 时Chase 就面临一些挑战 事务性数据库的限制——行数据库如 MySQL在应用于分析时限制了构建面向外部客户的交互式数据驱动用户界面的可扩展性和灵活性。 操作复杂性——使用多个数据库后端包括 MySQL、BigQuery 和 MongoDB以支持关键的面向客户的应用程序这意味着花费更多时间进行维护而不是构建新功能。 采用 ClickHouse 进行反盗版
Corsearch 的主要客户报告产品之一是搜索引擎保护服务支持反盗版和内容保护业务。Corsearch 每小时抓取数百万个搜索结果寻找侵权内容。他们大量投资开发复杂的搜索引擎监控指标借鉴了 SEO 和 SEM 的最佳实践如排名跟踪和流量份额。他们专注于让用户界面对试图优化搜索引擎表现的营销团队来说既熟悉又有吸引力只是把这个理念反过来应用。“我们告诉营销团队盗版者实际上是在侵占他们的领地——搜索结果的位置”Chase 说。Corsearch 为他们提供了可视化工具和手段来反击。
然而报告界面需要对数百个指标进行实时分析并且这种体验必须是互动的否则营销团队会感到沮丧。这意味着所有活跃用户在最近和历史数据上的几十个并发查询必须在毫秒内完成。MySQL 数据库不适合处理有 10 多个可筛选维度的工作负载并且基于时间序列数据进行日、周和月的分组。“我们开发了出色的指标并构建了前端。但我们运行在一组预聚合的 MySQL 表上进行了大量表分区。操作复杂但仍然无法扩展。”随着应用使用量增加这个问题变得更加明显——查询变得越来越慢用户开始离开应用。Chase 在聚会上说“起初效果很好但随着客户系统的不断增长——这对我们的初创企业来说是好消息——数据量也不断增加而 MySQL 的索引限制和行技术让我们难以应对。” “我们得到了一些令人瞠目的数据。仅压缩比就使得服务器管理和部署变得更加容易。” 切换到 ClickHouse 实时分析
更换数据库是由 Chase 推动的他花了大量时间阅读社区内容寻找新技术和优化性能的方法。他通过几篇 2017 年的 Percona 和 Cloudflare 博客发现了 ClickHouse“我决定尝试 ClickHouse。很快就发现 ClickHouse 可能带来效率、可靠性和可扩展性的提升。”团队开始用敏捷、可扩展的解决方案替换笨重的 MySQL 系统从而简化操作并提升客户体验。“我基于 ClickHouse 构建了一个即插即用的替代原型使用与 MySQL 几乎相同的表结构2019 年全面投入生产。”这个原型很快成为产品的新架构。“它至今仍在使用仍然是流程的一部分。”
这不仅仅是让应用程序运行起来。ClickHouse 对时间序列数据的压缩率远超 MySQL见下图这减少了运行应用程序所需的服务器数量简化了服务器管理。“我们得到了一些令人瞠目的数据。压缩比本身就使服务器管理和部署变得更加容易。”当然ClickHouse 并没有停滞不前每次发布都在改进数据压缩和性能。“ClickHouse 变得更好了。例如低基数在性能和压缩比方面是一个巨大的飞跃”Chase 解释道。 通过向量搜索加强反盗版工作
最近Corsearch 在其现有的启发式欺诈检测方法中加入了基于向量的分析。Corsearch 使用语言模型的嵌入在网站内容之间创建语义相似性搜索无论是跨网站还是跨时间这有助于发现使用类似语言的已知盗版网站并识别网站内容的重大变化通常表明它已关闭或被屏蔽盗版生态系统中的常见现象。“通过利用专家模型和嵌入我们检测到网页内容的实质性变化并识别出具有相似特征的页面之间的连接”Chase 解释道。
Chase 和他的团队对 ClickHouse 与专用向量数据库进行了比较分析发现尽管专用向量数据库在近似索引方面可能表现更好但它们仍然是特殊用途的系统需要特定的技能来采用和维护。相比之下Corsearch 能够在 ClickHouse 中直接执行多维度限定的向量距离计算并结合其他检测盗版的方法借助 SQL 语法实现。因此无需维护额外的基础设施或学习新的语言。 采用 ClickHouse 进行可观测性
在另一个重要用例中Corsearch 使用 ClickHouse 监控其搜索引擎抓取设置。搜索引擎服务负责解析 Google、Yahoo 和 YouTube 等主要搜索引擎的结果必须无缝运行。Chase 和他的团队没有使用现成的可观测性工具而是开发了自定义埋点来跟踪搜索引擎操作将遥测数据发送到 ClickHouse并使用 Grafana 可视化结果并对潜在问题进行告警。最近这种方法被称为基于 SQL 的可观测性已经被 Uber、eBay 等技术领导者采用。
从架构上看这个设计很简单仅包含两个表。一个表用于通用指标系统跟踪各种指标如队列深度。另一个表记录“工作原子单元”用于跟踪抓取网页的尝试。这个基础设施能够轻松创建图表和时间序列指标。每列都可以成为独立的时间序列确保数据可以随时恢复到原始形式。
“对于我的小团队来说这非常有效”Chase 在聚会上说道。虽然埋点是自定义的但 Chase 承认如果今天开始他会优先考虑使用 OpenTelemetry因为它正在成为标准。ClickHouse 在这个用例中也展示了其性能和资源效率优势“该系统在磁盘上以不到 325 GB 的空间存储了四年内的 100 亿行数据”Chase 分享道。 未来方向
ClickHouse 是 Corsearch 数据基础设施的关键元素提供了业务核心的关键能力整合了多个用例的分析数据管理并简化了操作“ClickHouse 在捕获网络流量数据方面发挥了重要作用我们通过将复杂的数据管道整合到单一的 ClickHouse 集群中提高了整体效率和性能。”
展望未来Chase 计划进一步简化操作“我很期待在我们的生产工作负载上尝试 ClickHouse Cloud。看到 ClickHouse 的云原生架构在那里的发展真的很酷这提供了额外的差异化。”在聚会演讲之后Corsearch 已经开始使用 ClickHouse Cloud 存储每天从数百万抓取图像中生成的嵌入用于相似性搜索——这使团队能够利用该服务提供的低操作开销和无限存储以及在相同数据集上实现更快的线性距离扫描。 征稿启示 面向社区长期正文文章内容包括但不限于关于 ClickHouse 的技术研究、项目实践和创新做法等。建议行文风格干货输出图文并茂。质量合格的文章将会发布在本公众号优秀者也有机会推荐到 ClickHouse 官网。请将文章稿件的 WORD 版本发邮件至Tracy.Wangclickhouse.com 联系我们 手机号13910395701 邮箱Tracy.Wangclickhouse.com 满足您所有的在线分析列式数据库管理需求
