人社局网站建设,互联网建网站,做网站 成都,网站推广的技能用于可视化和探索每个 MEAN 堆栈背后的数据图的 ETL 您是否正在努力回答有关 MEANS Web 服务数据的紧急问题#xff1f;哪里有 BI 可以快速回答“上个季度哪些亚洲的artisan.plus 用户触发了订单#xff1f;”这个问题#xff0c;而无需编写查询#xff1f;使用 mongo2neo4… 用于可视化和探索每个 MEAN 堆栈背后的数据图的 ETL 您是否正在努力回答有关 MEANS Web 服务数据的紧急问题哪里有 BI 可以快速回答“上个季度哪些亚洲的artisan.plus 用户触发了订单”这个问题而无需编写查询使用 mongo2neo4j 、 Neo4j 和 SemSpect 可以根据需要以可视化方式免费回答此类问题。这篇文章介绍了如何将 MongoDB 数据和对象模型转移到 Neo4j以及如何使用 SemSpect 深入了解您的业务数据。 MEAN 堆栈 MEAN 堆栈 (MEANS) 是基于 MongoDB 、 Express.js 、 AngularJS 和 Node.js 构建的流行技术组合适用于 Netflix、PayPal、Gmail、LinkedIn、YouTube 等云应用程序。在前端方面此堆栈有多种变体例如 MERN使用 React 而不是 Angular或 MEVN使用 Vue.js 。无论如何MongoDB 始终充当数据后端作为管理集合中嵌套 JSON 对象的数据库。集合包含 JSON 对象在 MongoDB 中称为文档具有类似的结构例如一个用于用户的集合一个用于产品的集合一个用于订单的集合等。 此堆栈通常会辅以对象数据建模 (ODM) 框架例如MongoDB 上的 mongoose 。通过整合 mongoose您可以无缝定义和实施数据模式从而在集合之间或跨集合建立 JSON 对象之间的链接。这可以增强数据完整性并降低不一致的风险。 集合中隐藏的宝贵知识 MEAN 堆栈很棒但它无法轻松洞察底层数据甚至无法回答简单的业务问题。这是因为 JSON 数据集合不易探索。MongoDB 有一个 查询 API 包括聚合和投影但结果始终是 JSON。此外该 API 有点麻烦需要编程知识有时您从一开始就不知道在数据中寻找什么。 这就是 mongo2neo4j 发挥作用的地方。通过自动转换为 Neo4j 的标记属性图 (LPG)可以使用 SemSpect 轻松可视化、探索和分析生成的图表。 mongo2neo4j 构建了从 MEAN 堆栈到图和图分析世界的桥梁 例如在为咖啡库存管理应用程序 artisan.plus 规划新功能时出现了一个问题其 PRO 用户中是否有人只烘焙来自巴西的纯阿拉比卡咖啡混合物调查这个问题后只需在 SemSpect 中单击几下并加载相关的 artisan.plus 数据约 120 万个节点和 360 万个关系就会发现 59 位 PRO 用户进行了约 24,000 次此类混合烘焙。 SemSpect 使用来自 artisan.plus 的样本数据有多少 PRO 用户将纯阿拉比卡咖啡与仅来自巴西的咖啡混合烘焙 将您的平均值变成图表并进行探索 Mongo2neo4j、Neo4j 和 SemSpect 图形可视化和探索工具有效地解决了这种缺乏数据洞察力的问题。 mongo2neo4j 是将 MEANS 数据传输到本机图形的最快、最方便的方法同时考虑到对象关系数据模型。但是我们为什么要将数据映射到图形中呢图形模型是处理对象和关系时最自然的数据模型——正是您在应用 mongoose 或任何其他 ODM 框架时在 MongoDB 中编码的内容。生成的图形接近对象关系数据模型。与分布在各个集合中的原始 JSON 表示相比以对象和关系网络形式显示的图形更易于查询和理解。 简单来说使用 mongo2neo4j所有顶级 JSON 对象都将成为图节点。每个 JSON 对象的字段都会产生相应图节点的属性。默认情况下嵌套数组元素也会成为节点并通过关系链接到其原始节点。 对于 ODM 框架引入的每个对象引用通过对象 IDmongo2neo4j 都会与图形模型中对象的相应节点建立关系。正如我们稍后看到的某些配置允许我们在必要时调整 JSON 对象到 Neo4j 节点的映射。 一旦我们的 JSON 集合可以作为数据图使用就可以更轻松地查看节点之间的链接、掌握间接连接并通过使用 SemSpect 等工具以交互方式探索图表来开发查询。 MEANS 示例 例如让我们采用一个基于 MEAN 堆栈的简单商店应用程序其中来自不同国家的用户可以订购各种产品。 我们使用随机生成的样本数据其数据生成器由mongo2neo4j 示例目录 提供。当使用 Robo 3T 等 UI 检查 MongoDB 中的示例数据时我们会看到四个集合这是 在 mongoose 框架的帮助下在 models.js 中定义的 ODM 的结果。 代表订单的对象具有对用户订购者和产品购买的对象引用如下图所示一个订单的红色箭头所示。 生成的示例数据的集合 使用 MongoDB 查询语言通过 和 project 的级联可以找出法国用户订购了哪些产品 。但是它过于复杂绝对不适合临时数据分析。 因此让我们使用 mongo2neo4j 提取数据集合并将其加载到 Neo4j 中以查看数据如何显示在图形数据库中。我们只需安装 Python 包 mongo2neo4j 并运行数据转换 Shell pip3 install mongo2neo4j mongo2neo4j --neo4j_passwordyour-neo4j-password your-mongodb-database 为了成功执行必须设置一个 Neo4j 数据库并接受远程 Cypher 命令后者是本地连接的默认设置。 从开头的 person 示例来看我们期望每个集合中的任何顶级对象都成为结果图中的节点。嵌套对象也应成为节点。 查看上面显示集合拼贴的图像时商店数据中唯一的嵌套是“订单”集合对象中的“产品”字段。此类字段的相应值是一个对象数组其中每个数组对象包含对“产品”对象的引用以及带有订购数量的整数值。如何通过节点和边以及节点/边属性将此结构转换为 LPG 模型 最简单的方法是将订单节点通过某种产品订单关系链接到产品节点其中产品数量由相应关系的相应属性表示如下所示。 但是如果每个数组元素都包含另一个对象引用这种映射类型将导致问题。Neo4j 背后的 LPG 模型仅允许两个对象之间的关系。因此在 LPG 中建模此类构造的更通用方法是借助专用的新节点。 在数据建模的背景下这种模式称为 具体化 因为它通过引入明确表示这种关系的节点来具体化这种关系。原始关系的节点链接结果节点并且还可以与多个其他节点相关或存储金额等属性。 mongo2neo4j 将源自嵌套对象的所有关系具体化以支持任何类型的 n 元关系。 微调 ETL 流程 mongo2neo4j 中实现的默认映射将 MongoDB 中的所有对象引用转换为 Neo4j 中生成的图形模型的关系如前所述。有配置选项可以将 ODM 的隐式编码链接转换为关系或为节点分配特定标签具体取决于原始对象的字段值。 例如我们可以看到“countries”是一个与给定 ODM 设计中的其他集合无关的集合。但是此集合中的“isoname”对象字段的值即法国似乎与用户的“country”字段的值相匹配。 为了建立从用户到其国家/地区的联系我们可以配置 mongo2neo4j 来创建这种关系通过提供一对 . 对作为匹配条件 Shell--relations users.country,countries.isoname 要根据原始 MongoDB 对象的字段值为节点分配附加标签我们可以使用“sublabel”选项。在我们的示例中这对于根据用户的订阅计划对其进行分类非常有用。用户的订阅在“subscription”字段中编码为字符串值。要将这些值转换为 Neo4j 标签我们指定哪些字段值应被视为标签此处为“user.subscription”标签是否应获得后缀“_user”以及如果没有值“无订阅”应使用什么标签 Shell--sublabels users.subscription._user,no subscription 此外还有更多映射选项例如从映射过程中排除集合或字段以及指定 MongoDB 和 Neo4j 连接详细信息的选项。 有关配置选项的详尽描述请参阅 脚本参数。 上面集合中显示的 MongoDB 数据摘录最终如下所示。 之前提出的有关法国用户的所有产品的分析问题现在对应于来自节点法国蓝色圆圈的图形遍历请求该请求遍历所有相关用户及其产品订单。这可以通过 Neo4j Cypher 查询语言轻松完成 Shellmatch (:countries {isoname:’France’})--(:users)--(:orders)--(:orders_products)--(p:products)return count(distinct p) 编写这样的查询需要 Cypher 知识但至少比 MongoDB 查询对应部分容易得多因为 Cypher 使用基于文本的视觉描述来声明性地描述节点写在圆括号中和关系写为“-”或“-[:relation-type]-”查询模式。 然而还有一种更简单的方法来编写此类查询 - 不需要任何查询语言技能或底层图形模型的知识SemSpect。 SemSpect 和 MEANS SemSpect 是一款无代码图形探索和可视化工具。它适用于 Neo4j 以及 RDF 图形数据。SemSpect 有一个免费版本即 Neo4j Desktop 的 GraphApp它有一些限制但功能强大足以认真探索大型 MongoDB 数据集 — — 至少对于我们的小示例而言。 注意 请确保您使用的是 Neo4j Desktop 1.5.9您可以 下载 。最新版本 (1.6.0) 将 Neo4j Desktop 置于维护模式不再允许安装图形应用程序。 如果我们 MEANS 示例中的数据已经使用 Neo4j Desktop 存储在 Neo4j DBMS 中说明位于 GitHub 上的 mongo2neo4j 示例 中那么 SemSpect 就近在咫尺。只需直接从 Neo4j 开发人员图形应用程序库 安装 SemSpect 图形应用程序即可。 安装和设置 SemSpect 后您将在左侧列表中看到 mongo2neo4j 导入的标签如下图所示以红色框突出显示。为不同订阅计划生成的附加标签按用户标签排序。SemSpect 会自动推断标签之间的子标签包含情况。在这里其中一个订阅标签的所有用户也始终带有用户标签。 现在您只需将其中一个标签拖放到 SemSpect UI 中间画布中的探索窗格上即可。为了回答我们的查询我们从“国家”标签开始。放置在探索窗格中后我们会看到组蓝色圆圈内的 10 个国家节点灰色圆点。在搜索框中搜索“法国”并按 Enter 时我们会看到代表法国的节点并用显示其名称的旗帜突出显示。 要探索从此节点到法国用户订购产品的路径我们可以选择该节点并使用上下文菜单“探索节点的连接”。由于此节点仅通过传出国家关系连接到用户节点因此我们只能选择此关系进行探索。 通过反复扩展“订单”组然后扩展“订单_产品”组如下所示我们最终到达“产品”组。来自法国的订单的 134 种产品节点中的数字显示了该产品链接到左侧组中节点的频率。换句话说这些数字显示了这些产品的订购频率。 我们找到了两件被订购三次的产品。其中一件是饮料 Celestial Brew。选择此节点会在右侧的详细信息档案中显示其属性。 我们还可以详细检查对象详细信息并根据特定节点属性值对其进行分类。让我们从产品对象开始。在探索窗格中选择产品组后我们可以打开一个表格视图其中逐行列出了组对象的所有属性。 我们可以借助字符串、数字或日期时间限制按任何属性过滤节点。例如让我们过滤“饮料”类别的产品。表格显示了结果的预览使用 应用过滤器 我们可以限制探索图中的组。 现在该产品组最终由 1,000 种产品中的 213 种饮料组成。 SemSpect 的一个独特功能允许我们在探索图表时从组中定义新标签。新定义的标签“饮料”在标签树中被组织为一种特殊的产品随时可以作为新探索或过滤的起点。 我们还能发现什么 让我们看看我们能用 SemSpect 解决哪些其他分析任务。假设我们要回答以下问题 2022 年 8 月免费订阅用户订购的最突出的产品是什么 有没有尚未订购商品的用户 第一个问题的答案是从“free_user”开始探索然后扩展到“订单”最后扩展到“产品”。由于我们对特定时间范围内的订单感兴趣因此我们必须打开“订单”的表格视图并通过日期过滤器选择器将“订单日期”限制为 9 月之前和 7 月之后。 这将订单限制在 2022 年 8 月。由于过滤限制会立即传播到探索图中因此我们看到 2022 年 8 月有三款产品被免费订阅用户订购了两次。选择产品组时右侧的档案选项卡还提供了描述组节点的自然语言描述。您还可以将这组结果节点下载为 CSV 文件。 最后要找到没有订购任何商品的用户我们必须从所有“用户”开始然后扩展到“订单”。 “用户”组中的浅灰色用户节点是未连接到右侧“订单”组中的任何节点的用户节点。 我们可以使用“用户”组的上下文菜单并选择“未连接到右侧任何组的节点”轻松地为它们添加标记。 总结 很难对基于 MongoDB 数据库构建的服务的数据进行概览和洞察。这适用于所有使用 MongoDB 数据存储的应用程序尤其是如果使用对象关系模型在集合之间建立对象引用就像采用 MEAN 堆栈的情况一样。 我们提供了一个方便的工具包其中包含 mongo2neo4j 数据转换器、Neo4j 数据库以及图形探索和查询应用程序 SemSpect它建立了一个可配置的工作流程可以真正连接隐藏在 MEAN 堆栈的 MongoDB 数据库中的点。这是查找数据或应用程序中的数据缺陷以及回答相关 BI 问题的关键。 好消息是这里介绍的工作流程是免费的。mongo2neo4j和 Neo4j 社区都是 GPL 3.0 SemSpect 附带免费模型。但是当您的数据增长到一定规模以上时或者您希望使工作流程专业化或者如果您想享受完整的性能和功能您可以切换到 Neo4j 和 SemSpect 的企业版。 原文链接https://medium.com/neo4j/graph-exploration-by-all-means-with-mongo2neo4j-and-semspect-382e55c14c4c 原文作者 本文由 mdnice 多平台发布
