seo的网站,深圳公认的第一富人区,如何建自己的网站,淘宝上的网站建设为什么便宜前言
Midscene.js 是一个创新的、面向开发者的 UI 自动化解决方案#xff0c;并通过人工智能技术简化自动化脚本的编写与维护。
它提供了三种核心方法——交互#xff08;.ai, .aiAction#xff09;、提取#xff08;.aiQuery#xff09;和断言#xff08;.aiAssert并通过人工智能技术简化自动化脚本的编写与维护。
它提供了三种核心方法——交互.ai, .aiAction、提取.aiQuery和断言.aiAssert使开发者能够以自然语言描述步骤并执行复杂的UI操作。
它不仅支持通用的大规模语言模型LLM还兼容开源模型 UI-TARS为用户提供了更多的选择。
安装
方式一从 Chrome 应用商店下载插件快速体验
https://chromewebstore.google.com/detail/midscenejs/gbldofcpkknbggpkmbdaefngejllnief?utm_sourceext_app_menu
方式二在 **github **下载源码运行
https://github.com/web-infra-dev/midscene
配置模型和服务商
这里我们以 **Chrome **插件进行演示
常用的主要配置项如下其中 OPENAI_API_KEY 是必选项
名称描述OPENAI_API_KEY必选项。你的 OpenAI API Key (如 “sk-abcdefghijklmnopqrstuvwxyz”)OPENAI_BASE_URL可选。API 的接入 URL。常用于切换到其他模型服务如 https://some_service_name.com/v1MIDSCENE_MODEL_NAME可选。指定一个不同的模型名称 (默认是 gpt-4o)。常用于切换到其他模型服务 这里要注意环境变量的KEYVALUE等于符号左右两侧不能有空格否则会报错
基本使用
Midscene** 核心操作分为行为**、查询、断言如下图所示 行为
用于控制界面包括对界面定位、点击、滚动、键盘输入、悬停、等待。
基本用法
await mid.aiAction(在搜索输入框中输入你好然后按回车执行搜索);
await mid.aiAction(将鼠标移动到新闻列表中的第二项然后点击它);// 使用 .ai 简写
await mid.ai(将鼠标移动到新闻列表中的第二项然后点击它);查询
用于从 UI 提取自定义数据不仅可以返回页面上直接书写的数据还能基于“理解”返回数据。
基本用法
const dataA await mid.aiQuery({time: 左上角展示的日期和时间string, userInfo: 用户信息{name: string},tableFields: 表格的字段名string[],tableDataRecord: 表格中的数据记录{id: string, [fieldName]: string}[]
});最后AI会按照你的格式将数据整理返回
断言
为了确保提取的数据符合预期通常会结合使用 .aiAssert 方法来进行断言。
基本用法
await mid.aiAssert(路由器 的价格是 139);这段代码将会检查页面上的“路由器”产品的价格是否确实是 139。如果不符合预期则测试将失败。
注意事项
使用清晰、详细的步骤描述非常重要。过于简略的指令可能会导致不稳定的结果或者运行失败。
Midscene 目前无法规划包含条件和循环的步骤。
为了避免 AI 幻觉造成的错误断言在需要高准确性的场景可以结合 .aiQuery 和普通 JavaScript 断言来替代 .aiAssert。
调试配置
设置 MIDSCENE_DEBUG_AI_PROFILE 变量就可以看到每次调用 AI 的时间和 token 数量。
MIDSCENE_DEBUG_AI_PROFILE1总结
Midscene.js 是一款创新的面向开发者的 UI 自动化解决方案通过人工智能技术简化自动化脚本的编写与维护。
它提供了交互、提取和断言三种核心方法支持通用的大规模语言模型LLM和开源模型 UI-TARS。
– 欢迎点赞、关注、转发、收藏【我码玄黄】各大平台同名。
