弹窗视频网站,百度网络推广优化,海外网络推广,教程网近年来#xff0c;随着AI技术的发展#xff0c;智能代理在各种应用中扮演着越来越重要的角色。微软推出的UFO#xff08;User-Focused Operator#xff09;正是这样一个出色的多代理框架#xff0c;旨在通过无缝导航和操作#xff0c;满足用户在Windows操作系统中跨多个应… 近年来随着AI技术的发展智能代理在各种应用中扮演着越来越重要的角色。微软推出的UFOUser-Focused Operator正是这样一个出色的多代理框架旨在通过无缝导航和操作满足用户在Windows操作系统中跨多个应用程序的需求。今天我将为大家介绍UFO的架构、功能亮点以及如何开始使用这个强大的工具。
https://github.com/microsoft/UFO 框架概述
UFO作为一个多代理框架主要包含以下几个组件 HostAgent 负责选择适合用户请求的应用程序。当请求跨越多个应用时它还可以在完成部分任务后切换应用。 AppAgent 在选定的应用程序内迭代执行操作直至任务成功完成。 应用自动化器 负责将HostAgent和AppAgent的行动翻译为与应用程序的交互包括UI控件、原生API或AI工具的使用。
这两个代理利用GPT-Vision的多模态能力来理解应用界面并完成用户的请求。更详细的技术内容可以参考官方的技术报告和文档。 最新动态
官方一直致力于不断改进和优化UFO以提供更高效的用户体验。以下是最近的一些更新和重要新闻 2024-09-08发布v1.1.0版本此版本允许UFO点击应用程序的任意区域并将其延迟减少至原来的三分之一。 2024-07-06发布v1.0.0版本详细文档已上线欢迎大家贡献和反馈。 2024-06-28官方激动地宣布UFO的官方介绍视频已在YouTube上线 2024-05-21官方在GitHub上达到了5000颗星✨
详细的更新日志请参考官方的技术文档每一次更新都包含许多新功能和改进从HostAgent重构到支持Google Gemini推理引擎再到支持自定义用户代理等让UFO变得更强大和易用。 媒体报道
UFO发布以来受到了广泛的媒体关注。以下是部分媒体报道的标题和评价 Microsoft的UFO带来了更智能的Windows体验 UFO GPT-4-V让GPT接管一切 AI PC - 计算机的未来微软的UFO 下一代智能版Windows要来了微软推出首个Windows Agent命名为UFO
这些报道展示了UFO如何革新技术前沿以及其对多平台的影响。 功能亮点
UFO具有许多突出的功能 Windows首个智能代理UFO是首个能够将自然语言用户请求翻译为在Windows操作系统上可执行操作的智能代理框架。 专家代理通过从多种异构源包括离线帮助文档、在线搜索引擎和人类示范进行检索增强生成RAG使UFO成为应用程序的“专家”。 丰富的技能集UFO具备多种技能支持全面的自动化操作包括鼠标、键盘、原生API和“Copilot”。 交互模式UFO能够在一个会话内处理用户的多个子请求实现复杂任务的无缝完成。 代理定制化用户可以通过提供附加信息自定义自己的代理。代理在需要时会主动查询用户详细信息以便更好地调整其行为。 可扩展的AppAgent创建UFO提供扩展性允许用户和应用开发者以简单且可扩展的方式创建自己的AppAgent。 如何开始
步骤1安装
UFO需要Python 3.10或更高版本并运行在Windows 10及以上的操作系统上。您可以通过以下命令进行安装
# 创建conda环境可选# conda create -n ufo python3.10# conda activate ufo
# 克隆仓库git clone https://github.com/microsoft/UFO.gitcd UFO# 安装依赖pip install -r requirements.txt# 如果您想使用Qwen作为LLM请取消注释相关库。步骤2配置LLM
在运行UFO之前您需要为HostAgent和AppAgent分别提供LLM配置。您可以通过复制ufo/config/config.yaml.template并编辑相应的配置创建您自己的ufo/config/config.yaml文件
OpenAI: VISUAL_MODE: True, # 是否使用视觉模式 API_TYPE: openai, # API类型 API_BASE: https://api.openai.com/v1/chat/completions, # OpenAI API端点 API_KEY: sk-, # OpenAI API密钥 API_VERSION: 2024-02-15-preview, # 默认版本 API_MODEL: gpt-4-vision-preview, # 唯一的OpenAI模型
Azure OpenAI (AOAI): VISUAL_MODE: True, # 是否使用视觉模式 API_TYPE: aoai, # API类型 API_BASE: YOUR_ENDPOINT, # AOAI API地址 API_KEY: YOUR_KEY, # AOAI API密钥 API_VERSION: 2024-02-15-preview, # 默认版本 API_MODEL: gpt-4-vision-preview, # 唯一的OpenAI模型 API_DEPLOYMENT_ID: YOUR_AOAI_DEPLOYMENT, # AOAI API部署ID
您还可以为每个代理配置非视觉模型如GPT-4通过设置VISUAL_MODE: False和适当的API_MODEL。另外您可以在BACKUP_AGENT字段中设置备用语言模型引擎以防主引擎在推理过程中失败。
步骤3RAG的附加设置可选
如果您想增强UFO的外部知识调取功能可以在ufo/config/config.yaml文件中配置外部数据库用于检索增强生成RAG 离线帮助文档使UFO能够从离线帮助文档中检索信息。 在线Bing搜索引擎利用最新的在线搜索结果增强UFO的能力。 自我经验将任务完成轨迹保存到UFO的内存中以供将来参考。 用户演示通过用户演示提升UFO的能力。
步骤4启动UFO
|diff_marker| ADD A1000 在Windows命令行CLI中执行以下命令以启动UFO
# 假设您在克隆的UFO文件夹中python -m ufo --task your_task_name
这将启动UFO进程您可以通过命令行界面与之交互。如果一切正常您将看到以下提示
欢迎使用UFOWindows操作系统交互的UI专注代理。 _ _ _____ ___| | | || ___| / _ \| | | || |_ | | | || |_| || _| | |_| | \___/ |_| \___/请输入要完成的请求 步骤5执行日志
您可以在以下文件夹中找到截屏和请求响应日志
./ufo/logs/your_task_name/
这些日志可用于调试、重播或分析代理输出。 获取帮助
若需帮助请首先查阅官方的文档。若仍有疑问您可以在GitHub Issue上提问或通过邮件联系ufo-agentmicrosoft.com。 评价
请参考官方技术报告附录A中的WindowsBench部分。以下是一些有助于完成请求的提示 在UFO执行请求之前请确保目标应用程序处于活动状态可以最小化但不能关闭。 请注意GPT-V的输出可能因相同请求而异。如果未成功完成请求请尝试重新尝试。 引用
如果您在研究中使用了UFO请引用官方 的论文
article{ufo, title{{UFO: A UI-Focused Agent for Windows OS Interaction}}, author{Zhang, Chaoyun and Li, Liqun and He, Shilin and Zhang, Xu and Qiao, Bo and Qin, Si and Ma, Minghua and Kang, Yu and Lin, Qingwei and Rajmohan, Saravan and Zhang, Dongmei and Zhang, Qi}, journal{arXiv preprint arXiv:2402.07939}, year{2024}} 相关项目
您也可以关注TaskWeaver一个以编码优先的LLM代理框架用于无缝规划和执行数据分析任务。
