UFO²是什么
UFO² 是微软推出的面向 Windows 桌面的多Agent操作系统（AgentOS），基于深度系统集成和自然语言交互实现复杂桌面任务的自动化。UFO²基于中央 HostAgent 分解任务协调多个应用专用的 AppAgent 执行操作，结合 GUI 交互和原生 API 调用，提高任务执行的效率和鲁棒性。UFO² 引入混合控制检测、持续知识整合和非干扰式用户体验设计，支持在隔离的虚拟桌面中运行，避免干扰用户操作。UFO² 在多个真实 Windows 应用中表现出色，显著提升自动化任务的成功率和执行效率。
UFO²的主要功能
- 深度操作系统集成：支持深度集成到 Windows 系统中，实现对桌面应用的精细控制。
- 非干扰式用户体验：UFO² 支持在隔离的虚拟桌面中运行，用户和智能体同时操作，互不干扰。
- 多轮交互支持：支持多轮任务执行，用户在会话中逐步细化指令或干预智能体的操作。
- 安全保障机制：检测潜在的危险操作，在执行前提示用户确认，确保用户数据和系统安全。
UFO²的技术原理
- 多智能体架构：
- HostAgent：作为中央控制平面，负责解析用户指令、分解任务、调度 AppAgent，协调跨应用的执行。
- AppAgent：针对特定应用的执行模块，具备应用专用的 API、知识库和 GUI/API 混合动作接口，高效地执行任务。
- 混合控制检测：结合 Windows UI Automation（UIA）APIs 提供的结构化数据和基于视觉的检测模型，实现对标准和自定义 UI 元素的可靠识别。
- 统一 GUI/API 动作层：基于 Puppeteer 模块，UFO² 动态选择 GUI 操作或应用原生 API 调用，优化任务执行路径，减少 GUI 操作的脆弱性。
- 持续知识整合：基于检索增强型记忆（RAG）技术，将外部文档和历史执行记录整合到智能体的知识库中，支持智能体在运行时动态学习和改进。
- 推测性多动作执行：基于单次推理预测多个动作，在运行时验证这些动作的可行性，减少推理调用频率，提高执行效率。
UFO²的项目地址
- 项目官网：https://microsoft.github.io/UFO/
- GitHub仓库：https://github.com/microsoft/UFO
- arXiv技术论文：https://arxiv.org/pdf/2504.14603
UFO²的应用场景
- 办公自动化：自动处理 Excel 数据、编辑 Word 文档、制作 PowerPoint 演示文稿等。
- 跨应用工作流：协调多个应用完成复杂任务，如从 Excel 导入数据到 Outlook。
- 企业任务自动化：减少人工干预，高效完成数据录入、文件处理等重复性工作。
- 智能客服：快速响应用户请求，基于自然语言交互解决问题。
- 教育与培训：辅助教学，自动演示操作或生成学习报告。