Step-GUI是什么
Step-GUI 是阶跃星辰推出的AI Agent系列模型，包含云侧模型 Step-GUI 和端侧模型 Step-GUI Edge（原名：Gelab-Zero）。云侧模型擅长复杂任务处理，端侧模型轻量化，能在手机等本地设备运行，保护用户隐私。Step-GUI 通过自进化训练流程和校准步进奖励系统（CSRS），将模型生成的交互轨迹转化为高质量训练数据，显著降低标注成本，提升性能。Step-GUI 在多个基准测试中表现出色，如 AndroidWorld 和 ScreenShot-Pro 等。Step-GUI 推出了 GUI-MCP 协议，实现标准化的模型与设备交互，保护用户隐私，通过 AndroidDaily 基准测试评估模型在真实世界移动应用中的表现，推动 GUI 自动化工具的实用化和标准化发展。
Step-GUI的主要功能
- 自动化任务执行：像人类用户一样操作各种应用程序，例如点击按钮、滑动屏幕、输入文本等，完成从简单到复杂的任务。
- 跨平台适配：通过 GUI-MCP 协议，Step-GUI 能在多种设备（如手机、电脑、车机）上运行，支持不同操作系统（如 Android、iOS、Windows、macOS）。
- 隐私保护：采用端云协同架构，将敏感数据保留在本地设备端，将必要的语义信息传输到云端，确保用户隐私。
- 高效任务处理：通过云侧大模型和端侧小模型的分工协作，实现复杂任务的高效处理。云侧模型负责高级推理和任务拆解，端侧模型负责具体操作执行。
- 真实场景模拟：模拟真实用户的行为模式，完成如社交聊天、购物支付、视频观看等日常高频任务，适用于多种实际应用场景。
Step-GUI的技术原理
- 多模态大语言模型：Step-GUI 基于强大的多模态大语言模型（如 Qwen3-VL），能理解和生成自然语言指令，将其转化为具体的 GUI 操作。模型通过视觉输入（如屏幕截图）和语言指令的结合，实现对界面元素的精准定位和操作。
- 自进化训练框架：通过校准步进奖励系统（Calibrated Step Reward System, CSRS），将模型生成的操作轨迹转化为高质量的训练数据。CSRS 通过轨迹级别的验证信号，确保数据的准确性和可靠性，同时用 LLM 生成的详细推理链，提升模型的泛化能力。
- 端云协同架构：Step-GUI 采用端云协同的工作模式。端侧模型（如 Step-GUI Edge）负责在本地设备上执行具体的操作任务，确保隐私保护和低延迟响应；云侧模型负责处理复杂的逻辑推理和任务拆解，提供更强的语义理解和泛化能力。
- GUI-MCP 协议：为实现跨平台的标准化交互，Step-GUI 提出 GUI-MCP（Model Context Protocol）协议。协议通过分层架构，将设备操作抽象为原子操作和复合任务，支持低级操作（如点击、滑动）和高级任务委托（如“购买咖啡”），同时确保数据在本地处理，保护用户隐私。
- 强化学习与数据迭代：Step-GUI 使用强化学习（如 Group Relative Policy Optimization, GRPO）进行训练，通过与环境的交互不断优化模型的决策能力。同时，通过自进化训练流程，模型能不断从自身生成的数据中学习，提升性能。
Step-GUI的项目地址
- GitHub仓库：https://github.com/stepfun-ai/gelab-zero
- 技术论文：https://github.com/stepfun-ai/gelab-zero/blob/d1cd0c7be83e234b66dbec4c5554f5fde44dce08/report/Step-GUI_Technical_Report.pdf
Step-GUI的应用场景
- 个人日常任务自动化：Step-GUI 能自动回复社交消息、管理群聊，在生活服务应用中下单、支付，帮助用户高效处理日常事务。
- 企业级自动化任务：工具能在办公软件中自动完成数据录入、文档编辑和邮件发送，提升企业办公效率，优化工作流程。
- 智能家居与物联网：Step-GUI 能控制智能家居设备，设置场景模式，实现灯光、空调等设备的自动化控制，提升家居生活的便利性。
- 游戏与娱乐：Step-GUI 能在游戏里自动完成重复性任务，或在视频平台自动播放、收藏、评论视频，增强娱乐体验。
- 教育与学习：Step-GUI 能在在线学习平台自动播放课程、提交作业，在学习管理工具中创建任务、记录进度，助力学习管理。