Helix是什么
Helix 是 Figure 推出的通用视觉-语言-动作（VLA）模型，用于人形机器人的控制。Helix首创性地实现对机器人整个上身（包括手腕、躯干、头部和手指）的高速率（200Hz）连续控制，支持多机器人协作，多个机器人共用同一组神经网络权重完成任务。Helix 基于自然语言指令拿起从未见过的物品，表现出强大的泛化能力。Helix 的训练完全端到端，无需任务特定的微调，在低功耗 GPU 上运行，具备商业部署潜力。
Helix的主要功能
- 全上身控制：对机器人整个上半身（包括手腕、躯干、头部和手指）进行高速率（200Hz）的连续控制，实现高精度的动作协调。
- 多机器人协作：支持多个机器人同时运行同一套神经网络权重，实现协作完成任务，例如共同搬运或整理物品。
- 自然语言理解与执行：机器人基于自然语言指令完成各种任务，例如拿起从未见过的物品、操作抽屉或冰箱等。
- 强大的泛化能力：处理数千种形状、大小和材质各异的物品。
- 商业部署能力：完全在低功耗嵌入式 GPU 上运行，适合大规模商业化应用。
Helix的技术原理
- 系统2（S2）：基于 7B 参数的开源视觉语言模型（VLM），负责场景理解和语言理解。处理频率为 7-9Hz，用于“慢速思考”高级目标，将视觉和语言信息转化为语义表征。将语义信息编码为连续的潜在向量，传递给系统1。
- 系统1（S1）：基于 80M 参数的 Transformer 编码器-解码器架构，用于底层控制。处理频率为 200Hz，快速执行和调整动作。将 S2 传递的潜在向量与视觉特征结合，转化为精确的机器人动作（如手腕姿态、手指控制、头部和躯干方向）。
- 端到端训练：从原始像素和自然语言指令映射到连续动作输出，使用标准回归损失进行训练。训练过程中引入时间偏移，模拟 S1 和 S2 的推理延迟，确保训练与部署的一致性。
- 解耦架构：S1 和 S2 分别运行在不同的时间尺度上，S2 负责高级语义规划，S1 负责实时动作执行。既保证系统的泛化能力，又实现了快速响应。
- 优化推理部署：在机器人上，S1 和 S2 分别运行在独立的 GPU 上，S2 异步更新潜在向量，S1 实时执行动作控制。
Helix的项目地址
Helix的技术原理
- 家庭服务：整理物品、收纳、操作家电等日常家务。
- 多机器人协作：多个机器人共享一套神经网络，共同完成搬运或组装任务。
- 物品抓取：基于自然语言指令抓取从未见过的物品，适用于物流和仓储。
- 工业自动化：用在复杂的人机协作任务，如零部件装配和质量检测。
- 服务行业：在酒店、餐厅等场所提供引导、递送和清洁服务。