字节跳动发布Seed GR-3：一个可泛化、支持长序列复杂操作任务的机器人操作大模型

具身进化
2025-07-22 13:19:02

摘要

Abstract

GR-3 是一个大规模的视觉 - 语言 - 动作（VLA）模型。

项目地址：https://seed.bytedance.com/zh/GR3

GR-3 是一个大规模的视觉 - 语言 - 动作（VLA）模型。它对新物体、新环境以及含抽象概念的新指令展现出较好的泛化能力。此外，GR-3 支持少量人类轨迹数据的高效微调，可快速且经济地适应新任务。GR-3 在处理长周期和灵巧性任务（包括需要双手操作和底盘移动的任务）上也展现出稳健且可靠的性能。

这些能力源自—种多样的训练方法，具体包括：利用大规模的视觉 - 语言数据联合训练、征集了用户授权的基于 VR 设备的人类轨迹数据进行高效微调，以及基于机器人轨迹数据进行有效地模仿学习。

此外，我们还推出了一款双臂移动机器人 ByteMini。ByteMini 兼具灵巧性和可靠性，集成了 GR-3 后，能完成各式各样的复杂任务。

通过大量真实世界实验，我们证明了 GR-3 面向各种挑战性的任务有较好表现。我们希望，GR-3 能成为迈向通用机器人“大脑”的重要一步。

指令跟随与泛化能力

我们首先在拾取放置任务上，评估模型的指令跟随与泛化能力，具体分为四个测试设置：

基础场景（Basic）：环境与物品均为训练过程中已见过的；

未知环境场景（Unseen Environments）：在四个训练中未见过的环境中进行评估；

未知指令场景（Unseen Instructions）：评估模型对含抽象概念的未知指令的理解能力；

未知物品场景（Unseen Objects）：使用 45 个训练中未见过的物品进行评估。

(a) 图中展示了不同方法在四种设置上，跟随指令的成功率（IF Rate）和任务成功率（Success Rate）。（b) 图中展示了用不同数量的人类轨迹数据联合微调后，GR-3 在两种设置下跟随指令的成功率和任务成功率。

通过与视觉 - 语言数据的联合训练，GR-3 可以更好地泛化到未见过的环境、指令、物体。在跟随指令和成功率方面，GR-3 均有一定优势。当在训练中去掉视觉 - 语言数据，模型面对未见过的指令和物体性能均有明显下降。这意味着视觉 - 语言数据的联合训练为 GR-3 带来了强大的泛化能力。另外，通过使用人类轨迹数据进行联合微调， GR-3 也可以快速泛化到机器人数据中未见过的物体。加入人类轨迹数据微调，对见过的物体的操作成功率几乎没有影响。随着人类轨迹数据从 1 条/物体逐渐增加到 10 条/物体，GR-3 在未见过的物体上的成功率也逐渐提升。

鲁棒的长序列任务能力