谷歌最强具身推理模型:Gemini Robotics ER 2 登场,支持连续视频理解与多机器人协作
IT之家 7 月 31 日消息,谷歌 DeepMind 昨日(7 月 30 日)发布博文,宣布推出 Gemini Robotics ER 2 模型,是其面向机器人的最强具身推理(embodied reasoning)模型。
定位方面,该模型可视为机器人的“高级大脑”,协调处理与人类交流、理解物理世界并规划多步骤任务等。该模型后续会向更低层级的视觉-语言-动作 (VLA) 模型分派任务,管控其完成各项任务。
在功能方面,相比较此前 1.6 版本,Gemini Robotics ER 2 模型通过持续观看视频,机器人现在可以追踪自身的运行进度,在出现问题时进行调整,并准确把握进入下一步的时机。模型还可原生调用 Google Search(谷歌搜索)或开发者自定义函数。
在物理智能体方面,在机器人当前处于执行任务状态下,Gemini Robotics ER 2 模型可以同步推理后续步骤,以减少传统机器人“停止 — 思考 — 再行动”带来的停顿。该模型接入 Gemini Live API(Gemini 实时 API)的双向流式端点,面向对延迟敏感的机器人任务。
相较 Gemini Robotics ER 1.6,ER 2 可分析连续视频流。机器人可据此跟踪自身任务进度,在动作出错时调整或重试,并判断何时进入下一步骤。
在任务进度分类测试中,Gemini Robotics ER 2 的准确率为 57.4%。该能力可帮助机器人在不重启整个工作流的情况下修正失败步骤。
在 moment-finding 时刻寻找(关键时刻定位)测试中,模型需要找出关键事件发生的精确视频帧,例如判断何时停止向杯中倒咖啡。ER 2 的准确率为 91.3%,平均绝对时间误差为 0.96 秒。
谷歌称,该模型以更低计算成本达到接近更大模型类别的精度,执行速度为其 4 倍,并满足现实机器人安全运行所需的亚秒级延迟要求。
ER 2 还支持多机器人协作。不同类型的机器人可借助共享语义理解沟通、交接任务,并完成单台设备难以独立完成的复杂工作流。谷歌展示了 Apptronik 的 Apollo 2 与 Franka 的 FR3 Duo 协作案例。
Gemini Robotics ER 2 现已通过 Gemini API 和 Google AI Studio 面向开发者公开提供;同时,它已在 Gemini Enterprise Agent Platform(Gemini 企业智能体平台)中开启私密预览。谷歌还发布了模型配置和提示词示例代码。