🤖 DeepMind团队运用Gemini 1.5 Pro大幅提升机器人能力，通过“观看”视频了解环境，机器人能够执行基于自然语言的用户指令，如寻找充电插座，展现出高度的理解和执行能力。

🔍 Gemini 1.5 Pro的上下文窗口达到200万个词元，使得机器人能够处理更复杂的指令。在9000平方英尺的测试区域内，机器人能够成功执行50多条用户指令，成功率高达90%。

🧠 研究还发现，Gemini 1.5 Pro有助于机器人规划除了导航之外的复杂任务，例如帮助用户检查冰箱中是否有其喜欢的饮料，显示出机器人具备一定的逻辑推理能力。

IT之家 7 月 13 日消息，科技媒体 The Verge 昨日报道，谷歌旗下的 DeepMind 团队正在使用 Gemini 训练其机器人，让其能够完成更复杂的任务，且能在复杂的环境下自由穿梭。

DeepMind 团队已经发表了最新的研究论文，利用 Gemini 1.5 Pro 的上下文窗口（达到 200 万个词元），让用户可以更轻松地使用自然语言指令与 RT-2 机器人互动。

IT之家注：上下文窗口（context window）是指语言模型在进行预测或生成文本时，所考虑的前一个词元（token）或文本片段的大小范围。

其工作原理是拍摄指定区域（如家庭或办公空间）的视频导览，研究人员使用 Gemini 1.5 Pro 让机器人“观看”视频以了解环境；然后，机器人可以根据观察到的情况，通过语言和 / 或图像输出来执行命令。

例如用户向机器人展示一部手机，并询问“在哪里可以充电？”，机器人会引导用户找到室内的电源插座。

DeepMind 称，在一个 9000 平方英尺（IT之家备注：约 836.13 平方米）的操作区内，机器人在升级 Gemini 之后，测试发出 50 多条用户指令，成功率高达 90%。

研究人员还发现 "初步证据" 表明，Gemini 1.5 Pro 能让机器人计划如何完成导航以外的指令。

例如，当一位桌上摆放着许多可乐罐的用户询问机器人是否有他们最喜欢的饮料时，Gemini “知道机器人应该导航到冰箱，检查是否有可乐，然后返回用户处报告结果”。DeepMind 表示计划进一步研究这些结果。