Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation

近日，斯坦福大学、伯克利大学和谷歌 DeepMind 团队合作推出一款家用机器人，名为”Mobile ALOHA”。

Mobile ALOHA的形态是一个轮式小型机器人，大小类似于亚马逊 Alexa 设备。它配备了摄像头、麦克风和扬声器，可以看见、听到并与用户沟通。Mobile ALOHA最独特的特点是其移动性——它能够利用先进的计算机视觉能力自主导航室内环境。

Mobile ALOHA 一个关键创新是谷歌在机器人导航和地图方面的进步。Mobile ALOHA能够使用摄像头和传感器识别家具、物体和墙壁，从而构建室内空间的动态地图。它能够在地图中定位自己，并规划最优路径进行导航。机器学习使得机器人能够随着时间的推移，在收集更多感知数据后，改进其地图和导航能力。

其实，这款机器人最吸引人的特点之一是它的双重操作模式。它可以手动操作：支持复杂的远程控制进行操作，提供精准的操控性和任务执行能力。自动功能：或许最具突破性的功能是它的自主操作能力，经过大约 50 次训练演示后，机器人能够独立执行复杂任务，包括使用电梯和烹饪。

在技术细节上，Mobile ALOHA 继承了原始 ALOHA 系统的优点，即低成本、灵巧、可维修的双臂远程操作装置，同时将其功能扩展到桌面操作之外。

在模仿学习方面，Mobile ALOHA 利用了 Transformer（大型语言模型中使用的架构）。最初的 ALOHA 系统使用了一种名为 Action Chunking with Transformers (ACT) 的架构，它将来自多个视点和关节位置的图像作为输入并预测一系列动作。

另外，得益于生成模型的成功，MobileAloha 可以快速从人类演示中学习，而且它可以只通过 50 次的演示就能学会一件事，合作训练可以提高成功率高达 90%。

Abstract

Imitation learning from human demonstrations has shown impressive performance in robotics. However, most results focus on table-top manipulation, lacking the mobility and dexterity necessary for generally useful tasks. In this work, we develop a system for imitating mobile manipulation tasks that are bimanual and require whole-body control. We first present Mobile ALOHA, a low-cost and whole-body teleoperation system for data collection. It augments the ALOHA system with a mobile base, and a whole-body teleoperation interface. Using data collected with Mobile ALOHA, we then perform supervised behavior cloning and find that co-training with existing static ALOHA datasets boosts performance on mobile manipulation tasks. With 50 demonstrations for each task, co-training can increase success rates by up to 90%, allowing Mobile ALOHA to autonomously complete complex mobile manipulation tasks such as sauteing and serving a piece of shrimp, opening a two-door wall cabinet to store heavy cooking pots, calling and entering an elevator, and lightly rinsing a used pan using a kitchen faucet.