谷歌正在训练机器人通过乒乓球与人类互动

昨天，谷歌研究院公布了两个正在研究的乒乓球机器人新项目。谷歌机器人团队训练机器人手臂与其他人进行 300 多次对打，并以“业余选手”的精准度接发球。考虑到有些人打乒乓球的水平很差，这听起来可能并不令人印象深刻，但同样的技术可以用来训练机器人执行其他需要人机密切互动的“动态、高加速度任务”。

乒乓球是一项让机器人学习的有趣任务，因为它具有两个互补的特性：它需要在固定且可预测的环境中进行结构化游戏，同时需要快速而精确的动作。机器人用来做决定的学习算法必须努力工作才能变得优秀，但乒乓球桌的局限性限制了它必须应对的世界。打乒乓球是一项需要双方参与的任务，这确实很有帮助：机器人可以与另一个机器人（或模拟）或真人一起训练。所有这些都使其成为探索人机交互和强化学习技术（机器人从实践中学习）的绝佳设置。

Google 工程师使用同一个机器人设计了两个不同的项目。Iterative-Sim2Real 将于今年晚些时候在 CoRL 上展出，而 GoalsEye 将于下周在 IROS 上展出。Iterative-Sim2Real 是一个训练机器人与人类进行 300 次合作对打的程序，而 GoalsEye 则允许它将发球回击到桌子上的特定目标点，精度堪比业余人类。

Iterative-Sim2Real 试图解决“先有鸡还是先有蛋”的问题，即教机器模仿人类的行为。研究团队解释说，如果你一开始没有一个好的机器人策略（一套机器人规则），那么你就无法收集关于人们如何与机器人互动的高质量数据。但是，如果没有人类行为模型，你就无法制定机器人策略。一种替代解决方案是在现实世界中专门训练机器人。然而，这个过程“通常很慢，成本高昂，并且会带来安全相关的挑战，当涉及到人类时，这些挑战会进一步加剧。”换句话说，这需要很长时间，而且人们可能会被机械臂挥舞乒乓球拍弄伤。

Iterative-Sim2Real 通过使用非常简单的人类行为模型作为起点，然后使用模拟和现实世界中的人类来训练机器人，从而避免了这个问题。每次迭代之后，人类行为模型和机器人策略都会得到改进。使用五名人类受试者，使用 Iterative-Sim2Real 训练的机器人表现优于另一种称为模拟到真实加微调的方法。它以少于五次击球结束的回合明显减少，平均回合长度增加了 9%。

另一方面，GoalsEye 着手解决一组不同的训练问题，并教机器人将球回任意位置，例如“左后角”或“右侧球网上方”。模仿学习（机器人根据人类表现数据制定比赛策略）在高速环境中很难进行。影响人类击打乒乓球的变量太多，这使得机器人几乎不可能跟踪学习所需的一切。强化学习通常适用于这些情况，但速度可能很慢，采样效率低下——尤其是在开始时。（换句话说，需要大量重复才能制定出相当有限的比赛策略。）

GoalsEye 试图使用初始的“小型、结构弱、非目标化数据集”来克服这两组问题，该数据集使机器人能够学习击打乒乓球时发生的基本情况，然后允许它自我练习，教会它精确地将球击到特定点。在经过最初的 2,480 次演示训练后，机器人只有 9% 的时间能够将球击回 30 厘米（约 1 英尺）以内。但在自我练习了约 13,500 次击球后，它的准确率达到 43%。

虽然教机器人玩游戏似乎微不足道，但研究团队认为，用乒乓球解决这类训练问题具有潜在的实际应用价值。Iterative-Sim2Real 允许机器人通过与人类的互动进行学习，而 GoalsEye 则展示了机器人如何从非结构化数据中学习，并在“精确、动态的环境中”自我练习。最坏的情况是：如果谷歌的大目标没有实现，至少他们可以制造一个机器人乒乓球教练。