观看两个微型人工智能机器人踢足球

Google DeepMind 现在能够训练微型现成的机器人在足球场上一决高下。在今天发表在《科学机器人》杂志上的一篇新论文中，研究人员详细介绍了他们最近的努力，即调整一种称为深度强化学习 (deep RL) 的机器学习子集，以教双足机器人进行这项运动的简化版本。该团队指出，虽然过去类似的实验创造了极其敏捷的四足机器人（参见：波士顿动力 Spot），但对两足人形机器的研究却少得多。但机器人运球、防守和射门的新镜头展示了深度强化学习对人形机器的指导有多么出色。

虽然谷歌 DeepMind 的最终目的是用于气候预报和材料工程等大型任务，但它也可以在国际象棋、围棋甚至星际争霸 II等游戏中完全击败人类竞争对手。但所有这些战略动作都不需要复杂的身体运动和协调。因此，虽然 DeepMind 可以研究模拟足球运动，但它还无法将其转化为实际的运动场——但这种情况正在迅速改变。

为了制作微型梅西，工程师们首先在计算机模拟中开发并训练了两项深度强化学习技能——从地面站起的能力和如何在与未经训练的对手的比赛中进球。然后，他们通过结合这些技能，将系统虚拟训练成一对一的完整足球比赛，然后将他们随机配对给经过部分训练的复制体。

[相关：谷歌 DeepMind 的人工智能预测优于“黄金标准”模型。]

研究人员在论文介绍中写道：“因此，在第二阶段，代理学会了结合先前学到的技能，将其细化为完整的足球任务，并预测和预期对手的行为。”后来又指出，“在比赛过程中，代理在所有这些行为之间流畅地转换。”

得益于深度强化学习框架，由 DeepMind 驱动的代理很快就学会了改进现有的能力，包括如何踢足球、射足球、盖帽，甚至用身体作为盾牌来保卫自己的球门免受对手的攻击。

在一系列一对一比赛中，使用深度强化学习训练的机器人，两名机械运动员行走、转身、踢腿和直立的速度都比工程师仅向他们提供脚本技能基线时的速度要快。这些改进也并非微不足道——与非自适应脚本基线相比，机器人行走速度提高了 181%，转身速度提高了 302%，踢腿速度提高了 34%，跌倒后站起来所需的时间减少了 63%。此外，经过深度强化学习训练的机器人还表现出了新的、突发的行为，比如用脚旋转和旋转。否则，预先编写这样的动作将极具挑战性。

在 DeepMind 驱动的机器人进入 RoboCup 之前，还有一些工作要做。在这些初始测试中，研究人员完全依赖基于模拟的深度强化学习训练，然后再将这些信息转移到物理机器人上。未来，工程师们希望将虚拟和实时强化训练结合起来，用于他们的机器人。他们还希望扩大机器人的规模，但这需要更多的实验和微调。

该团队认为，将类似的深度强化学习方法应用于足球以及许多其他任务，可以进一步改善双足机器人的运动和实时适应能力。不过，目前你不太可能需要担心 DeepMind 人形机器人会出现在全尺寸足球场上——或者出现在劳动力市场上。同时，考虑到它们的持续改进，做好准备揭发它们可能并不是一个坏主意。