视频游戏技术、人工智能和计算机视觉如何帮助解读动物的疼痛和行为

2013 年，桑迪普·罗伯特·“鲍勃”·达塔 (Sandeep Robert “Bob” Datta) 正在波士顿哈佛医学院的神经生物学实验室工作，当时他做出了一个重大决定，将他的学生亚历克斯·威尔奇科 (Alex Wiltschko) 送到街上的百思买 (Best Buy)。威尔奇科当时的任务是购买一台 Xbox Kinect 摄像头，该摄像头旨在捕捉玩家在《舞力全开》和《FIFA》等视频游戏中的身体动作。他花了大约 150 美元买了它。这件不起眼的消费电子产品将决定实验室未来十年及以后的发展方向。

这也使该团队置身于人工智能、神经科学和动物行为交叉领域的一项日益壮大的科学运动之中——这一领域有望改变研究人员利用其他生物研究人类健康状况的方式。Datta 实验室正在学习追踪小鼠运动的细微差别，了解哺乳动物大脑如何产生行为的基础知识，解开不同健康状况的神经科学，并最终为人类开发新的治疗方法。这一研究领域依靠所谓的“计算机视觉”来分析动物的视频片段并检测肉眼无法察觉的行为模式。计算机视觉还可用于自动检测细胞类型，解决了研究癌症和肠道微生物组等复杂组织的研究人员长期以来面临的问题。

2010 年代初，达塔的实验室正在研究嗅觉（对大多数动物来说最重要的感觉）是如何驱动啮齿动物对环境中的操纵做出反应的。嗅觉是小鼠赖以生存的必需品。传统上，人类观察者会跟踪小鼠的行为并记录他们的观察结果——小鼠因恐惧而僵住的次数、小鼠站立探索围栏的次数、小鼠梳理毛发的时间、小鼠埋藏弹珠的数量。达塔希望超越肉眼可见的动作，使用摄像机跟踪和计算啮齿动物是否会避开某种气味（例如捕食者尿液的气味）或被其吸引（例如玫瑰的气味）。当时可用的工具（将每只动物作为单点跟踪的头顶 2D 摄像机）无法产生足够详细的数据。

“即使在黑暗的竞技场中，没有任何刺激，[老鼠] 也会产生这些令人难以置信的行为动态 - 这些动态都无法被屏幕上跳动的点捕捉到，”Datta 说。因此，Wiltschko 认为 Xbox Kinect 摄像头是一种潜在的解决方案。2010 年推出后不久，人们就开始出于科学和娱乐目的对硬件进行破解。Datta 的实验室用它来追踪老鼠是再合适不过了：它可以在黑暗中使用红外光进行记录（老鼠在较暗的环境中会移动得更多），并且可以通过测量物体与传感器的距离在头顶上看到 3D 图像。这使得 Datta 的团队能够跟踪这些动物奔跑、直立或蹲伏的状态。在分析其初步结果时，他们意识到 Kinect 摄像头记录动物的动作非常丰富，这是 2D 摄像头无法捕捉到的。

“这让我们想到，如果我们能以某种方式识别数据中的规律，我们或许能够识别出动作的主题或模块，”达塔说。通过查看 Kinect 传感器的原始像素数，即使是压缩图像文件，也没有任何复杂的分析，他们开始看到这些规律。无论有没有气味，每隔几百毫秒，老鼠就会在不同类型的运动之间切换——后仰、摇头、转身。在第一次 Kinect 测试后的几年里，达塔和他的团队试图开发软件来识别和记录动物串联起来形成行为的基本运动成分的底层元素。

但他们总是走进死胡同。

“有很多方法可以收集数据并将其分成几堆。我们尝试了很多方法，很多方法都花了很多年，”达塔回忆道。“我们也尝试了很多次失败。”

他们尝试根据单帧视频中动物的姿势对结果进行分类，但这种方法忽略了运动——达塔表示，“正是运动让行为变得神奇”。因此，他们放弃了这一策略，开始思考持续几分之一秒并构成行为的较小动作，并按顺序进行分析。这是关键：认识到运动既是离散的又是连续的，由单元组成，但也是流动的。

因此，他们开始研究尊重这种双重身份的机器学习工具。2020 年，也就是那次决定性的百思买之旅七年后，达塔的实验室发表了一篇科学论文，描述了最终的程序，名为 MoSeq（“运动测序”的缩写，让人联想到基因测序的精确度）。在这篇论文中，他们展示了他们的技术可以识别亚秒级运动，即他们所说的“音节”，当它们被串成序列时，它们构成了老鼠的行为。通过检测老鼠何时后退、暂停或飞奔，Kinect 为解码动物行为的“语法”开辟了新的可能性。

计算机远见者

在达塔实验室（仍位于哈佛医学院）的最远角落，博士生玛雅·杰伊拉开黑色窗帘，露出沐浴在柔和的红橙色灯光下的小房间。右边放着三个相同的组件，它们由嵌在金属框架内的黑色桶组成。每个桶上方都悬挂着一个微软 Xbox Kinect 摄像头，以及一条连接到用于操纵大脑活动的激光光源的光纤电缆。摄像头的深度感应功能是其中的关键要素。杰伊说，典型的数字视频可以捕捉颜色等信息，而 Kinect 摄像头生成的图像实际上可以显示动物离地面的高度，例如，当它摇头或用后腿站立时。

微软于 2017 年停产了 Xbox Kinect 摄像头，并停止了对该设备的软件更新支持。但杰伊表示，达塔的实验室开发了自己的软件包，因此它不依赖微软来维持摄像头的运行。该实验室还运行自己的 Azure Kinect 软件，Azure Kinect 是该团队使用的原始 Kinect 的后继产品——尽管它也于 2023 年停产。在 Xbox Kinect 设备对面的实验室里，有一个六摄像头 Azure 装置，它可以从各个角度（包括从下方）记录老鼠，以生成包含来自各个角度的数据的高精度 2D 图像或 3D 图像。

对于 MoSeq 和其他计算机视觉工具，运动记录通常与对大脑的操作（其中感觉和运动功能植根于不同的模块）和神经活动读数一起进行分析。当大脑回路中断（无论是由于实验室中施用的药物还是对小鼠与人类共有的基因的编辑）导致行为改变时，这表明两者之间存在联系。这使得研究人员能够确定大脑中的哪些回路与某些类型的行为相关，以及药物如何作用于这些回路。

2023 年，达塔实验室发表了两篇论文，详细介绍了 MoSeq 如何为了解生物体内部线路做出新的贡献。在其中一篇论文中，研究小组发现，至少对于某些情况下的一些小鼠来说，小鼠行为的差异更多地受到与探索有关的大脑回路的个体差异的影响，而不是性别或生殖周期。在另一篇论文中，操纵神经递质多巴胺表明，这种与大脑奖励系统相关的化学信使支持自发行为的方式与它影响目标导向行为的方式大致相同。这个想法是，少量的多巴胺不断被分泌出来以构建行为，这与人们普遍认为多巴胺是一种重大奖励的看法相反。研究人员没有将 MoSeq 与人类观察结果进行比较，但它在另一组实验中的表现相当，该实验发表在一篇尚未发表的论文中。

这些研究探究了小鼠神经生物学的一些基本原理，但该领域的许多专家表示，MoSeq 和类似工具可能在不久的将来彻底改变动物和人类健康研究。

借助计算机视觉工具，小鼠行为测试所需时间仅为人类观察者所需时间的一小部分。这项技术问世之际，多方势力正在对动物试验提出质疑。美国食品药品监督管理局 (FDA) 最近改变了药物测试规则，将动物测试的替代方案视为人体临床试验的先决条件。然而，一些专家怀疑器官芯片等替代品是否先进到可以取代模型生物。但这种需求是存在的。除了福利和道德问题外，绝大多数临床试验都未能显示出对人类的益处，有时还会产生危险和无法预料的副作用，即使在小鼠或其他模型上进行了有希望的测试。支持者表示，计算机视觉工具可以检测实验条件下动物的不适情况，并以比传统观察更高的灵敏度记录治疗效果，从而提高医学研究的质量，减少实验动物的痛苦。

让科学家们更加兴奋的是，一些人将计算机视觉工具视为衡量光遗传学和化学遗传学效果的一种手段，这两种技术分别利用工程分子使选定的脑细胞在光和化学物质的作用下启动。这些生物医学方法在过去十年中彻底改变了神经科学，使科学家能够精确操纵大脑回路，进而帮助他们研究与行为和认知过程相关的特定网络和神经元。宾夕法尼亚大学精神病学助理教授 Greg Corder 说：“这第二波行为量化浪潮是每个人都忽略的另一半。”其他人也同意，这些计算机视觉工具是追踪实验室基因编辑效果的缺失部分。

哈佛医学院神经生物学家 Clifford Woolf 表示同意，他使用自己的监督计算机视觉工具进行疼痛研究，“这些技术确实是整合和融合的”。

建议成人监督

但人工智能是否已准备好接管追踪动物行为并解释其含义的任务？它是否已经确定了行为与神经活动之间的有意义联系？

这些是监督式和无监督式人工智能模型之间矛盾的核心问题。机器学习算法以人类难以或不可能的速度和规模在数据中发现模式。无监督机器学习算法识别数据集中的任何和所有主题，而监督式算法则由人类训练以识别特定类别。用小鼠的术语来说，这意味着无监督式人工智能将标记每个独特的动作或行为，但监督式人工智能只会精确定位研究人员感兴趣的动作或行为。

对于小鼠研究而言，无监督方法的主要优势在于，人们可能不会注意到亚秒级的行为。“当我们分析行为类型时，我们通常实际上是基于实验者对行为类型的判断，而不是数学聚类，”密歇根大学神经科学家 Bing Ye 表示，他的团队开发了 LabGym，这是一种用于小鼠和其他动物（包括大鼠和果蝇幼虫）的监督机器学习工具。可分析的行为簇数量也受到人类训练师的限制。另一方面，他说，现场专家可能最有资格识别值得注意的行为。出于这个原因，他提倡透明度：在任何研究中都发布训练数据集，即监督算法学习的分类参数。这样，​​如果专家不同意工具识别行为的方式，公开可用的数据可以为科学辩论提供坚实的基础。

哥伦比亚大学神经生物学家、小鼠神经行为测试机构小鼠神经行为核心中心主任杨穆 (Mu Yang) 对信任人工智能代替人类工作持谨慎态度，除非机器被证明是可靠的。她是一位传统的小鼠行为专家，接受过用眼睛检测动物细微动作的训练。杨穆知道，啮齿动物表达恐惧等内部状态的方式会根据环境而改变。人类也是如此。杨穆解释说：“无论你是在家里，还是在陌生城市的黑暗小巷里，你的恐惧行为都会有所不同。”换句话说，老鼠可能会简单地停下来，也可能会因为恐惧而僵住，但人工智能很难分辨出其中的区别。她说，追踪动物行为的另一个挑战是，在它们身上测试不同的药物可能会导致它们表现出自然界中不会出现的行为。在人工智能能够追踪这些新行为或动作之前，需要对 MoSeq 等机器学习程序进行审查，以确保它们能够可靠地追踪小鼠的传统行为，例如梳理毛发。

杨将自己比作厨师，说如果你没有证明自己是一名快餐店厨师，你就不可能获得米其林一星。“如果我没有看到你做鸡蛋和煎饼，你可以随心所欲地谈论鱼子酱和神户牛肉，但我仍然不确定我是否相信你能做到这一点。”

目前，至于 MoSeq 能否制作出鸡蛋和煎饼，“我不知道你怎么知道，”达塔说。“我们已经阐明了一些我们认为有用的标准。MoSeq 符合这些基准。”

测试该技术

Datta 表示，有几种方法可以确定基准，即衡量无监督 AI 是否正确或有用地描述了动物行为。“一种方法是询问你从 AI 获得的行为描述内容在让你区分你知道应该发生的 [不同] 行为模式方面是否表现更好或更差。”他的团队在第一次大型 MoSeq 研究中做到了这一点：它给老鼠不同的药物，并使用药物的预期效果来确定 MoSeq 是否捕捉到了它们。但 Datta 承认，这是一个相当低的标准——一个起点。“很少有行为表征方法无法区分服用高剂量安非他明的老鼠和对照组老鼠。”

他说，这些工具的真正基准是它们是否能够洞察小鼠大脑如何组织行为。换句话说，科学上有用的行为描述将预测大脑中正在发生的事情。

可解释性，即机器学习将识别出专家可以将其与预期行为联系起来的行为，是监督算法的一大优势，生物医学研究非营利组织杰克逊实验室的副教授维韦克·库马尔 (Vivek Kumar) 表示，该实验室是实验室小鼠的主要供应商之一。他的团队使用了这种方法，但他认为在无监督学习之后训练监督分类器是一个很好的折衷方案。无监督学习可以揭示人类观察者可能错过的元素，然后监督分类器可以利用人类的判断和知识来确保算法识别的内容确实有意义。

“这不是魔术”

MoSeq 并不是第一个或唯一一个正在开发的用于量化动物行为的计算机视觉工具。事实上，随着人工智能工具变得越来越强大和易于使用，该领域正在蓬勃发展。我们已经提到了 Bing Ye 和 LabGym；卡内基梅隆大学的 Eric Yttri 实验室开发了 B-SOiD；洛桑联邦理工学院的 Mackenzie Mathis 实验室开发了 DeepLabCut；杰克逊实验室正在开发（并已获得专利）自己的计算机视觉工具。去年，Kumar 和他的同事利用机器视觉开发了小鼠的虚弱指数，这种评估对人为错误非常敏感。

这些自动化系统各有千秋，但都表现出了强大的功能。例如，B-SOiD 是一种无人监督的系统，它无需接受这些基本行为的训练，就能识别出老鼠梳理毛发的三种主要类型。

“这可能是一个很好的基准，”杨说。“我想你可以说，就像鸡蛋和煎饼一样。”

开发 DeepLabCut 的 Mathis 强调，仔细挑选数据源对于充分利用这些工具至关重要。“这不是魔术，”她说。“它可能会出错，你训练过的神经网络的好坏取决于你给它们的数据。”

虽然工具制造商仍在磨练他们的技术，但更多的实验室正努力将它们应用于小鼠研究，并着眼于特定问题和目标。从广义上讲，长期目标是帮助发现治疗精神和神经疾病的药物。

一些人已经在实验过程中体验到了巨大的进步。上海同济大学麻醉学教授李程表示，传统小鼠研究的一个问题是，动物要完成一些不自然的任务，比如走迷宫和进行物体识别测试，而这些任务“忽略了行为的内在丰富性”。他的团队发现，向 MoSeq 提供啮齿动物自发行为的视频以及更传统的任务导向行为，可以详细描述小鼠术后谵妄的情况，这是老年人中最常见的中枢神经系统手术并发症。

与此同时，范德堡大学医学中心比尔·诺比斯的实验室正在使用 LabGym 研究癫痫猝死。诺比斯说，在接受小鼠癫痫发作视频的训练后，该程序“每次”都能检测到癫痫发作。

减轻他们的痛苦

计算机视觉也已成为疼痛研究的主要工具，有助于解开与不同类型疼痛有关的大脑通路，并使用新药或现有药物治疗人类疾病。尽管 FDA 将在 2023 年初改变规则，但伍尔夫表示，完全取消动物试验的可能性不大，尤其是在开发新药方面。通过检测疼痛的细微行为迹象，计算机视觉工具有望减少动物的痛苦。“我们可以监测它们的变化，确保我们不会产生压倒性的痛苦情况——我们想要的只是足够的痛苦，以便我们能够测量它，”他解释说。“我们一般不会对老鼠做任何不会对人做的事情。”

根据 2022 年《疼痛》杂志上的一篇论文，他的团队使用监督机器学习来追踪小鼠疼痛的行为特征，并显示药物何时缓解了它们的不适。伍尔夫说，测量实验室动物而非人类的疼痛的一个问题是，这些动物无法报告它们的痛苦程度。长期以来，科学家一直认为，与体重成比例，小鼠缓解疼痛所需的药量比人类高得多。但事实证明，如果你的计算机视觉算法可以相对准确地测量这种感觉——伍尔夫说他的团队的算法可以做到——那么你实际上可以在更相似的剂量下检测到疼痛缓解的迹象，从而有可能降低进行这项研究所造成的疼痛程度。他补充说，测量实验室动物的疼痛和评估止痛药非常具有挑战性，大多数大型制药公司都放弃了这个领域，因为风险太大、成本太高。“我们希望这种新方法能让他们回来。”

宾夕法尼亚大学的 Corder 实验室也在研究疼痛，但他们使用的是无监督的 B-SOiD 与 DeepLabCut 结合使用。在未发表的研究中，该团队让 DeepLabCut 将老鼠可视化为骨骼火柴人，然后让 B-SOiD 识别 13 种不同的疼痛相关行为，如舔或咬四肢。Corder 说，监督式机器学习将有助于提高其团队工作的可靠性，因为 B-SOiD 需要指令来将这些行为与常规卫生行为（例如舔生殖器）区分开来。（B-SOiD 的联合创始人 Yttri 表示，监督将成为其新版软件的一部分。）

FDA 发言人 Lauren-Jei McCarthy 表示，随着计算机视觉工具的不断发展，它们甚至可以帮助减少研究所需的动物数量。“该机构非常支持通过使用经过适当验证的技术来取代、减少或改进动物研究的努力。”

如果你建造它，他们就会来

MoSeq 的下一次升级已提交给学术期刊并正在接受审查，它将尝试与 Corder 实验室所做的类似的事情：它将结合其无监督方法与关键点检测，关键点检测是一种计算机视觉方法，可以突出显示诸如老鼠身体等物体的关键点。这种特殊方法采用了六个 Kinect Azure 摄像头装置，而不是 Datta 实验室的经典 Xbox Kinect 摄像头装置。

Datta 表示，这种方法的一个优点是它可以应用于现有的 2D 视频，这意味着过去实验中所有 PB 级的存档小鼠数据都可以用于分析，而无需在小鼠身上进行新的实验。“那将是巨大的，”Corder 同意。

随着 Datta 列举出他的团队在过去几年中在 AI 和小鼠行为方面取得的一些成就，他的信心也随之增强。“我们能否使用 MoSeq 识别基因突变体并将它们与野生型区分开来？——具有自然界中基因的小鼠。这是《自然神经科学》杂志2020 年一篇论文的主题，该论文表明该算法可以准确辨别出具有自闭症相关基因突变的小鼠和具有正常基因的小鼠。“我们能预测神经活动吗？”Datta 实验室今年在多巴胺研究中成功实现了这一愿望。他一改科学家的典型模棱两可的态度，自信地宣称：“所有这些都是真的。我认为从这个意义上说，MoSeq 可以做出鸡蛋和煎饼。”