美国情报计划如何打造一支“超级预测者”团队

在《实力悬殊》中，我们仔细研究了国防工业的核心科学和技术——士兵和间谍的世界。

2011 年左右，当沃伦·哈奇的工作是在华尔街转移资金时，他读了一本令他印象深刻的书。这本书名为《专家政治判断：它有多好？我们如何知道？ 》，作者是当时在加州大学伯克利分校担任商学教授的心理学家菲尔·泰特洛克。

这本书出版已有数年，哈奇很好奇泰特洛克此后都在做什么，于是他登录了这位学者的网站。令他惊讶的是，他在网站上看到了一封邀请函。泰特洛克正在寻找那些想预测地缘政治事件的人。他想尝试预测未来吗？哈奇说，他记得自己当时想，谁不想呢？

哈奇立即报名，并很快加入了一个虚拟团队，该团队的成员试图预测未来各种假设性全球事件发生的可能性。他们给出基于概率的答案，例如：A 国或 B 国是否会在未来六个月内相互宣战？或者：X 会在 Z 年 5 月 10 日之前辞去 Y 国总统一职？答案将采用以下形式：问题的答案有 75% 的可能性是肯定的，有 25% 的可能性是否定的。

“我只是觉得这是一种消磨时间的有趣方式，”哈奇说。

对哈奇来说，这或许只是一件有趣的事情，但对美国情报界来说，这是一件严肃的事情。情报界的研发机构——情报高级研究计划署 (IARPA) 是该项目的资助方。泰特洛克与一个学者团队一起参与了该间谍机构的综合应急评估 (ACE) 项目。

正如描述页面所述，ACE 计划旨在“大幅提高情报预测的准确性、精确度和及时性”。

泰特洛克与同事芭芭拉·梅勒斯 (Barbara Mellers) 领导着一支 ACE 团队，试图实现这一显著的改进 — — 并比其他四个竞争团队做得更好。泰特洛克的秘诀最终是一群像哈奇这样的专家预测者。

成为 超级预测者

当时，哈奇对首席研究员或 IARPA 心中的宏伟愿景知之甚少。然而，在为泰特洛克做出预测一段时间后，发生了一件奇怪的事情。“一些优秀的团队成员消失了，”哈奇说。

这并不是什么坏事：研究人员认为这些技术娴熟的预测者是“超级预测者”，因为他们的预测始终准确。哈奇后来得知，这些预测者已经离开，并被安排与其他与他们一样优秀的人组成团队。

哈奇想加入他们的行列，于是开始模仿他们的行为。他开始更加积极地尝试，在预测中留下评论来解释自己的推理，随着新信息的出现而修改自己的算命方法。“几个月后，我恍然大悟，”他说。“我开始明白了。”

第二年，哈奇被邀请成为一名超级预测师。

认识 Good Judgment 团队

该团队当时的总部设在宾夕法尼亚大学，自称“Good Judgment”。它轻而易举地赢得了 ACE。“ACE 计划始于群体智慧的理念，并一直在寻求超越群体标准智慧的方法，”负责 IARPA 计划的 Steven Rieber 说。

比赛每年都会提高团队预测的准确性。到第一年结束时，Good Judgment 的预测准确度已经达到最后一年比赛所要求的水平。

另一支（失败的）ACE 团队的博士后 Eva Chen 饶有兴致地观察着第一年向第二年的过渡。“这是一场赛马，”她说。“所以每次问题结束时，你都能看到你的团队表现如何。”每次，她都能看到 Good Judgment 团队击败她的团队和其他人。他们在做什么？她回忆道。

陈的团队最终解散，其他团队也解散了，只有她后来加入的 Good Judgment 团队除外。该团队是 IARPA 唯一继续合作的团队。陈的使命就是发现他们的做法有何不同。

她很快发现：她之前的团队专注于开发复杂的计算算法——对群体智慧进行复杂的数学运算，使其更加明智。相比之下，Good Judgment 则专注于人性方面。它跟踪了预测的准确性，并确定了一个始终比其他所有人都更出色的群体：所谓的超级预测者。它还培训了预测者，教他们了解认知偏见等因素。（其中最著名的一种错误是确认偏差，它导致人们寻找并更加重视支持他们先前想法的证据，而忽略或解释相反的证据。）它把他们分成几组，这样他们就可以分享关于他们预测的主题和推理策略的知识。只有这样，在经过训练、团队合作和跟踪的预测中，它才能使用机器学习算法统计参与者的预测。

虽然这一过程对 Good Judgment 的成功至关重要，但超级预测者（现已成为商标术语）元素得到了最多的关注。但奇怪的是，超级预测者（预测未来能力始终比情报分析师等领域专家还要高的人）并不是 Good Judgment 的 IARPA 研究的预期结果。“我没有想到这一点，”里伯说，“我想也没人想到。”

这些预测者之所以更优秀，部分原因在于他们采用了里伯所说的“积极开放的思维”。

“他们倾向于批判性地思考，不仅仅是脑海中浮现的某个观点，还包括反对意见或观点的反例，”里伯说。他们也善于在面对新证据时修改自己的判断。基本上，他们擅长对自己进行红队测试，批评、评估和挑出所有想法的漏洞，包括他们自己的想法——本质上是扮演魔鬼代言人的角色，无论这些观点来自哪里。

Good Judgment ACE 团队看到了超级预测者身上的金钱价值，很快成立了 Good Judgment Inc.，从以间谍为中心的竞争中脱颖而出。从那时起，金融、能源、供应链物流、慈善事业以及国防和情报等领域的好奇的财富追求者一直有兴趣为这些预测精英所看到的未来买单。

陈留了下来，并最终成为 Good Judgment 的首席科学家。该公司目前有三大收入来源：咨询、培训研讨会和提供接触超级预测者的渠道。它还有一个名为 Good Judgment Open 的网站，任何人都可以提交众包主题的预测，既是为了好玩，也是为了有机会被招募为公司认可的官方超级预测者。

并非完全是魔术

但无论是“良好判断”还是“超级预测者”都不是完美的。“我们没有水晶球，”里伯说。他们的预测并非在所有情况下都适用：首先，他们从不说某件事一定会发生，比如一棵树肯定会在森林里倒下。他们的预测是基于概率的：这片森林里一棵树倒下的概率为 80%，不倒的概率为 20%。

哈奇承认，当已经有大量基于公开概率的预测（比如油价预测）时，或者当没有太多公开信息时，比如基于机密数据做出的政治决策时，这些预测也无济于事。

然而，从情报角度来看（情报界自己的超级预测者可能会接触到上述机密信息），预测还有其他局限性。首先，猜测未来只是间谍计算的一个方面。预测不能处理现在（X 国此时是否有核武器计划？）、过去（独裁者 Z 被杀的原因是什么？）或事件背后的原因（A 国和 B 国为什么会开战？）。

其次，带有预测性答案的问题必须非常具体。“政策制定者关心的一些关键问题并没有得到准确表述，”里伯说。例如，他说，美国国家情报总监办公室今年的情报威胁评估指出：“我们预计，随着中国继续增加台湾岛周围的军事活动，摩擦将会增加。”但摩擦是一个模糊的词，而且增长无法量化。

“尽管如此，这句话对于政策制定者来说意义重大，也是他们关心的事情，”里伯说。

该过程通常还需要包含日期。例如，Good Judgment Open 网站目前不会问“在美国，一种新型冠状病毒变种是否会超过 Omicron，占病例的 70% 以上？”而是问“在 2023 年 4 月 16 日之前，除 Omicron 之外的 SARS-CoV-2 变种是否会占美国 COVID-19 总病例的 70.0% 以上？”这并不是因为 4 月特别有意义：而是因为该组需要一个到期日期。

这通常不是公司或情报机构向 Good Judgment 提出的问题。为了得到真正想要的答案，该公司会绕过 问题。“我们与他们一起写了一组问题，”陈说，这些问题放在一起可能会给出他们想要的答案。例如，一家宠物店可能想知道猫是否会比狗更受欢迎。Good Judgment 可能会将其分解为“到 2023 年 2 月，狗的受欢迎程度会下降吗？”“到 2023 年 2 月，猫的受欢迎程度会增加吗？”和“根据民意调查，到 2023 年 2 月，公众对猫的认可度会增加吗？”宠物店可以根据这些答案进行三角测量，以估计他们应该如何投资。也许吧。

现在，IARPA 和 Rieber 正在迈向预测的未来，他们推出了一个名为 REASON（快速解释分析在线采购）的新项目。REASON 将未来预测推向了它本来可能一直会去的方向：自动化。“这个想法是利用最近的人工智能突破，为分析师提供即时建议，”他说。

在未来，硅建议将会做人类同行在 ACE 中所做的事情：与人类合作，试图提高他们的推理能力，从而提高他们对接下来会发生什么的猜测，这样他们就可以将他们希望更好的预测传递给其他人类：那些做出决定、帮助决定世界会发生什么的人。

播下怀疑的种子

在该项目之外，英国杜伦大学商学院的研究员康斯坦丁诺斯·尼科洛普洛斯对超级预测的批评不同于其准确性，他看到其他人已经跟进并证实了其严谨性。然而，他说，“感觉有些不对劲。”

他担心的是实用性。在现实世界中，真正的超级预测者（来自《良好判断》本身）只能起到有限的作用，因为他们数量太少，而且一开始就需要很长时间才能识别他们。“有些超级预测者被锁在秘密房间里，任何有权接触的人都可以自行决定是否使用它们，”他说。

因此尼科洛普洛斯和他的同事们进行了一项研究，希望了解“良好判断力”的总体观点——有些人比其他人更善于预测未来——是否可以在更少的人群中（314 人，而不是 5,000 人）在更短的时间内（九个月，而不是数年）应用到更短的时间内。

在他们规模较小的团队和缩短的时间范围内，他们确实找到了两位超级预测者。尼科洛普洛斯认为，根据这一结果，任何中小型组织都可以预测自己的未来：举办自己的竞赛（提供适当的奖励和激励），找出预测能力最强的员工，然后利用他们（同时给予补偿）来帮助确定公司的发展方向。最好的人只需要比平均水平更好就行了 预报员。

“有令人鼓舞的经验证据表明，任何组织都可以做到这一点，”尼科洛普洛斯说。这意味着，尽管他不喜欢这个词，但“良好判断”的研究结果可以民主化。

当然，人们仍然可以与 Good Judgment 及其注册商标的预测器签约。该公司确实提供了 Staffcasting 计划，帮助识别和培训客户员工，让他们按照 Nikolopoulos 的建议去做。但它仍然通过这家名牌公司进行。“如果你负担得起，一定要这样做，”他说。“但我绝对相信它可以在公司内部完成。”

Good Judgment 当然希望你到访其公司并为其服务付费，尽管它确实为外部人员提供培训，并计划在网上提供更多培训。未来，该公司还计划在不同的领域做得更好 各种各样的问题，比如那些与生存风险有关的问题。“这类事情会彻底消灭人类，或者减少人类的数量，以至于人类实际上被消灭，”哈奇说。“这些可能是流星撞击地球之类的事情。所以这是一类。另一种是外星人入侵。”

在研究方面，该公司希望提高其发现早期证据的能力，这些证据并非“黑天鹅”——意料之外的罕见事件——而是“真正深灰天鹅”，哈奇说。你知道，像流行病这样的事件。

五年后，《Good Jugment》能否成功预测未来？时间会给出答案。

阅读更多 PopSci+ 故事。