图1. 投资决策问题

可是，投资获利是一件很难的事：能够成功并且带来回报的项目仅仅占创业项目的很小一部分。如果项目失败，你的所有投入都会打水漂。

你知道，投资 NeuroLink AI 是否能获利取决于这个项目成功的概率。然而，身为外行的你对脑机接口的技术原理和市场前景一无所知。你也没有任何可靠的秘密情报。于是，你只能去选择咨询专家。

图2. 咨询专家

图3. 预测聚合

相比于机器专家，人类专家更容易出现“非理性”的推理模式。特别地，我们关注一种名为基础比率谬误的预测行为。

在给出正式的定义之前，让我们先看一个示例。

【示例】马克的脑机接口公司拥有前卫的产品理念，公司的初代产品也得到了市场用户的广泛认可。你觉得马克的公司能成功上市吗？

前卫的产品理念、广泛的用户认可度......这些都是积极的信号。你的直觉告诉你，马克的公司前景光明，公司一定能上市。然而，这种判断忽略了上市公司占比要远低于上市失败企业占比的统计数据。

这就是基础比率谬误（Base Rate Fallacy）。这种现象也叫基础比率忽视（Base Rate Neglect），它是普遍观察到的，人们被特征信息分散注意力而忽视相关统计信息的倾向^[1]。人们在做预测时常常只关注特征信息、忽略事件的基础比率，从而造成的预测失误。

回到项目投资的例子中，这次我们从专家的视角出发，理解专家是如何进行预测的。

想象你是一个技术专家，你知道只有15%的创业项目会成功。按照技术划分，80%的成功项目采用先进技术，而80%的失败项目采用普通技术。

图5. 信息结构（专家视角可见）

你考察发现 NeuroLink AI 项目采用的是先进技术，那么这个先进技术项目成功的概率是多少？

你的直觉可能会告诉你，答案是80%或63%^[#1]，但经过计算，你会发现正确答案是41%。

[#1] 另一类直觉回答是15%（即例子中项目成功的基础比率），它对应另一种预测失误——信号忽略（Signal Neglect）。

图6. 专家预测

根据贝叶斯原则，一个先进技术项目成功的概率为  。

你的直觉回答80%可能是因为大脑忽略了项目成功的基础比率：  。

如果你的直觉回答在41%和80%之间，那么你的大脑在给出预测时部分考虑了基础比率。

这就是人类预测中的基础比率谬误。根据文献^[2]，基础比率谬误下的专家预测  可以表示为 其中，  为专家  观测到的信号，对应于例子中的先进技术信号，  分别对应项目成功/项目失败。参数  对应专家在做预测时考虑基础比率的程度：当  时，专家完全忽视基础比率，在预测中只考虑条件概率；当  时，专家就是完美贝叶斯专家，按照贝叶斯原则得到完美贝叶斯后验。

图7. 基础比率谬误

我们假设人类专家以基础比率考虑程度  的进行预测，机器人专家则完美掌握贝叶斯原则（对应  ），那么询问人类专家能够产生更准确的聚合预测。

注意到聚合预测不仅和专家有关，还和聚合专家预测  的方法有关。我们把聚合方法形式化为一个聚合函数或称聚合器（aggregator）  ，  输入  ，输出最后的聚合预测  。

考虑到作为投资人的你对信息结构（包括项目成功的基础比率、专家信号、信号与项目成功之间的联合分布这些信息）并不了解。为了评估聚合准确性，我们引入 Arieli, Babichenko, and Smorodinsky 在文献中提出的鲁棒框架^[3]。

【定义】当专家的基础比率考虑程度为  时，聚合器  的 Regret（记作  ）为聚合预测  和全知聚合器  在最坏情况下的误差差距。

其中，  是所有可能的信息结构构成的集合，这里我们对信息结构的唯一假设为两个专家的信号  条件独立，即在已知  的条件下  独立；  是聚合预测  和实际结果  之间的误差；  可以看成一个知道完整信息结构和所有专家信号的全知者给出的完美贝叶斯后验预测。在我们的例子中，这个全知者就是一个既懂技术又懂市场的全能型专家，他可以根据两方面的信号和基础比率利用贝叶斯原则计算出已知所有信息情况下完美的贝叶斯后验。

图8. 聚合器 Regret 与下界比较

[2] 为了完整提取被试的预测策略，我们将询问被试“如果球是红色...”和“如果球是蓝色...”时的预测。每个被试需要回答30个随机生成的上述情境（对应一个  的组合），每个情境引出两轮任务（分别对应球是红色/蓝色），总共60轮。

图9. 任务设计

图10. 被试回答分类

图11. 不同类型的被试回答比例

图12. 个体被试基础比率考虑程度分布图

图13. 全样本分析：聚合器在被试预测上的表现

进一步观察聚合器在不同子样本^[#3]上的表现，我们发现：

当专家表现出基础比率谬误时（如图14，4 insde、4 perfect BRN、3 inside + 1 outside 子样本），我们的聚合器有更好的聚合准确性（更小的 Regret）。

对单个聚合器（对应图14中的每一列），专家的基础比率谬误可能有助于提示聚合准确性。

[#3] 如果两个专家回答过  相同的两个情境  ，他们在情境  上的回答（即两个专家各自在两个任务上的回答，共4个回答）可以形成一组计算聚合器 Regret 所需的输入。我们按照这4个回答的类型划分，将全样本划分成不同子样本。

图14. 聚合器在子样本中的表现

[1] Daniel Kahneman and Amos Tversky. 1973. On the psychology of prediction. Psychological Review 80, 4 (1973), 237. 

[2] Dan Benjamin, Aaron Bodoh-Creed, and Matthew Rabin. 2019. Base-rate neglect: Foundations and implications. Technical Report. 

[3] Itai Arieli, Yakov Babichenko, and Rann Smorodinsky. 2018. Robust forecast aggregation. Proceedings of the National Academy of Sciences 115, 52 (2018), E12135–E12143.

[4] Lawrence D Phillips and Ward Edwards. 1966. Conservatism in a simple probability inference task. Journal of Experimental Psychology 72, 3 (1966), 346. 

[5] David M Grether. 1980. Bayes rule as a descriptive model: The representativeness heuristic. The Quarterly Journal of Economics 95, 3 (1980), 537–557.

图文 | 王颖

北京大学孔雨晴课题组