摘要：小 A 想了解过去一年校内同学的纸质图书阅读量，于是在树洞上发布了上述问卷。这条帖子没有引发很多关注，问题的回答率并不算高。不仅如此，她意识到，同学可能会出于社会期望效应夸大自己的实际阅读量：一个真实答案是“否”的同学可能因为认为多阅读纸质书是更“理想”的而回
互动问题1
在过去的一年里，你看过10本及以上的纸质图书吗？
A. 否，我在过去一年里看过小于10本纸质图书。
B. 是，我在过去一年里看过10本及以上纸质图书。
小 A 想了解过去一年校内同学的纸质图书阅读量，于是在树洞上发布了上述问卷。这条帖子没有引发很多关注，问题的回答率并不算高。不仅如此，她意识到，同学可能会出于社会期望效应夸大自己的实际阅读量：一个真实答案是“否”的同学可能因为认为多阅读纸质书是更“理想”的而回答“是”。
为了鼓励同学们积极且诚实地回答问题，她决定设置一定的奖励金。
小 A 首先想到设置固定的参与奖励：每位回答问题的同学可以获得1元。这样做能够提升问卷的回答率，但不能保证同学的回答是诚实的。
另一个想法是奖励多数回答：如果超过50%的回答是“是”，就奖励每位回答为”是“的同学1元；否则，奖励每位回答“否”的同学1元。这个想法也是不可行的，因为纸质阅读量是主观数据，没有一个统一的客观标准。如果一个同学的真实答案为“是”，但他相信大多数人会回答”否“，为了拿到奖励，他会回答“否”。
什么样的奖励金规则可以鼓励同学们诚实回答呢？
小 A 的最终方案是：奖励相对大众预测更普遍的回答（surprisingly popular answer/ surprisingly common answer）。具体来说，如果回答“是”的同学占比为20%，而大众预测只有10%的人会回答“是”，那么回答“是”相对大众预测更普遍；如果大众预测有50%的人会回答“是”，那么回答“是”相对大众预测更不普遍。
互动问题2
请你预测，有多少比例的人会在问题1里回答“是”？
此处暂停3秒作答
“相对大众预测更普遍”的标准利用了以下观察：
"The highest predictions of the frequency of a given opinion or characteristic in the population should come from individuals who hold that opinion or characteristic."（Prelec, 2004）
在预测人群中特征 X 的占比时，拥有特征 X 的人会给出最高的预测。
例如，在过去一年里看过10本及以上的纸质图书的人有理由相信很多人和他们一样，因此，他们对“有多少比例的人在过去一年里看过10本及以上的纸质图书”的估计会比其他人更高。尽管他们知道在数字化阅读时代，纸质阅读大量被电子阅读取代，他们的估计仍然会比大众平均估计更高。比如，大众平均估计可能是8%，但那些过去一年里看过10本及以上的纸质图书的人的估计可能是15%；相反，那些在过去一年里纸质图书阅读量小于10本的人的估计可能是5%。
基于这种观察，一个真实答案为“是”（过去一年里看过10本及以上的纸质图书）的人会认为“是”是相对大众预测更普遍的回答（因为15%>8%）；一个真实答案为“否”（在过去一年里纸质图书阅读量小于10本）的人会认为“否”是相对大众预测更普遍的回答（因为5%
正式地，小 A 将按照以下规则奖励问题1的回答：
其中， k 表示同学的回答，frequency(k)表示回答k在所有回答中的占比；average-prediction(k)是大众预测中回答k的占比。
当回答问题的人数足够多时，同学自己的回答不能显著改变frequency(k)和average-prediction(k)。在这种情况下，如果同学在回答问题时看不见其他人的回答，诚实回答会最大化他的期望收益。
如何获得真实的大众预测呢？小 A 使用一种对数评分规则（log scoring rule）来激励同学们诚实汇报自己在问题2中的估计：
其中， p(k)表示同学对回答k占比的估计。
这种对数评分规则能保证诚实汇报估计最大化同学的期望收益。
结合问题1和问题2的奖励，小 A 可以得到真实的大众预测，进而可以激励同学诚实地给出问题1的回答。
总 结
上述方法被称为贝叶斯真相法（Bayesian Truth Serum），它由 Drazen Prelec 在2004年提出[1]。贝叶斯真相法要求参与者在回答问题时，不仅提供自己的答案，还要估计其他人可能给出的答案。通过奖励相对大众预测更普遍的回答（surprisingly popular answer），贝叶斯真相法鼓励人们在回答问题时提供真实答案。
下一次设计调查问卷时，不妨试试这种方法！
参考文献：
Prelec, D. (2004). A Bayesian truth serum for subjective data. science, 306(5695), 462-466.
文 | 王颖
来源：北京大学前沿计算研究中心一点号