Michael Jordan：关于人工智能的集体主义愿景

摘要：人工智能（AI）传统上侧重于单一、自主的代理，而忽略了社会方面。当人工智能系统被部署到社会中时，它通常会幼稚地运行，由一个中心实体为被动代理服务，以获取利润。但这并非常态。一种更具包容性的方法将代理视为积极合作的参与者，通过参与寻求价值。这种观点与社会科学观点

人工智能（AI）传统上侧重于单一、自主的代理，而忽略了社会方面。当人工智能系统被部署到社会中时，它通常会幼稚地运行，由一个中心实体为被动代理服务，以获取利润。但这并非常态。一种更具包容性的方法将代理视为积极合作的参与者，通过参与寻求价值。这种观点与社会科学观点一致，将经济学与基础计算和数据科学挑战相结合，强调系统内的集体智慧。

开场

感谢CNCC的邀请，我很高兴能在这里演讲。我是一名人工智能研究员。我想从关于人工智能(Artificial Intelligence, AI)未来的一些思考开始谈起。

我有一个与众不同的想法，可能和你们中许多人熟悉的不太一样，我称之为“集体主义人工智能”(collectivist AI)。

集体主义人工智能

人工智能这个词已经有六十多年的历史了。值得注意的是，在这个词语被创造出来的时候，还有其他词语也在被使用。例如，“控制论”(Cybernetics)是诺伯特·维纳(Norbert Wiener)提出的一个面向网络的术语，它关注的是动物和群体的智能；“智能增强”(Intelligence Augmentation)是由道格拉斯·C. 恩格尔巴特(Douglas C. Engelbart)提出的术语，用来描述计算机如何帮助人类变得更加智能，如搜索引擎；而“人工智能”是约翰·麦卡锡(John McCarthy)提出的一种基于逻辑的、面向单一实体的智能方法。

然而，我认为，以上三种视角都没有真正描述其后发生的事情。实际上是机器学习主导了过去几十年人工智能的发展。机器学习是一种处理大量数据并进行预测的范式。它擅长使用基于梯度的算法和规模大但相对简化的计算平台进行预测。我认为，思考机器学习的四个阶段是有益的（见图1）。第一阶段是模拟企业后端，如阿里巴巴的供应链，预测零件到达工厂的情况；第二阶段是推荐系统，预测人们的购买行为；第三阶段是预测句子中的下一个词，用人类的自然语言进行预测，这大概是我们现在所处的阶段。这是从物体后端世界向更多面向人的世界的一个转变。这种改变本质是数据形态的改变，并非算法本身。算法仍然是简单的预测方法，这既是好事也是一个限制。

图1 机器学习的四个阶段

机器学习领域的根基实际上并不是逻辑学，而是统计学和计算机科学里的算法和优化，以及越来越多的微观经济学（见图2）。这里，我们讨论的是将不同群体放在一起，每个群体都有自己的需求，并且需要一些激励(incentive)以使他们成为集体的一部分。

图2 机器学习领域的根基

我们现在看到的关于AI的讨论是基于一种可以超越人类思想、能回答一切问题的智能实体。我不认为这是一个非常现实的愿景，也不认为这是一个好的前进方向，我认为当前关于AI的讨论缺失了三个重要的方面。其一是集体主义，集体主义才是使人们变得更聪明的方式。单个个体并不聪明，我们之所以聪明，是因为我们在群体中。其二是不确定性(uncertainty)，当前的AI 缺失了人类很擅长的处理不确定性的能力。不确定性是我们所处世界的一个重要部分，每个人都会面临很多不确定性，比如明天会发生什么、明年会发生什么。当我们在群体中时，可以很好地处理不确定性。其三是激励(incentives)问题，人们为什么会聚在一起，或者说人们从集体主义中获得了什么。计算机如果要与人类互动，就需要能表达不确定性和激励的语言。

不确定性并没有被广泛讨论，但它非常重要。如果你让ChatGPT这样的大语言模型说些什么，它会给你一个答案。如果你问它有多确定，它可能会说我很确定。但如果你说，这里有一些其他的事情需要考虑，你读读这个，它会说，哦，你是对的，然后它会改变主意。这说明它并没有一个很好的不确定性模型。这不是你希望从一个合格的专家那里得到的答案。比如，如果你问医生对诊断有多确定，你希望医生能说出更有说服力的话，比如：我不确定，让我们获取更多数据，让我们问问别人，或者我非常确定，因为某种原因，等等。我们可以看到，ChatGPT在进行不确定性计算方面是在伪造(faking)。图3展示了一个关于ChatGPT不确定性的例子，理想情况下的人类不确定性应该在45°线上，而ChatGPT几乎总是给出1或0，表示它非常确定或非常不确定。

图3 ChatGPT的不确定性量化缺失

那么人类是如何应对不确定性的呢？我们做得很好，但不是完美的。特别是当可以问周围的人时，我们可以做得很好。如果我不确定某件事，我会四处看看，找到似乎更确定的人，我会问他们，并互相交流。

集体主义的实例

以下这个关于不确定性的简单决策问题就可以证明集体主义的力量。

如图4所示，有一只鸭子试图决定去湖的左边还是右边觅食。湖左边的食物是右边的两倍多。因为鸭子已经来过几天了，并对这些天的可用食物量进行了统计，所以它知道这一点。问题是，鸭子明天和后天应该去哪里觅食？现在最佳的决策是去左边，因为那里有更多的食物。这被称为在不确定性下的“贝叶斯最优决策”(Bayesian optimal decision)。而鸭子实际上并没有这样做。事实证明，鸭子做的是所谓的“概率匹配”(probability matching)。它会用三分之二的时间去左边，三分之一的时间去右边。人类会采取类似的策略吗？答案是肯定的。在很多这样的不确定情况下，人类也是概率匹配者。在类似的实验中，被试者有三分之二的时间选择左边，三分之一的时间选择右边。

图4 鸭子觅食的决策

为什么是这样呢？也许鸭子不是很聪明，它很困惑，这可能是事实。但更有可能的是，有其他的东西在起作用。你也可以说鸭子是在探索，它不确定其他选择的可能性如何。就像一个老虎机问题(bandit problem)，不断尝试每一个行动，但这样它只是偶尔选择右边，不会恰好三分之一的时间选择右边。那么为什么鸭子（或者人）会采取这样的概率策略呢？这是因为可能有很多鸭子，如果它们都去左边，那么左边的食物就会稀缺，但右边还剩余一些食物。这对整个社会和对个别鸭子来说都是不好的，因为错过了一个获取更多食物的机会。那么什么算法会起到好的作用呢？可以是一个自上而下的经济体，比如一个政府，去告诉一部分鸭子去左边，另一部分鸭子去右边。但鸭子可能不会服从。一个更简单的算法是每只鸭子独立决定以三分之二的概率去左边，三分之一的概率去右边。这样消耗掉的食物最多，所以它在不确定性下表现得最好。实际上，这是在不确定性下的一个纳什均衡(Nash equilibrium)，它不是一个鸭子个体的决策，而是在集体的背景下，大家一起做出的聪明的事情，尽管每个个体做的事情相对很简单。这就是市场(market)，它通过每个个体的简单决策来分配资源。

领域现状的思考

我们现在的AI系统并没有在集体的背景下考虑个体的决策，它们旨在用一个个体来了解一切并给出最优答案。我们从上述简单的例子可以看到，做到这一点似乎不太可能。因此我们需要考虑的不是一个知道一切并能回答所有问题的智能体。我们需要考虑的是集体，个体以新的方式相互作用、传递数据。这将出现一种新型网络，将大语言模型、其他预测AI以及人类联系在一起。

那么这样的系统是什么样的？我们如何看待它们？它们能做什么？因为现在有大量数据在节点之间流动，我们可以使用算法来分析那些数据以及节点间的互动。此外，每个人或计算机可以连接到很多实体，于是拥有很多输入数据和实质上的互动。但问题是，是什么激励人们参与其中？所有人都会参与吗？参与的那部分人是你希望看到的那部分吗？也许这里会有不公平的问题。在哪些情况下会有人被要求提供数据？是否会有人撒谎？这些问题为人所熟知，但目前还没有实际的解决方式。而这正是我从事的工作。

我想强调，我所认为的集体主义智能的模型与所谓的硅谷梦（建造一个大语言模型，从人类那里获取数据并观察人类所做的一切）大相径庭。后者是一个能够回答任何问题的超级智能的查询引擎系统。我认为是非常不现实的。现实是，我们每个人在当下都必须做出决定，外部个体不知道内部个体的情况和情境上下文，这是市场的运作方式，也是人们在现实生活中的运作方式。认为一个独立于我们的实体会知道我们所知道的东西是不现实的。如同经济学家的思考方式，他们不认为一个中央实体可以真正做好经济，而是需要考虑个体之间的局部互动。同理，我们希望在机器学习类的系统中也考虑到这一点，但目前大多数研究还没有做到。这正是我目前专注的研究方向。有很多研究探寻数据和学习算法的好处是什么。对于这个问题，有很多很好的答案，但我还会问：市场的存在有什么好处？将这两者结合起来有什么好处？

引入市场

那么市场的好处是什么？首先，当你讨论市场时，不仅要讨论最优解，还要讨论均衡。当市场运作时，均衡是每个人都得到一些东西，而不仅仅是一个或一组占优势的人拿到最优解。当市场运作时，不确定性将减少。正如我之前提到的，不确定性在我们的生活中非常重要。市场如何减少不确定性？以一个食物市场为例。如果我是一个番茄销售商，我的卡车上有很多番茄，我意识到在城市的某个地方缺少番茄，我可能会开车过去，在那里售卖，并提高番茄的价格。每个番茄经销商都会这样做，整体效果是为城市各个地方提供了番茄。而如果我是买家，我知道在城市里随时都能买到番茄，这对我来说是一件好事，因为如果我经营一家需要番茄作为配料的餐馆，我不必担心不确定性（买不到番茄）。市场如果不完美，就需要受到监管。但是实现监管的方式不仅是设计算法，还应该考虑市场的均衡和监管均衡，并确保运行机制遵从监管。

接下来，我将展示真正的算法和想法，以及几个关于如何将市场机制与新兴AI系统中的预测结合起来的例子。我们需要的不仅仅是预测，还需要效用、价格和激励。

三方市场例一：联合大师

我加入了一家名为联合大师(United Masters)的公司，我是公司的董事会成员，首席执行官是史蒂夫·斯托特(Steve Stoute)。

这是一个将音乐带给用户的三方市场（见图5）。这家公司有大约300万名签约音乐人，他们不是富有的著名音乐家，而是普通人，大多数是在电脑上制作音乐的二十来岁的年轻人。他们制作的音乐非常好，但通常是在互联网上免费播放，听众很多，可没有人在这里赚到钱，这其实是音乐行业的现状。如果你只考虑听众和制作人，那还不是一个真正的市场。因为没有人付款，音乐人没有收益。所以这个市场还有第三条腿——品牌。联合大师已经与美国国家篮球协会（以下简称“篮协”）、百事可乐和许多其他大公司签订了合同。这些大公司为什么需要音乐？如果你去篮协的网站上看一个视频，你会看到比赛，还会听到一些背景音乐。这种音乐过去要从唱片公司以非常高的价格购买。现在，篮协与联合大师签订了合同，来自这些年轻音乐人的背景音乐售价会便宜得多。年轻音乐人的音乐在流媒体上播放时，他们能得到报酬。其他品牌公司看到后，就能知道某位音乐人在这个网站上很受欢迎。如果有类似的受众需求，其他品牌公司也会联系这位音乐人，尝试与他合作，邀请他为品牌写歌，并与他建立持续的关系。这是正在真实发生的事情，现在有300个品牌和大量的听众，为这300万名签约的年轻音乐人提供了更多的机会。

图5 联合大师的三方市场模型

这个三方推荐系统或者说三方市场里有很多AI模型和市场机制的问题。你怎么知道这首歌在网站上会受欢迎？你怎么知道这位音乐人的音乐可能会被听众听到？数据分析使之成为可能。那么谁是参与者？他们是如何连接的？这三个市场之间都有数据流，数据分析使市场比其他方式更有效。联合大师目前在美国、巴西和尼日利亚运营，我相信它将更广泛地传播。

考虑市场的三个方面是一种标准模型，如果只在互联网上转换比特数据和移动音乐，那么没有人能赚到钱。所以Spotify（一家瑞典的数字音乐流媒体服务公司）人为地创造了一个带广告的市场来获得收益。但问题是，它不打算把钱还给音乐家，甚至有迹象表明它使用通用人工智能来取代音乐家制作“假”音乐。所以我想强调，这个市场需要三方协调。对我来说，这才是AI的未来。

三方市场例二：数据市场

下面是另一种市场设定下的例子，我一直在与我的博士后阿里雷扎·法拉(Alireza Fallah)研究这个问题。

它涉及对全球现有系统的数学分析。众多系统由三个核心部分构成：用户、平台和数据买家，这些构成了所谓的数据市场（见图6）。数据已经成为一种商品，不仅用于银行预测，而且已经被用于交易。用户在寻求平台服务的同时也提供了数据。以支付宝为例，用户在使用过程中产生的数据流向了支付宝，支付宝利用这些数据优化服务。然而，这种数据流动并不总是能够为平台带来直接的经济收益，这时第三方数据买家的角色就显得尤为重要。他们购买数据用于其他目的，比如在上海进行市场研究，了解当地餐馆的流行趋势。平台提供数据，数据买家并不与平台竞争，他们将数据用于不同的目标。

图6 三层数据市场

这个市场看似已经形成，但激励机制是什么？为什么数据买家和用户要参与其中？用户可能会对隐私泄露感到不满，他们的数据被卖给了第三方。因此，我们需要在市场里考虑隐私问题，比如平台承诺实施差分隐私(differential privacy)来增加数据噪声。这种噪声应该增加到什么程度？这是市场需要做出的选择。一些平台可能会增加很多噪声以保护隐私，而其他平台则较少。用户将面临选择，他们可能会倾向于选择隐私保护更好的平台。这将导致这些平台获得更多数据，进而提供更好的服务，吸引更多用户，形成一个正反馈循环。另一方面，数据买家可能会因为数据噪声过多而不愿支付高额费用，这就需要平衡不同的激励措施。不同团体有不同的激励，那么这个市场的均衡是什么？平台的价格、隐私设置和数据价值将如何确定？数据价值取决于它解决的问题和上下文，图6所示的架构可以描述这一点，并可以用经济模型来分析。如果你对这些主题感兴趣，可以在arXiv上找到包括我们的论文[1]在内的所有相关论文。

我们构建了一个模型（见图7），将数据价值分解并使用数学符号表示。对于数据价值，我们不仅要预测，还要考虑效用，因此使用效用函数进行分析。效用涉及用户向买家透露信息的程度，以及买家对这些信息的关心程度与他们愿意支付价格的权衡。我们可以通过斯塔克尔伯格博弈(Stackelberg game)模型分析系统的均衡，这是博弈论中的一种方法。在这个过程中，平台、用户和买家依次做出决策，我们可以找到系统的均衡点，并将其作为参数函数。监管机构可以基于这些结果进行监管，比如某些参数值可能导致高社会福利，而其他值则可能导致低社会福利。这意味着这些参数可能是监管的目标。监管机构可以基于均衡结果进行监管，但目前大多数国家并没有这样做。以欧洲的《通用数据保护条例》(GDPR)为例，它没有基于系统均衡进行监管，而是简单地禁止某些类型的数据传输。这是一个“简单粗暴”的做法，几年后，很明显这对欧洲公司，特别是中等规模的公司是有害的。这是一个不良的均衡。我们的分析提供了一种更好的监管方式建议，更多细节请参见文献[1]。

图7 数据价值分析模型

统计契约理论

在我演讲的最后一部分，我想介绍我们小组在过去几年中进行的一个关于统计契约理论(Statistical Contract Theory)的项目。契约(contract)将成为这个故事中一个非常重要的新兴部分，它们是将数据、预测与激励相结合的方式。

激励意味着有人出于某种目的想要做某事，也与他如何选择做某事的价格有关。以航空公司为例，它们想让我坐飞机，并提供机票价格。40年前，飞机上的每个座位都是一个价格，这不是一个有效的模型。航空公司通常无法满载运营，政府不得不对其提供补贴。随后，契约的想法被创造出来，不同的座位可以有不同的价格和不同的服务水平，比如商务舱和经济舱。这意味着每个人都会得到一个选项菜单，一个价格对应一个服务。每个人都会得到相同的菜单，然后选择他们喜欢的价格和服务。公司将收获整个市场的消费者，而不仅仅是一个消费者类别。这对航空业来说非常重要，这就是经济学家所说的主体-代理模型(principal-agent model)。

主体有想要做的事，比如航空（主体）公司想要得到乘客；代理（乘客）也有想要做的事，比如从一个地方到达另一个地方。这两者互动，代理知道一些主体不知道的事情，比如他们知道自己愿意支付的价格，但他们不会把这个信息告诉主体。比如我今天准备支付1000元人民币去义乌，别人可能愿意支付5000元，也可能明天就会改变，这取决于所处的情境。航空公司不知道这些，因此无法分别为每个人提供一个价格。他们需要提供一个菜单，一个契约。

我们的工作正是研究这样的问题。我们聚焦于有很多真实数据的临床试验领域。临床试验将决定药物上市的方式。制药公司会推出新的药物，公司希望这些药物能让人们更健康，但不知道是否真的有效，因此药物必须经过测试。但哪些药物被测试？哪些被批准？这是主体和代理之间的互动。如果你试图在没有主体代理机制的情况下提出这个问题，那么制药公司会向监管机构提出很多方案。监管机构会看到许多不是很有效的药物上市。如果你把它作为一个主体-代理问题来考虑，主体（监管机构）想要做的事情是把一种有效的药物推向市场，代理（制药公司）想要通过这个过程把他们的药物推向市场并获得批准。这两件事必须通过契约互动完成。因此我们设计了契约，使用数据分析作为契约设计的一部分。文献[2]展示了统计契约的具体形式。它们是由不同团体做出的一系列选择，中间有一个关于临床试验的测量量(measurement)，最终可以分析其中的均衡，并将更有效的药物推向市场。

总结

总而言之，我希望读者已经对我所说的关于人工智能的集体主义愿景有了一点了解。它说的不是一个实体知道一切，而是互动的群体。它还包括市场机制。问题在于：人们如何以一种能实现个体价值的方式来进行群体互动？我们如何将其与正在开发的AI系统结合起来？

非常感谢大家！

作者：