摘要：Replika 将其产品标榜为 “关心的 AI 伴侣”，邀请用户 “加入数百万已经遇到 AI 灵魂伴侣的人”。该公司的聊天机器人在全球拥有超过 1000 万用户。

流行的 AI 伴侣 Replika 的用户评论报告说，他们曾是性骚扰的受害者。根据一项新的研究，其中一些用户声称自己是未成年人。

一项新的研究称，Replika 声称会审查可能影响其聊天机器人行为的有害数据，但这些措施严重不足（Getty Images

一项新的研究发现，一个作为情感伴侣销售的人工智能 （AI） 聊天机器人正在对其一些用户进行性骚扰。

Replika 将其产品标榜为 “关心的 AI 伴侣”，邀请用户 “加入数百万已经遇到 AI 灵魂伴侣的人”。该公司的聊天机器人在全球拥有超过 1000 万用户。

然而，从超过 150,000 条美国Google Play 商店评论中得出的新研究确定了大约 800 个案例，其中用户表示聊天机器人在对话中引入未经请求的性内容、从事“掠夺性”行为以及无视用户停止命令。研究人员于 4 月 5 日在预印本服务器 arXiv 上发布了他们的发现，因此尚未经过同行评审。

但是谁对 AI 的行为负责呢？

“虽然人工智能没有人类意图，但这并不意味着没有问责制，”费城德雷塞尔大学信息科学研究生、首席研究员穆罕默德（马特）南瓦尔普尔在一封电子邮件中告诉 Live Science。“责任在于设计、培训这些系统并将其发布到世界上的人。”

Replika 的网站表示，用户可以 “教 ” AI 如何正确行事，该系统包括诸如反对不适当的回答和设置关系方式等机制，例如 “朋友” 或 “导师”。

但是，在用户报告说，即使在他们要求停止聊天机器人后，该聊天机器人仍继续表现出骚扰或掠夺性行为，研究人员拒绝了 Replika 的说法。

“这些聊天机器人经常被寻求情感安全的人使用，而不是承担缓和不安全行为的负担，”Namvarpour 说。“那是开发者的工作。”

据该公司网站称，Replika 聊天机器人令人担忧的行为可能源于其培训，该培训是使用来自网络上的超过 1 亿次对话进行的。

据研究作者称，Replika 表示，它通过众包和分类算法清除了无用或有害的数据，但目前的努力似乎还不够。

研究人员指出，事实上，该公司的商业模式可能加剧了这个问题。由于浪漫或性角色扮演等功能被置于付费墙后面，因此可以激励 AI 在对话中包含性诱惑内容——用户报告说，如果他们订阅，就会被 “取笑” 更亲密的互动。

Namvarpour 将这种做法比作社交媒体优先考虑 “不惜一切代价参与” 的方式。“当系统针对收入而不是用户福祉进行优化时，可能会导致有害后果，”Namvarpour 说。

当用户涌向 AI 伴侣寻求情感或治疗支持时，这种行为可能特别有害，考虑到一些反复调情、未经提示的色情自拍和露骨色情信息的接收者表示他们是未成年人，更是如此。

一些评论还报告说，他们的聊天机器人声称他们可以通过手机摄像头“看到”或记录他们。尽管这样的壮举并不是常见大型语言模型 （LLM） 背后的编程的一部分，而且这些说法实际上是 AI 幻觉（AI 自信地生成虚假或荒谬的信息），但用户报告说经历了恐慌、失眠和创伤。

该研究将这种现象称为“人工智能诱导的性骚扰”。研究人员认为，它应该像人类骚扰一样受到严肃对待，并呼吁加强控制和监管。

他们建议的一些措施包括明确的同意框架，用于设计任何包含强烈情感或性内容的交互、实时自动审核（消息应用程序中使用的类型，可自动标记有风险的交互）以及由用户配置的过滤和控制选项。

Namvarpour 特别提到了欧盟的《欧盟人工智能法案》，他说该法案“根据它们构成的风险”对人工智能系统进行分类，尤其是在涉及心理影响的情况下。

美国目前没有类似的联邦法律，但正在出现框架、行政行动和拟议的法律，它们将以不那么笼统的方式达到类似的目的。

Namvarpour 说，提供情感支持的聊天机器人——尤其是那些在心理健康领域的聊天机器人——应该保持尽可能高的标准。

“当造成伤害时，需要追究责任，”Namvarpour 说。“如果你将 AI 作为治疗伴侣进行营销，你必须像对待人类专业人士一样小心和监督它。”

Replika 没有回应置评请求。

来源：小何科技论