摘要：其实，人工智能伴侣（AI伴侣）已经不是第一次陷入此类纠纷。早在2024年10月，14岁少年Sewell SetzerIII的母亲就对人工智能情感服务提供商Character. AI公司提起诉讼，控诉其开发的AI聊天机器人操纵了她儿子的自杀。

文 | 胡炜（新京报传媒研究院）

近日，一则“美国16岁男孩自杀父母起诉Chatgpt”的新闻引发广泛关注。

Vista看天下对“美国16岁男孩自杀父母起诉Chatgpt”事件的报道

其实，人工智能伴侣（AI伴侣）已经不是第一次陷入此类纠纷。早在2024年10月，14岁少年Sewell SetzerIII的母亲就对人工智能情感服务提供商Character. AI公司提起诉讼，控诉其开发的AI聊天机器人操纵了她儿子的自杀。

无论法院怎样判决，逝去的生命都无法挽回，AI聊天机器人潜在的风险都应该引起我们的足够的重视。毕竟，技术的进步应该是给人类带来更多美好，而不是以牺牲安全性为代价。

01

为什么AI伴侣如此“上头”

近年来，随着人工智能技术发展，聊天机器人等AI伴侣类产品如雨后春笋般涌现，它们可以模拟人类的情感互动，为用户提供精神慰藉和陪伴体验，成为很多人生活中的“新宠”。根据Appfigure 2024年度报告统计显示，2024年AI陪伴应用总下载量达1.1亿次，内购收入突破5500万美元，同比增长652%。

AI伴侣爆火的背后，有着多方面的原因，但核心驱动力则是“孤独经济”与“生成式AI”技术的叠加效应。

随着社会经济发展及城市化进程加快，独居人口增多。数据显示，2023年我国独居群体已超1.5亿人，“空巢青年”“留守老人”群体扩大。在快节奏的现代生活中，人们面临着来自工作、生活等各方面的压力，社交空间压缩、孤独感也愈发强烈。情感需求的填补，成为当下很多人的刚性需求。AI伴侣的出现，恰好填补了这一情感空缺。

而且，随着技术的发展，AI陪伴类产品在情绪建模、内容生产、拟真能力等方面日渐完善，会耐心倾听用户的烦恼，给予温暖的回应和鼓励。它们还普遍具有长程记忆，可以记得之前很久的对话内容；说话风格稳定、情绪平和，会emoji、押韵、撒娇等，往往给用户一种错觉，仿佛在和真实的老朋友聊天。

而以Z世代为代表的年轻消费者群体，更愿意为情绪价值买单。Appfigure的统计数据显示，大约有65%的AI陪伴用户处于18-24岁的年龄层，他们乐于为虚拟世界的个性化、场景化陪伴付费，由此进一步带动AI陪伴类产品快速扩张。

02 风险大盘点 大盘点

然而，AI伴侣就像是一把双刃剑，在给人类带来的陪伴与慰藉的同时，也隐藏着诸多风险和陷阱。

隐私泄露：部分AI伴侣应用在运行过程中，存在过度收集用户信息的现象。聊天记录、地理位置、使用习惯、相册照片等，都可能被它们纳入收集范畴。一旦这些数据在存储、传输环节保护不力，就可能引发隐私泄露，被不法分子用于精准诈骗、恶意营销等违法活动，给用户的财产安全与个人权益带来极大损害。

消费陷阱：AI伴侣的“陪伴”并非免费的午餐，其商业模式主要是订阅制、增值服务和广告变现等。多种收费模式让用户眼花缭乱的同时，诱导消费行为也屡见不鲜，时常通过不断推出新的付费项目、设置限时优惠等手段，刺激用户进行非理性消费，造成不必要的经济负担。

内容安全：由于AI伴侣模型训练数据来源广泛，且部分数据收集与筛选不严，导致其存在传播不良信息或者虚假内容的风险。尤其对于心智尚未成熟的青少年，其身心健康极易受到诱导。前面提及的两起自杀案例中，无论法院如何划定责任，聊天机器人在回应时未能有效劝阻，甚至在一定程度上起到了误导作用，是不争的事实。

情感依赖：AI伴侣通过模拟人类情感交流，给予用户情感共鸣，但这种反馈并非真实的情感体验，而是基于算法生成的回应。如果用户长期依赖这类虚假情感反馈，会弱化在现实生活中识别和处理真实情感的能力，甚至对现实中的人际交往失去耐心和热情，而逐渐疏远身边的亲人和朋友，陷入更深的孤独之中。

03 挣脱陷阱，安全“冲浪”

随着技术的飞速发展，人工智能日渐与经济社会各行业各领域广泛深度融合。8月26日，国务院印发的《关于深入实施"人工智能+"行动的意见》发布，更是将“人工智能+”提升到了重要的战略高度。

面对AI伴侣带来的诸多风险，也不能因噎废食，需要多方协同努力，从行业自律和社会共治等方面积极寻求应对之策，让科技更好地服务于我们的生活。

首先是要加强行业自律，开发者作为AI伴侣应用的创造者，肩负着保障用户权益的重要责任，需进一步加强算法透明度，建立健全数据管理体系，确保用户数据的安全性；严格内容筛选和审查、规范收费模式等，推动伦理准则和行业标准落地。此外，还可以通过技术手段，如设置使用时长提醒、引导用户进行现实社交等，帮助用户避免过度依赖。

政府机构和监管部门在规范AI伴侣市场秩序方面发挥着关键作用。当前，各国正加快立法步伐，以加大对AI类应用的监管力度。欧盟《人工智能法案》对情感AI实施严格风险分级监管，要求实时标注非人类身份、限制敏感话题、设置对话时长等。我国出台了《生成式人工智能服务管理暂行办法》、《深度合成管理规定》、《数据安全法》、《个人信息保护法》等法律法规，对AI产品在数据保护、内容合规、未成年人防沉迷等方面进行规范和监管。

对于用户而言，在享受AI伴侣带来的陪伴时，务必要增强自我保护意识，保护好个人隐私，保持理性消费。此外，要避免过度依赖AI伴侣，牢记它只是生活的补充，而非替代品，积极参与现实生活中的社交活动，与亲朋好友保持密切联系，培养健康的情感交流方式。

科技作为工具，终究是为了创造更美好的生活，而不是让人类陷入困境或被其控制。相信，我们终会在技术创新与伦理约束之间找到平衡，让AI技术发展始终服务于人类的福祉，为我们带来“温度”的同时，还能带来安全和保障。

校对 | 张彦君

主编推荐

来源：有趣的科技君