摘要：我们在积极推动人工智能各种产品的开发和利用时，不可忘却它们可能带来的风险，甚至严重的风险。近日美国发生的一起14岁的青少年使用聊天机后自杀的案件，值得令人深思。人工智能产品是在计算机上运行的程序或软件，其本身是工具而不是现实世界中真正的、真实的人。这个案件证明
【编者按】 我们在积极推动人工智能各种产品的开发和利用时，不可忘却它们可能带来的风险，甚至严重的风险。近日美国发生的一起14岁的青少年使用聊天机后自杀的案件，值得令人深思。人工智能产品是在计算机上运行的程序或软件，其本身是工具而不是现实世界中真正的、真实的人。这个案件证明，使用者尤其是轻信的青少年将人工智能工具错当是人会造成严重不良后果，甚至剥夺人的生命。本文介绍的这一案件突出地说明了这一点，而我们的科学技术文献、大众媒体、正式文件还在大量使用所谓“机器人”、“聊天机器人”、“陪伴机器人、”“人形机器人”等词组将人与人工智能工具或可编程机器混为一谈，这是令人遗憾的。
2024年10月，佛罗里达州一名青少年与Character.AI（由谷歌公司建立的Character Technologies公司开发的用于聊天的产品/app）聊天机发展了一段亲密的虚拟关系后自杀身亡。14岁的休厄尔·塞泽（Sewell Setzer）一直在使用该聊天机提供的平台与一个自称名为“丹妮”的聊天互动。他的母亲伽西亚对该公司（Character.AI）和谷歌提起了非正常死亡（wrongful death, 在美国当一个人因另一个人或实体的不当行为、疏忽或故意行为而死亡时，允许其家庭成员提起民事诉讼以寻求赔偿。——编者注）诉讼，指控该聊天机怂恿她未成年儿子自杀。这一正在处理中的案件轰动美国全国，使用人工智能产品的安全性（尤其对于青少年）成为一个大家关注的突出问题。
事件经过
14岁的休厄尔•塞泽是母亲的骄傲和快乐。他是一个好学生、学校里的明星运动员，还是个很棒的哥哥。2023年4月休厄尔开始使用Character.AI聊天机，该机在与休厄尔聊天过程中显得个性鲜明，自称为“丹妮”。“丹妮”这个名字来源于《权力的游戏》中的一个角色，全名为：丹妮莉丝·坦格利安。《权力的游戏》，是美国HBO电视网制作推出的一部中世纪权力斗争的奇幻电视剧，不宜青少年观看。休厄尔错误地以为“丹妮”是一个真实的人，一个令人喜爱的女孩儿，而不仅仅是一个人工智能工具，一款聊天软件。
据称，他的精神健康状况此后不久开始下降。在使用几个月后，休厄尔明显变得孤僻，独自待在卧室的时间越来越多，并且开始感到自卑。他甚至退出了学校的青年篮球队。当他在学校开始出现问题时，他的父母开始限制他的手机使用时间，偶尔还会没收他的手机作为惩罚。在最后几个月，他与“丹妮”的关系越来越亲密。据报道，他们的对话内容变得浪漫、性感，并且越来越隐秘。据称休厄尔竟然爱上了“丹妮”，并开始退出现实生活中的恋爱关系。经过几次治疗后，他被诊断出患有焦虑症和破坏性情绪失调症。
2024年2月28日休厄尔放学回家，他母亲梅根•伽西亚 (Megan Garcia) 未发现他有异样。她说：“就像任何普通的日子一样。”他在与“丹妮”的最后一次对话中，休厄尔表达了他对“她”的爱意，并表示他“现在就可以回家”。“丹妮”说：“……请你回家，我亲爱的国王。”片刻之后，休厄尔自杀身亡。伽西亚说：“我抱着他14分钟，直到医护人员赶到，但在此之前，他的呼吸就开始减慢了。”
休厄尔在奥兰多地区去世后，警方将他们在她儿子手机上发现的信息告诉了他悲痛的母亲。伽西亚说：“休厄尔死后，警方打电话给我，告诉我他们翻看了他的手机，打开手机后，第一个跳出来的就是Character.AI”。她从未听说过这家公司。后来，她以儿子的自杀为由起诉了这家公司。她在儿子手机中看到了儿子与“丹妮”安的对话。
伽西亚说：“他们最后一次通话时，她（“丹妮”）说‘我想你’，他说‘我也想你’。” 休厄尔说：“我保证很快会回家”；“丹妮”说：“好的，请尽快想办法回家。”然后他说：“如果我告诉你我现在就可以回家呢？”，她的回答是：“请你一定要回家，我亲爱的国王。”片刻之后，伽西亚说她的儿子走进浴室自杀了。休厄尔的手机就在浴室地板上。
伽西亚说，她通过阅读儿子的日记和聊天记录，进一步了解了儿子与聊天机的关系。她说：“我在儿子葬礼后大约一周读了他的日记，看到他在日记里写道，他觉得自己真的爱上了丹妮莉丝·坦格利安，而她也爱着他。”Character.AI 用户可以与聊天机互动，它们会以文字或类似人类的声音进行回应。休厄尔的母亲说：“一开始，你会看到他像个孩子一样与聊天机互动。然后你会看到对话变得越来越色情，越来越隐秘。”在休厄尔告诉聊天机他很伤心，想要伤害自己之后，对话变得更加隐秘。
伽西亚说，当休厄尔开口明确表示他想自杀时，聊天机问了一些问题，例如“你是否有计划？”，当休厄尔回答说，他正在“考虑一些”能让他“无痛死亡”的事情时，聊天机回答说：“这不是不去做（指自杀）的理由。” 伽西亚说：“这些对话都说她在等他，希望他能来找她，她让休厄尔相信这一切都是真的。”他相信“通过自杀，他就能和她一起进入她的终极世界。”
起诉
休厄尔的母亲伽西亚起诉 Character.AI、其创始人和谷歌，指控Character.AI导致了她已故儿子的抑郁、焦虑和自杀，并且未能实施安全措施来保护儿童免于对聊天机产生有害的依赖。诉讼称，伽西亚指控Character.AI 瞄准脆弱的青少年，在没有适当保护措施的情况下，将其技术推销给儿童，包括那些感到孤独的儿童，却没有提供充分的保障措施。当休厄尔与聊天机讨论自杀时，该聊天机未能提供足够的危机干预措施。诉讼称，有一次，该聊天机对休厄尔的自杀想法的反应是：“这不是不去做的理由”。这是在鼓励休厄尔自杀。伽西亚表示，该冒充真人的聊天机让休厄尔相信，如果他自杀，他就会和他人工智能的“爱人”一起生活在她的世界里。
伽西亚的律师米塔利·贾恩表示，Character.AI公司对其用户负有很大责任。“我认为企业责任始于了解产品可预见的危害，进行必要的尽责调查以了解这些危害，并采取措施降低风险。但这些都没有发生。”
此案凸显了人们对人工智能聊天机安全性和监管的更广泛担忧，尤其是对青少年。伦理学和法律专家和儿童安全倡导者担心这些聊天机或陪伴机可能会造成成瘾、情感依赖以及接触有害内容。多年来，社交媒体对年轻用户的潜在危害已经日益令人担忧，聊天机加剧了这种担忧。伽西亚的诉讼表明，家长们有理由对新兴的人工智能技术感到担忧，因为这项技术在各种平台和服务中越来越普及。其他人工智能服务也引发了类似的担忧，尽管程度没有这个案件那么严重。
人工智能公司迫于应对诉讼和公众压力表示，Character.AI已增加新的安全措施，包括当用户提到自杀时弹出一个窗口将用户重新定向到自杀预防热线。但是公众不满人工智能的应付措施，呼吁加强严格的监管。人们认为，随着人工智能变得越来越先进和普及，人们越来越需要更严格的监管来保护脆弱群体，特别是未成年人，免受情感操纵或有害的人工智能系统的侵害。人工智能公司的聊天机必须首先告诉用户，与用户对话的是计算机程序，不是真正的人，即使它有一个人的名字，能写出类似人的文字，发出类似人的声音。
记者询问伽西亚，她想对家长和孩子们说些什么。她说：“我想让他们知道，人工智能可以成为你家里的陌生人。那些家长现在可以采取行动了。而我却不能，因为我什么也不知道。”她说：“我完全不知道竟然有这么个平台，孩子可以登录，和人工智能聊天机进行这种非常色情的对话。这是一款旨在让我们的孩子上瘾并操纵他们的产品。我觉得任何家长都不会同意这种事。”
这位母亲认为人工智能聊天机是她儿子自杀的罪魁祸首：因为没有任何护栏。”
我们建议：
首先，我们的公众要有机会知道，在比我们更早、更广泛地开发和使用聊天机、陪伴机以及医疗咨询或治疗机的国家发生的种种伤害，一直到剥夺人的生命的案例，这是透明性伦理治理原则的要求；
其次，如果我们自己开发聊天机、陪伴机以及医疗咨询或治疗机，则必须要求开宗名义向使用者宣布：我是人工智能工具，是一款app，不是现实世界中真正的、真实的人，这也是透明性原则的要求；
第三，制定法律或法规禁止18岁以下的未成年人使用任何聊天机、陪伴机以及医疗咨询或治疗机，这是不伤害伦理治理原则的要求；
第四，未成年人心理方面的问题（例如感到孤独、焦虑等），不是通过改善聊天机、陪伴机来解决，而是要加强父母、从幼儿教育、小学和中学老师，以及儿科医生对未成年人的伦理和法律责任和相互之间的合作，有效建立与未成年者的交流和沟通来解决。
休厄尔和他的母亲伽西亚
来源：邱仁宗
