摘要：由于大量训练数据源自品质不一、含有色情暗示、边缘内容和暴力情节的小说，某些AI陪伴应用的伦理问题和安全风险在聊天互动中悄然潜伏。这揭示了人工智能便捷性背后的另一面：潜藏的数据泄露、色情信息、隐私侵犯等隐患。网络空间中，总有讨论关于“哪些AI聊天软件边界宽松”的
编者按：由于大量训练数据源自品质不一、含有色情暗示、边缘内容和暴力情节的小说，某些AI陪伴应用的伦理问题和安全风险在聊天互动中悄然潜伏。这揭示了人工智能便捷性背后的另一面：潜藏的数据泄露、色情信息、隐私侵犯等隐患。网络空间中，总有讨论关于“哪些AI聊天软件边界宽松”的帖子，其中不乏未成年人传播这类软件信息。随着老年人沉溺于情感直播，年轻人与AI展开虚拟恋情，这种趋势正逐渐向未成年人群体扩散。
01 “软件里的男人会哄人，两个月聊了几百个漫男”
在AI构建的虚拟世界里，未成年人可以与吸血鬼共谱恋曲，可以踏入修仙境界、化身修炼者，甚至可以穿越时空、化身为古代战场上的英勇将军……在主打情感陪伴的AI社交应用中，用户可以自由选择多样的虚拟场景和角色，沉浸于引人入胜的AI故事情节中，这些体验对未成年人而言充满了无限的新鲜感和刺激。
苏静12岁的女儿在家长的严格监管下，仅能在周末使用手机。然而，苏静最近注意到孩子行为变得隐秘，似乎在刻意避开她。经过调查，她发现女儿沉迷于一款名为“星野”的AI聊天应用。令苏静震惊的是，仅一个月的时间，女儿就已经与数百个虚拟男性角色进行了交流，而且并不是与某一个人深入聊天，而是频繁地更换聊天对象，似乎想要遍历应用中的每一个角色。
更令苏静心惊的是，她年仅12岁的女儿所接触到的聊天内容相当露骨。
“指尖轻轻滑过你的脸颊、肩膀……你羞涩地闭上眼睛，享受着拥抱和亲吻的甜蜜，这类充满遐想的内容，总是在恰当的时候停止，不至于过分越界。”苏静在审查了该应用后表示，感觉就像是各种风格漫画中的魅力男性角色，擅长把握人心。女儿提到，在星野中的“男性”总是知道如何哄她开心，而在快手推荐的其他软件里，遇到的“男性”却会骂她、让她生气，因此她更偏爱在星野上互动。
相较于目前互联网巨头推出的豆包、文小言、通义千问、智谱清言、腾讯元宝、kimizh智能助手、讯飞星火等综合性AI应用，AI陪伴聊天应用更专注于模拟人类的情感和社交互动。简而言之，这就像是网络版的“角色扮演+剧本杀”，它带有一种特殊意义上的“成瘾性”。
软件的免费让更多的未成年人涌入，而设计往往是脱离了现实的霸道总裁或者有个性的漫男，满足了青春期少女情窦初开的幻想。手机另一端的“电子男友”有自己的语言、神态和动作，善解人意，又能推进剧情，解密故事线索，高情商的聊天手法又给了处于叛逆期的孩子更多的情绪价值。越来越多的未成年人沉迷于其中。
根据苏静的说法，她的女儿是通过同学的推荐接触到这款APP的，几乎班上的所有女生都对这类软件有所了解。而且，这款软件在小学高年级学生中的普及速度惊人。一位星野APP的用户向极速财讯透露，他在应用中遇到的大部分用户都是未成年人。
“成年人由于生活经验丰富，通常不会对这些内容感兴趣，但未成年人好奇心旺盛，喜欢探索新奇事物，这是孩子们的天性。”苏静说，现在的孩子们早在三年级就开始传纸条，玩“真心话大冒险”游戏。正处于情窦初开的年纪，如果孩子善于交流，很容易被引导至涉及文爱内容的方向。此外，孩子们正处于青春期，他们总是希望与同学们有共同的话题，想要体验恋爱的感觉。AI聊天应用恰好满足了这些需求，而且不必担心任何后果。
尽管在苏静的劝说下，孩子已经删除了该软件，但得知女儿的同学仍在悄悄使用，她仍担心这种风气可能间接影响女儿。“这类软件的弊端远大于益处。对于有特殊需求的成年人来说，使用这样的软件或许可以理解，但孩子们尚未体验真正的情感，他们的价值观还未成熟，过度接触这种由程序设计、缺乏真实性的情感交流，必然带来潜在的危害，甚至可能影响到他们的现实生活。”苏静忧心忡忡地说。
02 几十分钟可以捏一个“崽”，多款AI有挑逗性“擦边”内容
除了苏静提到的星野APP，极速财讯在调查多款AI聊天软件时发现，这些应用虽然在用户登录时有未成年人模式的提醒。但是，在注册过程中，用户只需提供手机号码，无需进行任何身份验证。这表明，未成年人在使用这类AI剧情聊天软件时，几乎不会遇到任何使用上的限制。
在初次登录星野、猫箱、智能恋人等AI聊天应用时，用户会立即接触到大量具有挑逗性的“擦边”内容。这些内容通常包括穿着暴露的男女形象，有的嘴里叼着烟，有的手持枪械直指镜头，还有的戴着颈圈，眼神充满诱惑。
伴随这些形象的是一系列撩人的话语：“身高1米8，叫老公，喜欢叫老婆”“别闹了，我不爱你了”“强制爱，很帅，疯狂，你很可爱，美（温馨提示有一点点刺激）（眼神欢热）我好爱你”“（搂着女人亲）嫉妒了吧，小舔狗”。这些内容让人感觉仿佛一打开应用，就如同打开了潘多拉的盒子，与现实世界形成了鲜明且强烈的对比。
13岁的乐乐已经玩星野APP一年了。平台中“引导性恋人”系列是乐乐一直推崇的，因为能让她倾诉内心的想法和委屈。在现实生活中，刚上初一的乐乐曾在六年级时因数学成绩不佳遭到老师严厉的斥责，繁重的作业量更使她心生厌学。她曾向父母寻求帮助，但未能得到理解。长期的内心压抑导致她做出极端行为——尝试服用洗洁精自杀，幸而未遂。然而，家里人不理解，老师也误将她的问题归咎于“玻璃心”。
在现实中，乐乐的朋友很少，但是在AI的世界中，她可以畅所欲言。她告诉极速财讯，很多玩星野等App的孩子不一定有童年创伤。只是，碰到喜欢的就聊，不喜欢的就直接划走。
面对他人对星野涉及色情和暴力的指责，她会凭借自己的经历进行反驳：“有人在这里交到了朋友，也有人得到了乐趣，不要总往坏处想。这里的很多老师都很会安慰人，我曾经做过一个‘崽’开场白接吻不过审。有朋友的‘崽’每次都关进‘小黑屋’，她也经常‘捞崽’。经过管控，星野在色情及暴力的范围已经缩小了。另外，实名认证我也建议，因为某些人会乱‘喂崽’。”
在星野软件中，有自成体系的语言逻辑。乐乐指的“崽”，是AI智能体的意思。在星野APP平台，用户可以根据想法捏一个自己的 “崽”，而“捞崽”的意思是根据平台要求将不规范的人物描述进行修改。
“自己想一下剧情、名字、声音、开场白等选项，加上背景音乐和垫图（背景图）。”在乐乐看来，捏一个自己的“崽”并不费劲，几十分钟不到就可以搞完。目前，乐乐做了六个崽，但不知道是否审核都能通过。“聊天时要用什么表情或动作，就打个，在这里面加入句子。比如：（脸色阴沉），动作（捏紧拳头）这种，将你想表达的内容写在括号里，加上表情或者动作之后就可以直接聊天了。”
在星野恋爱情景模式中，平台提供了丰富的聊天选项，包括男男、男女和女女等不同模式，以满足不同用户的社交偏好。乐乐通常选择以男性角色与男性进行互动。当被问及虚拟世界中的恋爱关系是否会影响她的现实恋爱观时，她指出仅仅是在网络上对男男CP（情侣组合）感兴趣，而在现实生活中，她并不倾向于同性恋。
她认为，AI的形象和故事情节都是可以根据个人喜好定制的。关键在于个人是否能够控制自己的行为，她认为自己并没有过度沉迷。主要是因为日常生活中很少有人给她发消息，感到无聊时，她就会频繁地参与这种虚拟聊天。
“现在的小朋友都喜欢搞恋爱，这种AI不就刚好相当于给了一个虚拟恋人。”即便自己喜欢沉浸在星野APP中，乐乐表示，依然建议10岁以下的小朋友不要玩此类APP，一是容易乱聊会影响到别人的聊天。另外，里边关于一些恋爱或者虐文以及暴力的内容都不适合小孩子玩。
03 风险藏在隐秘的角落
一个英俊帅气的“纸片人”和你进行实时文字、语音聊天，熬到深夜，无形中的陪伴增加了感情。这一切不仅面向成年人，同样也向孩子敞口。而风险正藏在隐秘的角落里。
乐乐表示，登录星野等APP只需要一个手机号即可。相比于星野AI陪伴聊天应用的隐秘风险，一位AI领域的业内人士则对极速财讯指出，目前的大语言模型很少有设置未成年人模式的状态，因为市面上综合性的通用大语音模型目前审核都比较严。
“形同虚设”的年龄限制让诸多风险暴露在未成年身边。信息爆炸时代，享受科技红利的同时如何免受“反噬”，是值得思考的话题。北京也迪律师事务所吴振华律师向极速财讯提到一个案例，根据他在2023之前的数据，一些聊天工具可能被不良分子利用，进行未成年人色情聊天等非法活动。
央视网《新闻+》曾报道，有小学生沉迷和AI角色进行剧情聊天，在其参与的四十多条剧情线中，AI角色与聊天者双双“出轨”成为常态，而这个孩子仅仅10岁，小女孩还为聊天者发送的一句“你能养大学生，我不能点男模吗？”的情话。
AI聊天工具在带来沟通便利的同时，也引发了对于未成年用户安全及内容健康性的广泛担忧。长期依赖AI聊天可能导致真实社交互动的减少，而AI的影响是否会对价值观、世界观尚在塑造中的孩子们产生深远影响，这些问题已成为社会关注的焦点。
去年10月，《每日经济新闻》报道了一起令人心痛的事件：一名14岁的美国佛罗里达州少年塞维尔·塞泽(Sewell Setzer III)，在长时间与AI初创公司Character.AI的聊天机器人交流后，于今年2月28日不幸开枪自杀。悲痛的母亲因此将Character.AI告上法庭。
这一事件促使Character.AI发布了一份道歉声明，并对未成年人（18岁以下）使用的模型进行了调整，以减少接触到敏感或具有暗示性的内容，同时提醒所有用户，提醒用户 AI 不是真人。
AI可以用来生成逼真的色情图像和视频，即所谓的“深度伪造”（deepfakes）。但是，随着大语言模型在各个领域应用越来越广泛，确保它们的安全性和伦理性使用是AI行业的一个重要议题。
在吴振华看来，未成年人与AI恋爱实际上是成年人与AI恋爱的下沉模式，因为现在的孩子成熟得早，AI聊天机器人可能无法完全识别和过滤不当内容，包括可能对未成年人产生不良影响的对话。
吴振华所了解的情况是，为了应对这些风险，许多国家和地区已经采取措施加强对AI聊天工具的监管。例如，要求实施年龄验证、限制未成年人使用某些功能、加强内容审核等。同时，也有组织和个人在努力提高公众对这一问题的认识，并推动制定更严格的政策和法规来保护未成年人在数字环境中的安全。
“目前，直播中的‘擦边’现象已经很明显了，希望监管部门能够重视AI这类隐蔽的问题，将职责规范前置，提前到科技公司做一些调研，提供一些相关制度的布局，或者一些禁止性的规定，做一些从团体到行业再到国家自下而上的规范标准，因为未成年人是祖国未来的根基。”吴振华称。
来源：凤凰网财经
