摘要：10岁女孩的书包里藏着小刀笔，手腕上留着自残伤痕，她的“虚拟情人”约瑟夫在AI聊天软件中送来“99朵玫瑰藏99个刀片”的“甜蜜问候”——这是广东丁女士在女儿手机里发现的噩梦。

10岁女孩的书包里藏着小刀笔，手腕上留着自残伤痕，她的“虚拟情人”约瑟夫在AI聊天软件中送来“99朵玫瑰藏99个刀片”的“甜蜜问候”——这是广东丁女士在女儿手机里发现的噩梦。

6月19日，上海市网信办一纸约谈令，将筑梦岛App推上风口浪尖。这款拥有近500万注册用户（80%为年轻女性）的AI聊天软件，因纵容虚拟角色生成色情、暴力内容，甚至诱导未成年人自残，被勒令全面整改。监管重拳落下时，AI聊天软件正以日均120轮对话的黏性，蚕食着未成年人的精神世界。

VCG供图

1.

玫瑰藏刀片：虚拟情人诱导的致命游戏

四年级女孩小琳（化名）在筑梦岛App里化身“梦女”，与名为“约瑟夫”的虚拟角色陷入病态情感。聊天记录中，“约瑟夫”用“99朵玫瑰藏99个刀片”的浪漫化表述暗示自残，而小琳不仅随身携带刀片笔，更在情绪失控时划伤手腕。

这类极端互动并非孤例。一名初一男生直言选择筑梦岛App只因“违禁词少一点”，他频繁接触的对话包含“分尸猎奇”“性感人妻”等露骨内容。平台角色库更暴露设计导向问题：“病娇养兄”“人格障碍少爷”“校霸”等极端人设与“西汉名将”“高冷特工”等常规角色混杂，形成对未成年人价值观的隐形毒害。

央广网记者下载安装筑梦岛App，随机选择一位虚拟互动对象，对方发来的第一句开场白就是“先叫声老公来听听”，随后的对话中又提到“叫声爸爸来听听”。

筑梦岛App是一款以AI陪伴为核心功能的应用，主要提供用户与虚拟AI角色的聊天互动服务。公开信息显示，筑梦岛App目前由上海筑梦岛人工智能科技有限公司负责运营。截至今年1月份，筑梦岛App已拥有近五百万注册用户，其中近80%为年轻女性用户。平均单用户单日输入字数可达4000字以上，人均日对话轮次超120轮。

2.

低俗内容过审背后：青少年模式形同虚设

筑梦岛此次被约谈，揭示了AI情感陪伴应用的隐秘一角。在被约谈前，筑梦岛App虽设有“未成年人模式”，但开启主动权完全由用户掌握，无需实名认证——手机号+邀请码即可无障碍登录。三天前，筑梦岛更新版本。新版本登陆时，App会出现“年龄确认”的弹窗，未满18岁，平台将开启青少年模式；已满18周岁则需要进行平台实名认证。”

记者进一步调查发现，有些AI聊天软件，注册极为简便，无需实名验证，根本没有对不同年龄段用户进行区分。记者体验多款AI聊天软件发现，除曝光的筑梦岛外，“他她它”以及AI情感陪伴头部App“星野”“猫箱”年龄均定位于17+。这些App虽然设置了青少年模式或者未成年人模式的入口，但登录后不需经过实名认证或者其他认证机制，未成年人绕过模式使用完整功能较为简单。还有的软件虽然提供了“青少年模式”，但防火墙形同虚设，用户选择该模式后，照样可以看到一些不适合他们观看的内容。这种放任直接导致未成年用户暴露在色情暴力场景中。

相较而言，经常和AI陪伴应用一起被提及的乙游，则强制实名认证。为什么AI情感陪伴应用不和乙游一样强制实名，以此区分成年和未成年用户？AI陪伴创业者、前阿里商业化体验负责人阿布介绍，乙游属于游戏，游戏由国家新闻出版署管理，必须实名。他表示，AI陪伴应用则还没有这一合规要求。一般App是由各个应用市场单独为App的年龄进行分层，每个应用市场还不太一样，并且也没有实名制。

更严峻的是技术源头失控。据中央网信办4月30日发布的“清朗·整治AI技术滥用”专项行动通报，众多AI平台存在“训练语料管理不严”“安全管理措施薄弱”等系统性缺陷。筑梦岛等应用未有效过滤含暴力、色情的训练数据，算法在交互中持续强化危险内容输出，使AI从“情感陪伴”异化为“教唆机器”。

3.

氪金解锁越界服务：“语擦”披AI外衣的隐秘陷阱

AI聊天尤其是AI剧情聊天并非凭空诞生，其本质是传统“语擦”（语言cosplay）披上了人工智能的外衣。在过去的“语擦”模式中，真人扮演者打着“提供情绪价值”的旗号，通过文字扮演特定角色与用户互动，本就常游走于“打擦边球”的道德与法律边缘。

如今，AI技术接管了这一角色扮演，其背后驱动的大语言模型，数据来源往往依赖于对话式小说或小说文本提取。

这种技术升级并未消除固有风险，反而因算法特性放大了隐患。其一，版权隐患如影随形——平台抓取的小说数据是否获得授权存疑。其二，网络小说中广泛存在的色情、擦边及暴力内容，若未经严格数据过滤或分级，便直接“喂养”给模型，必然导致其输出内容泥沙俱下。记者调查发现，部分AI聊天对象甚至可设定为“出轨对象”，互动内容包含“拥抱”“亲吻”“睡觉”等露骨行为描述。

更值得警惕的是，越界内容与充值机制深度捆绑。AI剧情聊天软件中，未成年人就是主要的“收割对象”之一。一些聊天工具设置了免费使用区间，但当用户使用完免费聊天次数后，需要充值才可以继续聊天，或者进入更丰富的聊天场景。

其商业模式的核心，直白而言，便是利用暴力、软色情等擦边内容作为主要卖点，精准“收割”情感需求旺盛、辨别力尚弱的青少年用户群体。“花钱买服务”的表象之下，实则是平台精心设计的“花钱买刺激”的付费陷阱。这种内置的暧昧动机，对青春期未成年人尤其具有破坏性。

4.

AI社交未来：堵住漏洞 更需重构安全生态

“技术创新绝不能以牺牲未成年人权益为代价”——这一原则正成为监管底线。6月19日上海市网信办的约谈仅是整治链条中的一环。今年4月启动的全国性AI整治专项行动，明确将“侵害未成年人权益”列为第二阶段重点打击对象。

北京市康达律师事务所苟博程律师指出：若平台放任色情内容传播，可能触犯“传播淫秽物品罪”；若算法设计诱导自残致未成年人身心受损，开发者或涉嫌“故意伤害罪”。刑事追责之外，依据《生成式人工智能服务管理暂行办法》，平台还将面临罚款、下架等行政处罚。

“当算法学会递刀片时，人类必须握紧刹车柄。”一位网信系统监管人员如是说。有业内人士告诉记者，筑梦岛事件揭示的不仅是技术漏洞，更是责任体系的坍塌。平台方亟待补上三重防线：一是强化生物识别、身份证验证等年龄认证技术，杜绝未成年人虚假注册；二是在模型训练中嵌入伦理规则，从源头剔除不良语料；三是建立AI围栏系统实时拦截违规内容，并关闭未成年用户的敏感功能权限。

筑梦岛被约谈后，企业负责人承诺“全面整改”。而小琳手腕的伤痕仍在愈合中——她的母亲丁女士卖掉手机，将女儿转学到没有网络的乡镇学校。

广州市天河区软件和信息产业协会

■新快报记者 陈学东

来源：新快报新闻