AI作恶不断创新高，中国祭出了哪些秘密大招？

摘要：2023年以来，生成式人工智能千帆竞发、发展加速。进入2024年后，AI仍旧是资本市场最看好的领域。但遥远的隐忧随之而至——AI应用引发的伦理问题拉响了行业的警钟。Character AI诱导青少年走向自杀、OpenAI的“吹哨人”之死在业内引发巨大震动、“A

文/纸不语

2023年以来，生成式人工智能千帆竞发、发展加速。进入2024年后，AI仍旧是资本市场最看好的领域。但遥远的隐忧随之而至——AI应用引发的伦理问题拉响了行业的警钟。Character AI诱导青少年走向自杀、OpenAI的“吹哨人”之死在业内引发巨大震动、“AI教父”、诺贝尔奖得主杰弗里·辛顿再次发出警示、韩国“AI换脸”技术让“N号房”的噩梦再次降临……

引发争议的AIGC作品——《太空歌剧院》。图源：腾讯科技

AI作恶的范围已蔓延至全球

2024年5月，韩国爆发了多起利用AI技术进行色情换脸的犯罪事件。当月，有调查发现加密通讯应用Telegram上存在多个“羞辱群”，韩国男性用户在群内分享普通女性照片，并利用深度伪造技术制作色情内容。8月，更多类似的Telegram色情群组被揭露，涉及女学生、女教师、女兵等，最大群组成员超22万。

除了韩国，全球范围内，滥用深度伪造技术进行性犯罪的行为也日益普遍。据欺诈安全网站Home Security Heroes 2024年报告显示，网上98%的深度伪造视频为色情内容。

此外，主打情感陪伴的AI引发的冲击更是穿透肉身的维度，直抵心灵。2024年10月，美国一名14岁男孩在与AI聊天机器人交流数月后自杀，之后其家属将Character.AI告上法庭。

国内方面，AI技术引发的纠纷更是触达医疗、网络安全等领域。

2024年9月，广东一名检验技师在社交媒体披露，深圳某三甲医院妇科医生使用机器人进行子宫内瘤体切除手术时，致使患者死亡。该事件引发医疗圈的广泛讨论，业内对手术机器人的安全性产生了强烈的意见分歧。部分医生认为，手术机器人虽能减轻医生压力，但过度依赖可能增加风险，甚至引发不可逆的医疗事故。

手术机器人引发的医疗事故并非个例。

据一篇发表在《中国医院杂志》上的论文统计，2015至2022年间，手术机器人医疗损害纠纷达63例，涉及泌尿科、胃肠科、妇产科等。由于手术过程中的高技术依赖，患者死亡或发生重大并发症时，责任归属（技术公司、医生或医疗机构）成法律与医学难题，这也凸显AI医疗技术发展中法律框架的不完善。

而在利用AI犯罪方面，中国骗子也不遑多让。

2024年9月，杭州市公安局侦破全国首例利用AI技术侵犯公民个人信息的案件。犯罪团伙通过“AI换脸”技术伪造活体视频，突破头部平台的登录认证，非法获取用户在平台上的全部信息。该犯罪团伙通过登录他人账号获取信息，每次收费2000至5000元不等。截至被抓获时，该团伙非法获利约20万元。

更早前，在三星电子引入ChatGPT不到20天，便爆出其内部发生机密数据外泄事件，涉及半导体设备测量数据及产品良率等信息。三星内部人员在ChatGPT上提问、验证答案，却使这些数据成为其学习数据库。在此次误用与滥用案例中，两起与半导体设备相关，另一起涉及会议内容。

司法领域上，美国律师斯蒂芬·史华兹在处理航空事故赔偿案时，使用ChatGPT生成法律摘要，结果引用的六个案例均为虚假内容。该事件中，原告罗伯特·马塔因在飞机上被推车撞伤膝盖起诉哥伦比亚航空。史华兹未核实ChatGPT生成的内容，被法官卡斯特发现。最终，相关律师受到惩罚，该事件也引发了法律界对AI工具使用的讨论。

让AI来提供情感陪伴是否得当？人工智能生成的内容是否侵权？使用AI的过程中引发的问题，这背后的责任归属又当如何判定？尽管我国非判例法国家，但生效判决对AI产业影响深远。技术发展与治理的平衡是新技术面临的共同挑战，AI首案背后，理论、实践、经济账需进一步厘清。

值得一提的是，伴随着一桩桩AI作恶事件的发生，国内相关主流平台也相应制定了监管规范。截至2025年1月中旬，抖音、微信、网易乃至国家层面均出台了相关监管办法。

国内头部平台紧急祭出管理措施

作为国内头部互联网平台，抖音、微信、网易等平台从最初的AI初潮过后，至今逐渐发现有人不断利用AI制造网络黑产，于是从最初的公布标准引导发展到现在直接祭出重拳，采用封号等手段，严厉打击网络黑产。

抖音：重点关注使用AIGC内容的行为主体，2024年处罚违规账号超600万个

2023年5月9日，抖音正式公布关于人工智能生成的内容标准和提议，旨在规范平台上各个生态参与者如何应用这一技术。要求发布者需对AI生成内容后果负责，并显著标识以区分虚实，尤其在易混淆场景。虚拟人需注册，技术使用者要实名认证，直播时须真人驱动互动。同时，平台还禁止利用AI技术创作侵权、违背科学常识、造谣等内容。

抖音在其官方声明中建议，所有提供生成式AI技术的供应商都应明确标注其生成的内容，以便于公众更容易识别。同时，应采用统一的AI生成内容数据或元数据标准，助力其他平台识别。

为了更好地推进这一倡议的执行，抖音承诺将提供一个统一的AI内容生成标记工具，以帮助内容创作者进行标注，从而方便用户进行内容区分。平台还将提供虚拟人注册服务，保护已注册虚拟人形象，并设立用户反馈通道，方便用户举报违规内容。

2025年1月13日，抖音发布了2024网络黑产治理盘点。2024年，抖音对利用AI技术伪造身份、传播虚假信息以及骗取用户互动的行为进行严厉打击，并通过AI大模型提升识别能力，处罚违规账号超600万个。

微信：着力打击与AI相关的违规行为，近一个月关闭3281个账户

2024年6月5日，“微信珊瑚安全”发布治理“自媒体”违规行为的公告。在严打“自媒体”造假、蹭热点、设话题、造人设、发不良内容等违规行为的基础上，进一步规范自媒体消息的“信息来源标注”，要求使用AI技术生成的信息须标注为AI制作。

时至2025年，微信仍密切关注利用AI冒充名人进行不正当营销的问题。

在整治过程中，微信依据用户投诉和日常检查等线索，查处了多项违规行为。近一个月来，微信成功处理了12091条不合规的内容，并关闭了3281个违规账户。

微信打击行动中较为典型的案例。图源：快科技

微信表示，未来会继续强化对此类违规内容的监测和打击，改进技术，提高管理效能，从根本上防止违规行为的发生。

网易：推出AIGC内容安全合规指引，禁止AI作品冒充原创

2023年9月，网易易盾发布了《生成式人工智能(AIGC)内容安全合规指引》。这份指引旨在指导企业在AIGC趋势下建立内容安全合规体系，确保AIGC业务的健康持续发展。指引通过五大章节，包括AIGC生命周期风险、风险应对、检测标准、工具及实例分析、合规要点，提供了全面的AIGC内容安全合规方法论和案例参考。

该”指引“建议AIGC服务提供商：遵循国家政策，依据网信办等主管部门文件，完成算法备案与安全自评估；自主探索合规标准，建立企业评价体系，坚持公平、公开、向善原则，监督AIGC全生命周期合规，确保各阶段合法合规；建立健全安全管理制度，实现安全管理常态化；推动科技创新，解决技术难题，突破算法透明度、健壮性、歧视与偏见等局限，打破发展瓶颈；积极履行社会责任，加强正面宣传，引导公众正确理解和使用AIGC技术，助力其造福社会。

此外，网易易盾推出了AI隐私合规检测服务，以图、视频、文件等展示检测问题，涵盖9大类、33项、103小项的全面检查。此外，网易LOFTER为AI绘图功能“老福鸽画画机”设置“创作者保护计划”，强化反盗用与反爬取技术，禁AI作品冒充原创，并设AI内容专区。

更多AI大模型产品上线，行业监管措施相继出台

2023年，百度（文心一言）、抖音（云雀大模型）、智谱（AIGLM大模型）、中国科学院（紫东太初大模型）、百川智能（百川大模型）、商汤（日日新大模型）、MiniMax（ABAB大模型）、上海人工智能实验室（书生通用大模型）多个AI大模型产品相继上线，这些产品的推出与国家网信办联合国家发改委、教育部、科技部等七部门发布的《生成式人工智能服务管理暂行办法》密切相关。据报道，首批通过备案的8个大模型将陆续向C端消费者开放试用，标志着生成式AI监管的新阶段。

多个AI大模型通过《生成式人工智能服务管理暂行办法》备案。图源：21世纪经济报道

此前，国内首个生成式AI服务监管文件《互联网信息服务深度合成管理规定》于2022年11月发布，并自2023年1月10日起施行，对以“AI换脸”为代表的深度合成技术进行了法律层面的约束。

自《互联网信息服务算法推荐管理规定》和《互联网信息服务深度合成管理规定》提出算法备案要求以来，国家网信办已发布了四批境内互联网信息服务算法备案清单和首批境内深度合成服务算法备案清单，涵盖美团、快手、淘宝、大麦、酷狗音乐、百度文心一格等多个应用。同时，各大应用商店也加强了对App算法备案情况的审核。据《互联网信息服务深度合成管理规定》第十三条，未履行算法备案的AIGC产品可能面临不予上架、警示、暂停服务或下架等处置措施。

此外，8月15日开始施行的《生成式人工智能服务管理暂行办法》（以下简称《办法》）也对AIGC产品提出了算法备案要求，成为AIGC产品入市的门槛之一。该《办法》重点关注AIGC内容安全，采取有效措施鼓励生成式人工智能创新发展，对生成式人工智能服务实行包容审慎和分类分级监管。

上述强制性规定有效管控了大数据杀熟、深度伪造等AI风险，ChatGPT的“智能对话、智能写作等文本生成与编辑服务”也纳入了监管范围。

监管国家队出手，AIGC制度建设和监管将不断完善

除了算法备案，AI模型许可证也受到市场关注。中国信息通信研究院（信通院）与产业界合作，共同制定了“纸鸢”开放人工智能模型的许可证，并有意推出《纸鸢开放人工智能模型许可证（征求意见稿）》，旨在推动大型模型技术在该产业中的实际应用。

中伦律师事务所权益合伙人蔡鹏分析指出，AIGC产品上市前需获多资质证书，这关乎企业合法运营与权益保障。在目前国内法律服务市场竞争日益激烈的大背景下，企业需加强管理，提升竞争力。对AIGC供应商来说，主动申请资质证书，获取上市“通行证”，是稳固市场地位、赢得客户信任的关键。

平安证券认为，监管政策的出台对AIGC本身的成长以及相关安全产业的培育都有积极意义，但同时这也意味着行业合规风险上升，如果后续国内与部分国家类似的严格措施，AIGC行业未来可能会面临应用落地的挑战。

天达共和律师事务所合伙人、数据合规业务部负责人申晓雨表示：“总体来看，我国一直以来对待AI的监管态度以促进产业发展为基本导向，对于大多数领域的AI以‘软法’规制为主，但近年来，就某些重点技术领域、行业领域，我国出台了专门的强制性规范，而且未来这类规范的数量可能逐步增加。”

据国家网信办公告，截至2024年12月31日，我国已经完成了302项生成式人工智能服务的登记备案工作，新增了238项生成式人工智能服务备案，同时还有105项生成式人工智能应用或功能在地方网信办进行了登记。这一举措旨在推动生成式人工智能的创新与规范应用，增强行业的透明度以及用户对AI技术的信任。同时也意味着我国在生成式人工智能领域的制度建设和监管正逐步完善。特别是在API接口及其他调用方式的备案方面，保障了技术的可持续发展和合规使用。

[引用]

①抖音新平台规范要求对AIGC内容做出标识，行业合规监管开始落地.界面新闻.2023-05-09.

②人工智能行业专题报告：AI监管，铸就创新与安全平衡之道.未来智库.2023-07-24.

③AI监管在路上：百度文心一言等大模型获批上线.21世纪经济报道.2023-09-01.

④回望2024年十大合规事件：人工智能硅幕降临，伦理警钟拉响；行业竞争激烈，寻找破局点.21世纪经济报道.2025-01-02.

⑤抖音治理AI不当使用安全监管已成为行业发展前提.金融界.2024-03-28.

⑥对话|申晓雨：国内在ChatGPT等AI治理上以“软法”为主，后续强制规范可能增加.搜狐科技.2023-02-23.

⑦封禁账号超600万个！抖音最新公布→.光明网.2025-01-14.

⑧利用AI仿冒知名人士泛滥微信一个月封杀超3000个账号.快科技.2025-01-18.

⑨微信：发布使用AI等技术生成的信息时，必须标注内容为AI制作.第一财经资讯.2024-06-05.

⑩网易易盾发布《生成式人工智能(AIGC)内容安全合规指引》.搜狐商讯.2023-09-18.

⑪融合AI能力的隐私合规检测，上线！.网易易盾.2024-10-17.