九块九“换脸”马斯克！能视频通话、直播带货，你的脸和声音都危险了

摘要：每年3·15，《IT时报》都会关注互联网消费领域中，随着新应用和新服务出现的侵犯消费者权利的事件和现象，今年，这些“假”要继续打下去，盗版图书泛滥、临期护肤品成“假货天堂” 、9.9元“换脸”马斯克等。《IT时报》将持续推出“3·15行动周”专题报道。

AI诈骗暴增3000%

作者／ IT时报记者贾天荣

编辑／郝俊慧孙妍

每年3·15，《IT时报》都会关注互联网消费领域中，随着新应用和新服务出现的侵犯消费者权利的事件和现象，今年，这些“假”要继续打下去，盗版图书泛滥、临期护肤品成“假货天堂” 、9.9元“换脸”马斯克等。《IT时报》将持续推出“3·15行动周”专题报道。

“靳东”“雷军”“张文宏”……当这些熟悉的脸出现在短视频平台上、视频通话的那头，用熟悉的语调说着“温暖”的话，你会相信吗？

刚刚结束的两会期间，“AI换脸”“AI拟声”成为代表们热议的焦点。全国政协委员、演员靳东“深受其害”，江西一位老人差点AI合成的“假靳东”骗走200万元；全国政协委员、上海华山医院医生张文宏被AI换脸“带货”，部分老人信以为真并下单购买；全国人大代表、小米集团CEO雷军在去年国庆期间，被人用AI捏造声音乱说一气，并以“雷军语音包”的形式在网上流传……

除了伪装名人诈骗，个人肖像权、隐私权在AI的“攻击”下，也变得更容易被侵害。知名模特叶凯薇日前发布视频称，有人利用AI换脸技术制作并传播淫秽视频，对其个人生活造成严重困扰。

甚至普通人在不经意间都可能成为“受害者”。2023年广州一位女子在地铁上的照片被有心人用AI“一键脱衣”，并故意全网散播。

“大模型的普及及生成式AI的技术突破带来的‘技术平权’，是深度伪造技术滥用高发的重要原因，”上海计算机软件技术开发中心主任、研究员蔡立志接受《IT时报》记者采访时指出，目前，对于AI换脸的“反侦察”技术检测尚无法做到百分百准确，但制作“假脸和假声音”的技术和成本门槛却越来越低。

《IT时报》记者调查发现，在电商平台上，仅用9.9元便可以买到一款AI换脸软件，10分钟之后，记者“换脸”成功，变身女同事，而且可以随意录制视频。而在一些大模型中，上传照片生成一个“数字人”只在分秒之间，不仅没有审核，甚至免费。

不仅源头难以遏制，各大平台的审核机制也难以奏效，记者测试生成的一条“换脸”马斯克视频不仅顺利发布，且没有被标注为“AI生成”或拦截，流量甚至破万。

对“AI换脸”“AI拟声”立法已刻不容缓。统计显示，仅2023年，基于AI的深度伪造欺诈暴增3000%。浙江警方数据显示，AI诈骗案件在2024年同比激增270%，单笔损失金额超百万元的案例中，83%涉及伪造视频。

记者调查 “AI换脸”软件 9.9元唾手可得 10分钟上手直播带货、视频通话皆可用

手机屏幕上，一位外表看似儒雅的“专家”，正耐心讲述健康养生知识，不经意间向观众推荐起“糖尿病调理好物”，如果你仔细端详会发现，他总是在重复一些动作或者内容。这是位“AI数字人专家”。

当前，AI数字人叠加养生内容，已成为部分商家的带货“黄金赛道”。他们利用AI技术批量制作视频，同时运营数十个矩阵账号，精准投放至中老年群体，以虚假专家形象获取信任，并通过软性营销引导他们高价购买保健品，许多老年人深受其害。相比传统诈骗，AI数字人带货的隐蔽性更强、规模更大，受害者更难察觉其虚假性。

以“AI换脸”为关键词在各大电商平台上搜索，结果为“无法显示”，但如果换一个词，比如“AI视频通话”，便跳出大量AI视频换脸相关教程甚至软件售卖。于是，《IT时报》记者下单了一款9.9元/天的AI换脸软件。

这是一款PC端软件，界面颇为专业，但操作流程极为简单。仅通过文字及视频教程，不到10分钟，记者便“变身”女同事，并顺利生成数个视频，途中无任何要求。

换脸成功后，记者尝试做出多种动作，如拍脸、按鼻、露牙齿及大幅遮挡脸部，均未出现明显破绽。此外，该软件还能通过高清修复、自动遮罩、调整摄像头参数、换脸像素、强度、方向、差异化等多项功能，优化换脸效果，使其更加逼真。

与此同时，该软件不仅支持制作换脸视频，还具备虚拟摄像头功能，可在QQ、微信等社交软件上实现实时换脸视频通话，甚至能推流直播。记者进一步查看软件主页发现，其提供“0元无限次试用一天”的免费体验，并允许用户测试视频或直播AI换脸，而最高支付399元即可获得软件的永久使用权及在线指导服务。

在手机应用商店里搜索“AI换脸”，相关App更多，有的甚至直接取名为“AI换脸”，其中大部分需开通会员或付费使用。不过由于大多数换脸工具都设定了固定场景，从效果看逼真度不高。

但在一些知名视频软件中，“AI数字人”的效果已趋于完美，用户仅需上传一张照片，便可一键生成数字人，并可自由设定台词。

在“即梦AI”中，记者上传了一张明星照片和几句台词，几分钟后，软件便自动生成了该明星按照设定台词讲话的视频。虽然生成的视频带有AI生成的logo，但裁剪后仍可完整呈现。

相较之下，“剪映”的做法便令人有安全感。同样上传明星照片后，系统显示：检测到该照片属于真人，要求进行本人验证。用户需在线实时拍摄照片，与上传图片比对，若不一致则无法通过审核。

2023年1月10日中国国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》（以下简称《规定》），要求深度合成服务提供者对其生成的内容，比如人脸、声音、沉浸式场景等特殊内容，需要进行显著标识。

然而，《IT时报》记者的各类测试显示，不仅生成一段“假明星”视频的成本和技术门槛都已极低，很多AI生成结果并无任何标识，即便有的带有“AIGC”字样，也可以被随意剪裁。

上传短视频平台 “变脸视频”都没被认出

根据2024年9月14日国家互联网信息办公室发布的《人工智能生成合成内容标识办法（征求意见稿）》，人工智能生成合成内容中应添加隐式标识，这是一种采取技术措施在生成合成内容文件数据中添加的、不易被用户明显感知到的标识。

由于此办法尚未正式实施，目前一些传播平台采用AIGC识别模型，并结合人工审核，以主动检测内容是否由AI生成。对于疑似AI生成的内容，部分平台会标注“疑似使用AI生成技术，请谨慎甄别”，提醒用户提高警惕。

不过，从实际实施情况来看，并不乐观。

《IT时报》记者制作了几条痕迹较为明显的AI换脸视频，并尝试在各大平台发布。结果显示，所有视频均可顺利上传，且未出现AI相关提示。即便主动在标题中注明“AI换脸”，也未触发任何警示。

即便同为字节跳动旗下产品，当记者将即梦AI生成的“变脸视频”裁剪logo后上传至抖音时，系统也没有任何提示，没能自动识别。

随后，记者切换账号，对其中一条视频进行投诉，几分钟后，其中一条视频被限制为“仅互相关注用户可见”，并在视频底部标注“疑似使用AI生成技术，请谨慎甄别”。然而，同一账号内另一条相同内容的视频和其他AI换脸视频，依然“安然无恙”。

在微博平台，记者发布的两则AI换脸视频，其中一条在发布六分钟后被删除，理由是“未通过审核”，具体原因并未说明。而另一条视频则顺利发布，且未被标注任何AI相关提示。

在视频号上，记者也发布了两则AI生成的“名人换脸”视频，其中一条在一天内播放量突破1.8万，但两条视频均未被标注AI生成。记者尝试投诉，但视频号的投诉流程较为复杂，甚至需要提交真实姓名和身份证正反面照片，审核门槛高于其他平台。

在小红书，记者发布了两条AI换脸视频，其中一条主动添加了“AI换脸”标签，但仍未触发任何提示。记者随后用另一个账号对该视频进行投诉，约10小时后收到反馈，称该视频因“涉及利用AI技术虚构社会事件或假冒真人形象”违规，被限制推荐给未关注用户。然而，该视频仍并未被打上任何AI相关标识。

快手平台，两则AI换脸视频均顺利发布，同样未被标注AI相关提示。在快手的举报选项中，“AI换脸等恶意P图行为”被单独列出，但截至发稿，记者的投诉仍未收到反馈。

测试结果表明，不同平台在AI换脸视频的审核机制上存在明显差异，但所有平台都未能检测出记者发布的“AI换脸”视频并为其打上标识，部分平台对投诉后的视频进行了标注或限制，但多数情况下，AI换脸内容仍能轻松发布，且未受到明显限制。

专家分析从“AI换脸”到“AI生脸”

“技术平权让大模型真正‘飞入寻常百姓家’。”蔡立志表示，生成式人工智能的技术突破打破了专业壁垒，也降低了违法门槛。早期基于初级深度学习的换脸技术是“贴图式”——将目标人脸裁剪后直接覆盖原图，仅替换五官核心区域，依赖边缘模糊处理（如头发、背景保留原图），类似“贴纸拼接”。而当前AI换脸已演进为“生成式重构”——系统通过识别面部特征后完全生成新图像，而非简单拼接，“就像现代翻译不再是机械转换而是语义重构，现在的换脸技术已实现特征融合的智能化生成。”

尤其是根据清华大学刘知远教授团队提出的大模型密度定律（Densing Law）—— 模型能力密度随时间呈指数级增长，每隔100天就可以用一半参数量实现当前最优模型相当的性能，越来越多高能力的开源大模型可以实现本地化部署，并在普通电脑上就能实现运行效果良好的生成系统，“这打破了以往受云端服务伦理约束的限制。同时，生成质量的提升也使得传统识别手段失效。”蔡立志表示。

《IT时报》记者注意到，当前市场上已经有不少AI检测工具，专门用于鉴别视频和照片的真实性。然而，这些工具的可靠性如何？它们的极限在哪里？

“100%检测成功率是不可能的。”蔡立志表示，从技术发展的角度来看，AI的“矛”与“盾”始终在同步进化。生成式AI技术依靠不断优化来提高仿真效果。其核心机制是让生成的内容与真实内容进行对比，找出差距后进行调整，直到差距缩小到人眼或检测工具难以分辨的程度。正因为如此，检测工具在本质上是落后于造假技术的。

当前AI检测的有效策略只能是加快技术迭代，以尽可能缩小造假与检测之间的差距。同时，需要多种方法并行推进，例如结合多模态数据分析、深度学习模型优化以及人工鉴别辅助等，才能在一定程度上提高检测的准确性。最终，AI真假鉴别的过程将始终是一场“攻与防”的动态对抗，而非一劳永逸的解决方案。

腾讯云天御风控技术总监黄泽丰告诉《IT时报》记者，从目前AI技术发展的态势看，新的攻击手段、滥用的趋势正在加速，对普通用户（尤其是对新技术判断能力较为有限的老年群体），更加难以防范，因此必须依靠技术、平台以及法律法规共同发力，遏制AI技术滥用于深度伪造。

例如加速顶层立法，建立AI风险的分级分类管理制度；要求AI生成内容添加可明确识别判断的水印或标识；细化平台、用户、内容提供方的责任和义务；政府和企业各界为新的对抗技术提供应用土壤；推动AI生成内容技术标准助力监管等。

汇业律师事务所史宇航律师表示，目前我国对AI换脸、换声等深度伪造技术还未有专门的法律定义。相关行为（如伪造、传播、牟利）主要受《中华人民共和国民法典》《中华人民共和国个人信息保护法》的约束，如果涉及犯罪行为，则会适用《中华人民共和国刑法》中的诈骗罪、虚假广告罪、侵犯公民个人信息罪等罪名。

当务之急：AIGC标识先行

技术发展一日千里，而法律、监管、技术防范手段仍需时间跟进。蔡立志坦言，当前，法律法规与防范手段尚难以追赶技术的发展速度，就像计算机病毒与防病毒软件之间的关系——“总是病毒先出现，然后才有应对方案。”

目前来看，AIGC的生成与识别仍是一场“魔法打败魔法”的对抗。黄泽丰指出，对于系统来说，动态的视频存在大量难以伪造的细节，如微表情、运动残影、反射光等，都可以作为防伪造的手段，另外，通过解构3D结构光、可信设备环境检测、相机指纹以及多手段交叉安全验证，都可以提高系统判断的准确性。但普通人却很难肉眼识别。

“伪造一个人的声音，甚至比伪造图像更容易。”蔡立志指出，当前AI声纹克隆技术仅需采集“三分钟甚至两三句话”，就能完整复刻个人声纹特征，“就像指纹一样，每个人的声纹独一无二，但机器偏偏擅长破解这种‘唯一性’”。

深度伪造技术的滥用，往往先行一步，而技术与法律的防范则需要时间来补足。

史宇航认为，作为技术公司有义务在算法中嵌入防滥用措施，例如强制水印、内容标识等，以防止技术被滥用于误导性信息的传播。

相关法规也对此做出了明确规定。

《人工智能生成合成内容标识办法（征求意见稿）》提出，提供网络信息内容传播平台服务的服务提供者应当采取措施，规范生成合成内容传播活动，并规范了元数据隐式标识格式。这意味着，如果《征求意见稿》得以正式落地实施，统一可识别的隐式标识将便于不同规模、不同技术水平的企业迅速识别AIGC的内容，从而实现显著标识并提醒的功能。

《网络音视频信息服务管理规定》第十一条要求，利用深度学习、虚拟现实等新技术制作、发布或传播非真实音视频信息的网络服务提供者和使用者，必须以显著方式进行标识。

此外，视频平台对用户上传的深度伪造（换脸）内容同样有审核义务，若发布在平台上的视频引发侵权、诈骗或诽谤，则需要根据平台的过错程度确定是否需要承担连带责任，如是否建立了审核机制、部署鉴别技术，在收到举报后是否及时处理等等。