“名人”带货仅需1元 ?AI换脸骗局也有明显破绽

B站影视 2025-01-15 18:22 2

摘要:前段时间,“张文宏医生带货蛋白棒”的消息让不少人信以为真,部分商家通过AI换脸、合成人声等技术手段,将张文宏的面容与声音移花接木用于直播带货,引得当事人不得不出面辟谣和谴责。

如今,AI换脸图片和视频成为热门现象,然而AI换脸的背后存在相关风险与困扰,《中国消费者报》记者就此进行了调查。

名人“被带货”屡禁不止

“眼见”不一定“为实”

人们常说眼见为实

但虚拟世界里的“眼见”

却不一定“为实”

前段时间,“张文宏医生带货蛋白棒”的消息让不少人信以为真,部分商家通过AI换脸、合成人声等技术手段,将张文宏的面容与声音移花接木用于直播带货,引得当事人不得不出面辟谣和谴责。

无独有偶,北京大学国家发展研究院教授李玲去年9月发表声明称,“网上大量假冒本人推销医药书籍和治疗手段的虚假视频,大多由人工智能AI合成,已经报警。”不过,记者调查发现,网上仍有以李玲名义推荐书籍的短视频,声音与本人别无二致,短视频详细介绍了某一书籍,购物车的同款书籍显示已售9.7万,短视频中还配有文字“关键时刻能救命”。

AI作为一种新技术,面世以来即被应用到多个领域,但也出现了不少利用AI进行违法犯罪的案例,包括仿冒名人、造谣、换脸诈骗、窃取隐私等。近期,微信平台发布消息称,针对“利用AI技术仿冒名人进行不当营销”的情况进行了打击,关闭账号209个。

AI换脸门槛很低

线上的“李鬼”日益增多

在网上

AI换脸的门槛很低

记者在“泡咖AI”APP上看到,VIP换脸套餐7天会员价59元、月度VIP99元、年度VIP499元。产品页面介绍显示,图片换脸“一张照片,轻松合成照片写真”、视频换脸“一键替换视频中的人脸”。在MJ绘画官网,视频换脸只需上传视频和人脸图片,AI会把上传的人脸照片替换到视频中。为了免责,不少网站都在下方用小字标注“生成视频仅供学习娱乐,合成视频不得用于非法用途,违者个人承担全部责任”。

在二手交易平台上,也有人以几元的价格售卖AI换脸、人声克隆等免费开源文件的安装包,并附有相关教程,付款后通过网盘发送。

为了规避平台的关键词识别,记者在二手交易平台搜索“AI换lian”后,看到有多个卖家,一键换脸售价均为1元左右。名为“全网项目工具箱”的商家鱼小铺在详情页面介绍称,“只需一张照片就可以替换,简单操作”“任何视频和照片都可以替换,满足一切换脸需求”,单次换脸仅需1.5元,10元就能购买年卡。

深度科技研究院院长张孝荣对记者表示,随着生成式人工智能的发展,AI技术使用难度进一步降低,不少新兴APP和主流视频软件上都增加了类似功能,普及率大大提升。如此一来,线上的“李鬼”日益增多,且愈发难辨真假。

北京社科院副研究员王鹏对记者表示,简单的AI换脸技术难度并不高,具有一定技术水平的团队和小公司依托开源软件就可以实现基础性的AI换脸。而一些精细化、与微表情密切相关的换脸,则需要具有一定的算力需求。因此,在直播中使用AI换脸软件的成本并不高,这也导致在社交媒体上、直播中出现了很多欺诈行为,侵犯了消费者的合法权益。

一键换脸真假难辨

应多渠道进行规范

近年来,各地出现了不少利用AI技术直接参与犯罪的案例,犯罪分子利用AI换脸、换声,冒充他人进行诈骗。

那么

消费者该如何识别换脸破绽

并加以防范?

中国网络空间安全协会人工智能安全治理专业委员会委员张博表示,AI换脸技术如今已经比较成熟,但还是有明显破绽,漏洞就在面部轮廓和光线上。

张博表示:“视频通话时,要仔细观察对方的面部轮廓是否存在异常模糊情况、光线是否正常。必要时可以要求对方快速大幅度地抬头、点头、转头,然后在这个过程中仔细观察面部轮廓是否有异常模糊。”

除了个人注意甄别和信息保护外,还应通过立法手段给AI技术应用套上法律缰绳。目前,我国已经出台了《网络安全法》《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等相关法律法规。国家网信办起草的《人工智能生成合成内容标识办法(征求意见稿)》目前已完成社会意见征集,该办法出台后,将进一步加强对AI生成技术的约束和规范,督促服务提供者和网络平台承担起应有的法律责任。

王鹏表示,面对每天产出的大量视频,监管的难度相对较大,因此要从软件的研发和应用以及信息发布平台的监管方面入手,规范AI技术的使用。用户使用换脸服务需要充值,不同的充值费用获得的技术权限不一样。平台应该通过后台辨别用户换脸的目的、在何种场景下使用等,软件服务方或制作方也需要承担相应的监管责任。“比如用户在直播带货中换脸明星或公众人物,那一定涉及侵权。”王鹏举例说。

记者/王小月

来源:环球网海外看中国

相关推荐