摘要：无中生有的文字、移花接木的视频、捏造的图片……近年来，利用AI造谣的乱象愈发猖獗，甚至还有未婚未育者谎称“女儿‘王喵喵’被抱走”，博取大众眼球。

当前正值防汛关键期，福州永泰网民王某某为吸引眼球、博取流量，竟通过AI工具剪辑视频，散布谣言，误导防汛救灾工作。

永泰一网民编造涉汛情网络谣言。

无中生有的文字、移花接木的视频、捏造的图片……近年来，利用AI造谣的乱象愈发猖獗，甚至还有未婚未育者谎称“女儿‘王喵喵’被抱走”，博取大众眼球。

8月5日，记者实测发现，网上不乏可免费使用的“AI写作神器”“视频生成器”。输入简单指令，涉及汛情、火灾等敏感主题的虚假文案瞬间生成；炮制“正式警情通报”，AI工具亦可模仿官方口吻编造细节；甚至普通景区照片经AI处理，即可变成“桥梁断裂事故”视频。

应对挑战需要技术、教育等多轨并进。暨南大学夏志华教授团队研发了视觉深度伪造检测、溯源与防御系统；上海高中生开展“5分47秒生成虚假校园通报”实验，亲身体验发出警示。

“这是一场‘技术攻防战’叠加‘认知保卫战’。”夏志华向记者强调，唯有技术对抗、法规约束、平台治理与公众教育多管齐下，才能在算法洪流中守护人类的真实底线。

实验

高中生5分钟生成虚假通报

当一则附着“权威通报”的“上海某中学霸凌”消息在班级群里弹出，有多少人能一眼识破这是AI编造的谣言？编造这则谣言需要多长时间？近日，上海海事大学附属北蔡高级中学学生开展了一次特别实验，引起大众关注。

这则利用AI生成的通报，耗时仅5分47秒，成本几乎为零，时间地点、涉事学生姓名、伤情描述乃至法律条款应有尽有。

这次实验再次发出警示：当前，AI工具因其快捷、低成本等特点，被造谣者当作“蹭热度”引流的“利器”，更加快了谣言的生产。

更有甚者，借助AI编造政府通报、虚假警情。据云南警方披露，赵某某为博人眼球、吸粉引流，使用AI工具制作多个交通事故现场人员伤亡视频发布到网络平台，编造虚假警情，并在视频中标注“大理州”，造成当地居民恐慌，误导网民关注。经与属地交管部门核实，大理州辖区内未发生以上交通事故。公安机关依法对违法行为人赵某某给予行政处罚。

云南警方破获一起网络造谣案。

越来越多警方查处的谣言案中，都有AI的身影，且AI出现的频率逐渐频繁。这些谣言的形式多样，从简单的图文，到虚构的视频都能依靠AI生成。而这些谣言之所以泛滥，更是因为其中有利可图。

除了个人造谣外，利用AI造谣牟利还形成了灰色产业链。

2024年，公安部通报，山东枣庄公安机关网安部门查明，某传媒公司为吸粉引流，购买大量已实名登记的自媒体账号，利用人工智能工具编造谣言信息并批量发布，累计发布视频、图文300余万条。枣庄公安机关已抓获犯罪嫌疑人87名，查获违法违规账号近10万个。

开源模型的爆发式增长、云端服务的便捷化、操作界面的极简设计…...暨南大学网络空间安全学院教授夏志华告诉记者，AI的“技术大众化”趋势已不可阻挡。“对于具备基本计算机操作能力的普通人而言，获取AI生成工具并初步产出在表面感官上达到‘以假乱真’效果的虚假信息，其技术门槛已经相当低。”

调查

炮制虚假汛情视频难度低

AI工具获取是否有难度？有哪些功能？

通过关键词搜索，记者在网络上发现许多“AI写作神器”“AI视频生成器”“AI换脸”小程序、网站，其功能多样，能满足创作社交平台各类文案需求，还有图文生成视频等功能。

随机点进一个AI小程序中，在对话框内输入创作有关“汛情”“火灾”“儿童拐卖”3个不同主题文案的有关指令，同时得到了3段被扩写至100字左右不同故事情节的文案。当要求生成“警情通报”且风格“正式”的文案时，内容则会模拟官方口吻，其中还包括具体时间、地点、人数等事件细节。

另一款小程序中，要求提供以“造谣”为主题的“警情通报”文案，该工具也很快生成百字的内容。

在更复杂的视频制作中，进入一款文字生成视频的AI网站，以“汛情”为主题输入有关指令后，生成一段视频，内容为网络上几段有关汛情视频画面的拼接，其中一些还是新闻播报画面。但视频拼接并不精美，制作十分粗糙。

AI小程序快速生成的一段虚构视频画面。

同样以“汛情”有关的简单文案为指令，另一AI小程序快速生成一段虚构视频，画面中许多车被浸泡在水中，场景较为逼真。该小程序中，除了“文生视频”，还能选择“图生视频”。在导入一张景区吊桥图片后，通过简单的指令，小程序便生成了一则吊桥断裂后桥上人掉入河中的虚假画面。

以上内容的生成甚至不需要收费。这些AI工具可以直接使用，或者通过看广告获得积分的方式便能顺利使用。

在一些AI软件中，接收到生成“警情通报”图片的指令时，软件显示“无法生成”或“描述不符合平台规则”等。有AI软件提醒“警情通报的制作需要严格遵循相关规范，且警徽等元素的使用有明确的法律规定和权限要求，个人不能随意制作此类具有官方性质的通报图片，以免涉及违规使用标识等问题。”

应对

广东团队防御“深度伪造”

面对海量AI制品，普通人如何练就“火眼金睛”？

对此，暨南大学网络空间安全学院教授夏志华表示，

对AI文本制品，可留意逻辑断层或情感空洞的表述，核查事实性错误；

对AI图片制品，可关注边缘肢体畸形、光影矛盾、纹理重复等细节异常；

对AI音频制品，要注意机械平直的语调、缺失的呼吸声，对“家人出事急需汇款”类话术保持警觉；

对AI视频制品，要聚焦口型与声音不同步、眨眼频率异常、物理规律错乱（如“人物融入墙壁”）等生理矛盾。

“技术只是辅助，动态防御思维才是关键。”夏志华建议公众优先交叉验证信息来源，善用官方辟谣平台，并关注传播动机，对煽动性标题搭配的“完美内容”保持天然警惕。

但夏志华补充道，单靠人的肉眼，有时很难识别出AI虚假制品。为应对系统性风险，需构建“个人-平台-技术-监管”四维共治体系。

“个人提升媒介素养，主动核验可疑信息，切断传播链；平台承担核心枢纽责任——部署AI检测系统、落实生成内容强制标识、健全‘技术筛查+人工复核+用户举报’机制，并对造假账号实施信用惩戒；技术社区研发高泛化性鉴伪模型，公开共享前沿成果；监管部门完善立法惩治AI造假，严打跨境虚假信息犯罪。”

夏志华特别指出，2025年3月出台的《人工智能生成合成内容标识办法》已为平台责任提供了法规支撑，要求所有合法模型必须对生成内容添加水印。

为应对深度伪造带来的挑战，夏志华及其团队研究出“问答式检测系统”。

目前，夏志华和团队正致力于破解深度伪造检测面临的泛化性瓶颈。“现有算法对已知伪造数据的识别虽能突破95%准确率，却难以应对未知伪造技术的快速迭代。为此，我们通过挖掘不同伪造方法遗留的跨模型共性异常特征来提升泛化能力。”

何谓泛化能力？夏志华解释，即一个模型在面对从未见过的数据时，仍能作出准确预测或有效判断的能力。简言之，它衡量的是模型从“已知”推广到“未知”的本领。

基于现有研究进展，夏志华及其团队研发了视觉深度伪造检测、溯源与防御系统，推动检测范式从“针对单点技术”向“驱动于共性特征”的转变，“将来我们会持续推进轻量化设备部署与对抗性防御技术，实现‘检测-溯源-防御’的治理技术体系”。

展望未来，夏志华警示风险将加速升级：“最需要关注的是深度伪造技术与社会工程学结合驱动的自动化攻击。”这类攻击具备高度定制化、大规模传播特性，可能制造市场恐慌或实施定向诈骗等。

预防

提升青少年媒介素养

在识别与应对AI谣言的赛道上，正涌动着青少年探索者的身影。

《第5次全国未成年人互联网使用情况调查报告》显示，全国45.7%的青少年无法识别AI谣言，超半数（55.9%）未成年人通过短视频获取新闻。

长三角青少年文化创新研究中心主任刘俊彦揭示了AI浪潮下青少年面临的风险迷宫：未分级监管的谣言与诈骗信息在互联网肆意流动，青少年如何鉴别优质内容，提升创作品质。

面对技术滥用的低门槛困境，他们以教育破局。

上海高中生实验生成虚假通报。

在上海海事大学附属北蔡高级中学的课题实验中，教师仅提供方法论工具：指导程洋和卫子扬同学通过文献法分析谣言传播规律。当他们转向实验法验证“AI造谣成本”，耗时仅5分47秒便生成虚假通报时，教师并未干预具体操作。

“我们期待形成全国范围内的媒介素养教育体系，包括符合联合国教科文组织学生AI能力框架的伦理与技能等专家课程、对青少年的健康网络习惯养成具有指导意义的家庭教育指南。在数据条件允许的情况下，探索权威信源库或区域性验证工具也是很好的方向。”刘俊彦说道。

当AI生成谣言的时间单位精确到秒，刘俊彦等教育者们给出应对公式：工具理性+批判思维+多方协作。

正如那份用5分47秒实验得出的假通报带来的警示——唯有保持清醒的认知，才能打破信息迷雾。

免责声明：文章内容如涉及作品内容、版权和其它问题，请在30日内与本公众号联系，我们将在第一时间删除内容。

东区对青年更友好

青年在东区更有为

全力推进青年发展型城区建设

打造青年心生向往、人生出彩的

产强城优人民幸福的现代化区域中心城区

东区一直在路上

欢迎广大青年

来到东区、融入东区

与青春东区来一场“双向奔赴”

来源：love二胡