摘要：近年来，人工智能、大数据分析等前沿技术的应用与发展，尤其是生成式人工智能大模型的快速发展，加快了人—网络平台—物理空间的三元融合发展的趋势，促使物理空间、网络空间和认知空间的交织融合。网络空间认知领域存在恶意信息多、个体信息易泄露、信息传播易操纵等诸多安全风险

编者荐语

本文尝试深入剖析基于生成式人工智能的安全防御技术，探索如何利用这一前沿技术的强大能力，为网络空间认知领域构建起一道坚不可摧的安全防线。

摘要

近年来，人工智能、大数据分析等前沿技术的应用与发展，尤其是生成式人工智能大模型的快速发展，加快了人—网络平台—物理空间的三元融合发展的趋势，促使物理空间、网络空间和认知空间的交织融合。网络空间认知领域存在恶意信息多、个体信息易泄露、信息传播易操纵等诸多安全风险，极易传导至物理空间引发社会问题。基于“人工智能+”的思想，尝试分析基于生成式人工智能的安全防御技术，为促进未来网络安全产业发展提供新思路。

论文结构

0引言

1认知域面临的主要技术风险

1.1恶意信息

1.2信息操纵

1.3网络水军

2认知域安全防御技术

2.1 恶意信息检测

2.2 传播影响力预警

2.3网络水军识别

2.4开源情报生成

3对产业发展的促进

3.1 认知域安全产业需求明显

3.2 认知域安全防御技术转化可行

3.3认知域安全产品初见成效

4结语

0 引 言

社交网络、短视频等网络媒体平台的快速发展与应用，使得网络空间成为信息传递、思想交流的主阵地。由于网络空间上的意识形态渗透具有成本低、代价小、难溯源等特点，结合数据分析、人工智能、卫星通信等新一代信息技术的融合应用，以美国为首的西方国家正逐步将认知作战的主战场从物理空间转移到网络空间。网络空间的认知域安全与政治安全、军事安全等各领域安全相互影响、联动保障，逐渐成为保障国家安全的重要组成部分 。快速发展的生成式人工智能技术，在给网络空间认知域安全带来风险挑战的同时，也为网络空间认知域安全防御提供了可能。

1 认知域面临的主要技术风险

在国际竞争日益激烈的大背景下，以美国为首的西方国家为实现其政治目的，组建专业的作战力量，在网络空间通过渗透与反渗透、干预与反干预、控制与反控制等认知战行动，影响他国民众的心理状态、价值观和行为决策。例如，美国成立专门的网络作战司令部，整合各军种认知作战力量；英国成立第 15 心理作战群，开展战场心理作战活动。近年来，网络空间面临的认知域威胁比以往更严重。从技术角度来看，网络空间认知域的安全主要受无处不在的恶意信息、隐蔽无形的信息操纵、真假难辨的网络水军等因素的威胁。

1.1恶意信息

物理空间中存在政治宣传、认知战、商业营销、诈骗传销等多种意图，这些意图会在网络空间中产生大量的虚假新闻、诈骗信息、掺杂诱导性内容的事实阐述、阴谋论等恶意信息，进而影响民众的认知域安全。

生成式人工智能技术的发展与应用也给恶意信息的制造带来了一定的便利。随着美国开放人工智能研究中心（OpenAI）的“ChatGPT”、谷歌公司的“Gemma”、百度的“文心一言”、阿里巴巴的“通义千问”等智能大模型的推出和升级迭代，使得文本、图片、视频等内容的自动生成过程朝着效率越来越高、成本越来越低、真伪性越来越难以区分等方向发展，进而导致网络空间认知域风险越来越高。

1.2信息操纵

国家、媒体平台、商业团体等组织为实现其政治、影响力、盈利等目的，利用人工智能、大数据分析等技术在网络空间实施信息操纵，影响公众的舆论、态度和行动。信息操纵包含用户特征画像、群体精准传播等关键环节。其中，用户特征画像主要是使用技术手段对网络主体的活动轨迹、行为方式、特点等进行数据化表示，最早被应用于电子商务的个性化推荐、针对性营销与服务等领域，后来被广泛应用于信息操纵、图书推荐、电子商务、旅游管理等领域。群体精准传播主要使用人工智能、机器学习等技术手段对目标群体进行建模，根据不同群体的特点，针对性地选取信息传播的内容数据、传播源、传播路径等，进而实现对特定群体的大面积、快速传播的目的。

2016 年的美国大选就是信息操纵的真实案例。大选前，剑桥分析公司在社交媒体平台“脸书”上获取了约 5 000 万个注册用户信息，融合 2007 年“脸书”上以“学术”为名收集的上千万用户的心理测试数据，分析脸书用户的心理特征和政治倾向，得到用户的特征画像。大选期间，剑桥分析公司实时收集用户言论，分析用户的支持倾向，基于用户的特征画像结果，使用智能技术向潜在支持民众、中立民众等不同类型群众精准推送定制化的竞选广告，致使一些民众的认知心理发生变化，进而左右民众的投票结果。

1.3网络水军

在流量至上的互联网思维主导下，基于自主机器人、生成式人工智能等技术的网络水军应运而生。网络水军是指具有特殊目的的公关公司或组织，根据雇主或者委托方的需求，在网络空间中伪装成普通网民，针对特定内容、特定人群、特定话题等，发布、回复或者传播网络内容以炒作某个话题、人物或事件，进而达成影响网络空间用户认知、情感、行为、舆论倾向等目的的群体。

网络水军已经发展成为一种黑色产业链，给网络空间舆论环境、市场经济秩序、社会稳定甚至国家安全造成了严重的威胁。2013—2014 年，中央广播电视总台“3·15”晚会连续 2 年曝光网络水军黑色产业链。从作案工具来看，网络水军产业涉及隐藏真实身份的手机黑卡、网络 IP 地址秒拨工具、全球定位系统（Global PositioningSystem，GPS）定位模拟器、智能终端控制器，以及包含用户账号信息的智能终端设备等多种现代化工具。从技术特点来看，网络水军可以是各行业的普通用户，甚至是非自然人的社交机器人，其对计算机理论、内容制作、信息传播等行业知识的要求门槛低，可以通过在多个网络平台择时活动、模仿真实用户网络轨迹等方式隐蔽网络水军行为。

2 认知域安全防御技术

近年来，以生成式人工智能为代表的前沿技术的发展给网络空间的认知域安全带来了风险挑战。从解决技术问题的角度来看，生成式人工智能技术在网络空间认知的安全防御应用研究方面崭露头角；从学术研究的角度来看，生成式人工智能技术为网络安全技术产业的发展提供了新的思路。本文主要从恶意信息检测、传播影响力预警、网络水军识别、开源情报生成等方面，总结生成式人工智能技术如何用于认知域安全防御。

2.1恶意信息检测

恶意信息通常具有内容颠覆性、情感极端性、阴谋诡辩性等特点，极易吸引人的眼球，通过社交媒体平台，这种“病毒式传播”方式能够在短时间内形成流行趋势。从网络空间认知域安全防御的需求来看，快速准确地检测出恶意信息，并在其传播早期采取相关管控手段，能够尽可能地减少受影响的人数，提高防御效果。从技术角度来看，生成式人工智能技术可以从 2 个方面实现恶意信息检测。一是生成恶意信息，提高恶意信息检测大模型的准确率。GPT、Sora 等生成式人工智能大模型，能够生成涉及领域广、规模大的文本及音视频类恶意信息数据样本，借助对抗神经网络技术训练这些样本数据，能够训练出恶意信息检测准确率高的大模型。二是提取恶意信息特征并对其进行分类。与传统手工提取恶意信息特征的方法相比，利用生成式人工智能技术自动学习恶意信息特征的方法能够节省大量的人力和时间消耗，并且能够处理更复杂的恶意信息。

在具体实现上，生成式人工智能在恶意信息检测中的应用可以结合自然语言处理、图像识别等其他技术手段。例如，对于恶意文本信息的检测，可以利用自然语言处理技术提取文本中的关键词、短语和语义特征，然后利用生成式人工智能进行特征匹配和分类。对于恶意图片和视频的检测，可以利用图像识别技术提取图像和视频中的特征，然后利用生成式人工智能进行异常检测和分类。

当前，国内外已出现一些基于生成式人工智能的认知安全防御技术工具。人民日报社成立的传播内容认知国家重点实验室发布了深度合成内容检测工具“AIGC-X”，该工具使用生成式人工智能技术从文本内容中捕捉困惑度、突现频次等隐式特征，能够学习到机器生成文本与人工生成文本的分布差异。此外，机器生成内容检测工具还包括普林斯顿大学推出的专门检测教育行业机器生成内容的 GPTZero 工具、美国创业公司推出的专门用于检测英文机器生成内容的 WordAi 工具等。

2.2传播影响力预警

从认知域面临的技术风险来看，有目的的信息操纵会在短时间内产生大规模的舆情传播现象，具有危害范围广、极易传导至物理空间、易引爆次生舆情事件等特点，对舆情传播的影响力预警能够为信息操纵的及时发现、处置赢得时间。

从技术角度来看，生成式人工智能技术可以从 2 个方面实现传播影响力的预警。一是预测传播规模。借助循环神经网络等深度学习技术，设计能够模拟泊松过程等传播机制的数学模型，试图保留传播规律、传播影响力等主要特点，通过现有传播数据训练模型，以达到预测传播规模的效果。二是预测传播路径。首先，收集文本、图片、视频、社交媒体互动等多种形式的传播数据；其次，基于生成式人工智能网络结合用户之间的关系、传播时间等信息，从这些数据中学习信息的传播模式、用户的行为习惯和兴趣偏好等特征；最后，基于学习到的数据特征，生成式人工智能能够生成与现有内容相似或全新的内容，并通过模拟用户的反馈和行为预测这些内容的传播路径。

国内外对传播规模和传播路径的预测研究开展较早，主要基于特征工程、随机过程、图表示、深度学习等方法，对传播规律、用户特征、群体行为等进行建模，并根据所学到的模型预测传播规模和路径。与其他方法相比，基于深度学习方法的模型在通用性、对传播规律与用户的特征提取能力、预测准确率、预测效率等方面更具优势，因此，该方法颇受广大学者的关注。

基于“变换器”模型（Transformer）、生成式对抗网络、变分自编码器等生成式人工智能技术，作为深度学习的一种，也逐渐被广大学者所关注。该技术被用于对传播行为、用户特征等数据进行建模，以预测传播规模和传播路径。

2.3网络水军识别

早在 2014 年，国内学者就阐述了网络水军的识别技术，并将其划分为基于内容特征的识别技术、基于环境特征的识别技术和基于用户特征的识别技术 3 大类。

随着互联网平台与智能技术的协同发展，网络水军识别面临一系列技术挑战。一是微博、短视频平台、知识问答平台等多种社交网络平台在网络空间齐头并进，传统网络水军识别技术通常是针对某一类社交网络设计的，其平台迁移能力较弱。二是生成式人工智能技术的应用降低了网络水军快速生成语料库、制定传播策略的门槛。三是随着各大网络平台加深对用户隐私的重视，网络用户的特征数据更难获取。四是网络水军借助智能化工具模仿真实个体的网络行为，提升了对开源数据的水军标注的难度，导致网络水军更难识别。

国内外已有学者尝试使用深度学习，尤其是生成式人工智能技术，探索解决传统方法难以处理的网络水军识别问题。生成式人工智能在识别网络水军方面，其关键技术路线可以概括为以下几个步骤：一是数据收集与预处理。收集社交媒体帖子、评论、论坛讨论等网络数据，并对这些数据进行去除噪声、标准化文本、标记已知的水军账号等预处理。二是特征提取。使用自然语言处理技术，从文本中提取词频、短语、句法结构等关键特征。从发布时间、频率、内容主题等，提取网络水军的行为模式。三是生成式模型训练。利用收集到的数据和提取的特征，构建生成式模型，学习正常用户和网络水军的行为模式和文本风格，以生成新的、类似的数据。四是异常检测。通过生成式模型生成正常用户与水军行为的模拟数据，将其与实际数据做对比，通过甄别异常行为或文本，达到检测网络水军的目的。

相比于传统的机器学习等方法，生成式人工智能技术在处理网络水军识别方面具有一定的优势。一是生成式人工智能技术在特征提取和学习模式方面效率更高、提取的规则更多、更易迁移到其他社交网络平台。二是生成式人工智能能够处理和提取文本、图像和语音等多元复杂数据中的特征，使得生成式人工智能技术在社交机器人检测中具有优势。三是生成式人工智能技术在许多情况下能够胜过传统的机器学习分类器，特别是在识别具有人类行为特征的社交机器人时，生成对抗网络等生成式人工智能技术具有较高效率和准确率。四是网络水军数据集是提高算法模型识别结果有效性的重要因素，生成式人工智能技术可用于从用户行为、用户特征等不同角度大规模生成可用数据集，能够解决标注数据缺失问题。

2.4开源情报生成

在网络空间安全领域，开源情报不仅是情报获取和分析的重要手段，更是构筑立体化、智能化安全防护体系不可或缺的基石。搜集、加工、生成开源情报能够在早期洞悉网络空间的安全风险，为防范化解认知域安全威胁提供时间优势和决策依据，是智能媒体时代网络空间认知域安全的关键资源。

网络空间开源数据规模爆发式增长，传统的以人工编目汇总、分析的方法难以满足现代情报生成需求。同时，相比于传统的机器学习、统计分析等方法，生成式人工智能技术具有高度自动化、智能化的特点，不仅能够理解情报文本的表面含义，还能通过跨文本、跨语言的情报关联手段分析情报数据的潜在关系和隐含意义，在减少人工参与、节约人力成本的同时，通过持续的自我迭代学习提升对复杂问题的理解和应对能力。

生成式人工智能在开源情报生成中的应用主要涉及文本摘要生成、文本翻译等。从技术角度来看，文本摘要生成主要基于 Transformer 架构捕捉文本中的序列依赖性和上下文信息，能够用于情报数据中的新闻摘要、文章概要、社交媒体内容提炼等场景；文本翻译也基于 Transformer 架构，捕获情报数据文本中的上下文信息，并生成流畅、准确的翻译。

以大语言模型 ChatGPT 为代表的生成式人工智能技术在金融、科技、教育等众多领域的通用性，以及在处理生成文本、图表、视频、代码等多源数据方面的能力，促使国内外学者积极探索融合生成式人工智能技术的开源情报处理、生成等问题。例如，Pęzik 等人基于谷歌 T5 模型框架，在开源数据语料库上，研究文本翻译、基于短文本的术语抽取等多任务情报处理问题；Hassanzadeh 分析 ChatGPT 等生成式人工智能技术对人员、企业和组织的知识管理影响，认为生成式人工智能将对未来知识情报管理产生重大变革；夏汇川等人从问题分类法视角评估生成式人工智能在情报工作中的应用效能，分析了生成式人工智能对情报工作者的优势和局限。

3 对产业发展的促进

生成式人工智能技术给网络空间安全带来了风险与挑战，为确保网络空间认知域安全，可以从技术对抗技术的角度研发相关防御技术，这将进一步促进网络安全产业的发展，同时将推动网络空间认知域安全防御技术融入网络安全产业的范畴。网络空间的认知域安全已经上升到国家安全战略的层面，是国家整体安全的重要组成部分。随着各国加大对网络空间认知域安全的重视，网络空间认知域安全防护也将逐步落地见效。2024 年中央经济工作会议强调：“以颠覆性技术和前沿技术催生新产业、新模式、新动能，发展新质生产力。”以生成式人工智能为代表的前沿技术有望催生一批未来产业，同时对网络安全产业产生深刻影响，因此洞悉网络安全产业的未来发展并进行前瞻性布局具有重要意义。

3.1认知域安全产业需求明显

从产业需求来看，网络空间认知域安全防御不仅是政府、军队等国家相关部门的战略所需，也是跨国公司、国际组织等实体维护其金融、消费市场、企业形象、国际商贸合作等领域利益的关键，因此，网络空间认知域安全防护的产业需求逐渐显现。以近年来我国遭受的多起由美国发起的认知战为例，美国在国际舆论场炮制关于我国“一带一路”倡议、“经济崩溃论”等议题，是对我国恶意的污蔑和抹黑，这类行为在威胁我国国家战略利益和总体安全的同时，也给相关涉华企业和组织的海外贸易、金融借贷等业务带来负面影响。由此看来，无论是国家，还是企业、行业组织，都将是网络空间认知安全防御类产品的潜在用户群。

3.2认知域安全防御技术转化可行

从技术可行性来看，本文分析了生成式人工智能在恶意信息监测、传播影响力预警、网络水军识别、开源情报生成等网络空间安全认知防御领域的应用可行性，国内外已有学者开展了基于生成式人工智能技术的理论研究探索，形成了一些算法模型，从理论上论证了基于生成式人工智能技术的可行性及与传统技术相比的优势。未来，随着全球对生成式人工智能技术研究的进一步深化，有望推动网络空间认知域安全防御研究与之深度融合、快速发展。

3.3认知域安全产品初见成效

从产品落地来看，网络空间认知安全防御相关产品已初现端倪。例如，美国圣母大学推出了虚假信息预警系统，该系统能够识别被恶意篡改的图像、视频和虚假信息等，随后美国圣母大学在 2019 年印度尼西亚大选中测试了该系统。哈弗工学院与国际商业机器公司研究院的专家联合推出了机器生成文本的检测工具“GLTR”，该检测工具能够用于识别人工智能生成的虚假文本、误导性文章等恶意内容。百度推出智能云，能够识别伪造篡改。阿里云推出智能内容风控服务，能够深度理解并分析文本、图像等内容，快速识别出涉恐、恶意推广等恶意信息。新浪微博与公安机关建立了水军线索上报机制，借助智能手段开展新浪微博平台上的水军识别工作，为公安机关提供水军黑产相关线索，协助侦办网络安全相关案件。中国知网推出舆情情报决策服务平台，能够实时监测网页、微信、微博等舆情信息，智能分析网络空间发生的事件、事件发展趋势、信息传播路径等，支持短信、微信等多种形式的预警推送，并智能化生成舆情传播情报分析报告。相信随着全球对网络空间认知域安全市场需求的增长，网络空间安全认知域安全防御的产业链将逐步完善、产品种类将逐渐增多，产品可用性和易用性也将随之提高。

4 结语

技术的发展往往具有两面性，生成式人工智能等前沿技术在给人类的科研、文字整理、文学创作等方面带来便利的同时，也使得网络空间认知领域的安全风险进一步加深。从技术角度来看，网络空间认知域所面临的风险挑战，可以通过融合生成式人工智能技术以强化风险应对能力。随着全球对网络空间认知域安全的需求拉动、生成式人工智能的技术发展驱动，以及技术落地产品的效果推动，未来网络空间认知域安全防御将发展成为网络安全产业的一个重要分支。

引用格式

刘超超 , 陈雪 , 肖冰 . 基于生成式人工智能的网络认知域安全技术 [J]. 信息安全与通信保密 ,2024(8):41-48.

作者简介

来源：信息安全与通信保密