摘要：近日，互联网上一则公开信息显示，某大厂的大模型训练被实习生入侵，注入了破坏代码，导致其训练成果不可靠，可能需要重新训练。据称，遭到入侵的代码注入了8000多张卡，带来的损失可能超过千万美元。尽管后来的澄清显示该事件并未给企业带来严重损失，但攻击大模型渲染的恶意

当前，公众对大模型的期望值较高，如果所用模型无法解决数据污染的问题且训练数据存在偏差，不仅会影响输出质量，还会带来信任危机。

文｜王雅迪

当生成式大模型开始重塑千行百业时，训练大模型的数据正成为焦点。一方面是训练数据在2027年 面临枯竭的问题，另一方面就是数据污染带来的训练扭曲。

近日，互联网上一则公开信息显示，某大厂的大模型训练被实习生入侵，注入了破坏代码，导致其训练成果不可靠，可能需要重新训练。据称，遭到入侵的代码注入了8000多张卡，带来的损失可能超过千万美元。尽管后来的澄清显示该事件并未给企业带来严重损失，但攻击大模型渲染的恶意举动再次为科技企业敲响警钟，如不加以控制，类似行为可能会导致更多模型崩溃事件的发生。

该行为如果被及时发现还好，企业还可以重新训练大模型，严重的后果是，在稍晚被发现的情况下，模型可能就会对现实的认知产生扭曲。

01

大模型为何会“崩溃”？

2024年7月，英国《自然》杂志发表的一篇研究论文提到了“模型崩溃”的概念，引发了“AI圈”的广泛关注。

该论文将“模型崩溃”定义为用AI生成的数据集训练未来几代机器学习模型时，可能会严重“污染”它们的输出。在大模型进入界面应用的当下，这个问题的提出带有普适意义。

具体来讲，大多数AI模型都是通过大量数据进行训练，其中大部分数据来自互联网。最初这些数据是由人类生成，体现了人类语言、行为和文化的多样性和复杂性。AI从这些数据中学习，进而生成新的内容。

然而，当AI用网络上搜索的新数据来训练下一代模型时，很可能会吸收一些自身生成的内容，从而形成一种反馈循环，即其中一个AI的输出成为另一个AI的输入。当生成式AI用自身产出的内容进行训练时，其输出结果也会偏离现实。

企业网络安全专家联盟秘书长张威向《商学院》杂志表示，这一问题的产生和数据质量有关。当前用于训练的数据都是来源于真实世界的真实数据，因此数据质量比较高，但由AI模型生成的次级数据，与真实世界的匹配性随着数据训练的代际次数升高而不断降低，也就是越来越不符合真实世界的规律，假如没有人工监督，模型迟早会崩溃。这是目前深度学习算法的底层逻辑缺陷决定的。

大模型在训练过程中，可能会不断积累一些错误信息，最终量变产生质变。当错误信息量很小的时候可以忽略不计，因为训练过程本身就存在容错率，但积累超过临界点时就会导致整个模型出现问题，发生模型崩溃的情况。

深圳市蛟龙腾飞网络科技有限公司CEO兼CTO、华为开发者专家李洋向《商学院》杂志指出，模型崩溃有多方面原因。首先无论是大模型还是其他技术领域，都不可避免地存在一定的误差，如初次导入的数据可能已被污染，不是原始的真实数据，比如被人篡改过；其次有些数据本身带有偏向性，即便数据本身无误，但与要训练的模型不适配，不能完整覆盖模型所需要的结果，也会失去客观性；再者部分模型在结构设计上存在缺陷，模型构架本身就可能导致出现偏差。

当前，大模型应用越来越广泛，出现了很多私有化的小模型，但这些小模型收集的数据有限，无法完全捕捉到原始数据分布的所有细节，导致在训练过程中产生偏差。当这些偏差数据被二次抓取或调用，并不停进行训练时，最终可能与真实情况产生偏离。

前述“某大厂恶意代码攻击大模型事件”是人为注入破坏代码，篡改过后污染了训练过程，导致模型训练效果忽高忽低，无法达到预期效果。不过，这起事件背后仍是传统的人为攻击问题，在大模型出现之前也出现过内部人员恶意攻击数据库的事件。因此，企业需要建立严密的内部审查管理制度和相关的安全防护措施。相比于此，大模型在训练过程中的内容安全问题或许更应引起重视。

奇安信集团副总裁张卓向《商学院》杂志表示，大模型在训练中要经历强化学习反馈过程，目的是让大模型的输出和人的判断相符合，要与法律法规、伦理道德等标准一致，这就是大模型对齐要做的工作。一个被训练好的大模型所输出的内容，应符合它所训练的伦理道德和法律法规的要求。这与做强化学习反馈的人类标注的输出内容有一定的继承关系。假设训练大模型与使用大模型的人员存在宗教、价值观等方面的分歧，那么输出内容就存在不可控性。如果不经过一些特殊处理而直接沿用，大模型就可能“学歪”，这是需要注意的问题。例如，在大模型预训练和微调阶段存在的数据偏见风险，模型预训练所使用的数据集样本分布可能缺乏均衡性，包括性别、民族、宗教、教育等相关样本比例关系不当。而微调阶段可能由于人工标注员的主观意识形态偏差，引入对微调数据的构建和价值排序的偏见，从而导致微调数据存在价值观上的偏见歧视问题。

02

AI“污染”带来信任危机

大模型生成的内容质量很大程度上取决于训练数据的质量，若AI生成的虚假内容成为训练数据的一部分，会使大模型输出的内容鱼龙混杂、真假难辨，AI快速生成内容的同时，也在制造难以辨别的“信息垃圾”。

清华大学新闻与传播学院新媒体研究中心2024年4月发布的《揭秘AI谣言：传播路径与治理策略全解析》研究报告显示，近一年来，经济与企业类AI谣言量增速达99.91%。美国调查机构“新闻守卫”称，生成虚假文章的网站数量自2023年5月以来激增1000%以上，涉及15种语言。

“谣言”是AI污染的突出表现，利用AI工具造谣的乱象不断显露。近日，重庆警方公布了5起利用AI工具编造假新闻的典型案例，内容多为吸引眼球的负面事件。例如，2024年3月，涪陵区网民余某某在网络平台发布一篇题为《某地一银行遭劫匪袭击！警方通报案情，抓获嫌疑人的故事曝光》的帖文。该帖文一经发布，迅速引发网民关注和议论，影响恶劣。公安机关查明，余某某为博取关注、赚取流量，利用AI工具自动创作文章，编造了上述谣言信息。

更有甚者，利用AI软件炮制虚假交通违法处理单，达到以假乱真的效果。2024年7月，合川区网民石某在某短视频平台上发布一张交通违法处理单的图片，配文称：“开车时向女交警吹口哨，被罚款200块扣11分”，后经公安机关查明，该交通违法处理单为编造。

类似的虚假信息容易激发大众敏感情绪，扰乱社会秩序。然而，这类谣言通过专业人员求证后，可以辨别真伪，有及时纠错的空间。但需要注意的是，一旦用于学术研究的权威数据库遭到污染，辨别真伪的难度会成倍增加，对此，学术界已经释放出警惕信号。

德国蒂宾根大学数据科学家德米特里·科巴克领导的团队，分析了学术数据库PubMed中2010年至2024年6月期间发表的1400万篇论文摘要。他们估计，2024年上半年，至少有10%的生物医学论文摘要（约7.5万篇）使用了大语言模型进行写作，以大语言模型为基础的写作“助理”开始出现。

这可能引发两方面的问题，一是加剧剽窃行为，且难以界定剽窃边界；二是AI生成内容给相关领域的研究带来错误引导，而使用者可能浑然不觉。

研究人员可以将AI生成的论文标注为自己撰写的论文，或者利用大语言模型通过修改措辞、转述、同义词替换等方式，来剽窃他人撰写的内容，且不容易被判定为抄袭。

一项针对100家大型学术出版商和100家排名靠前的期刊开展的分析发现，截至2023年10月，24%的出版商和87%的期刊都制定了使用生成式AI的指导方针。几乎所有的期刊都声明，AI工具不能被列为作者。然而，在实际操作中，如何判定哪些内容是由AI生成的并非易事，利用AI转述后的文本通常与原文的相似度较低，因此很难被判定为抄袭。

AI工具会让剽窃行为变得更为容易，这不仅加剧了学术不端的现象，更大范围还会引发版权危机。因为大模型在训练过程中，可能大量使用了受版权保护的内容，却在没有提示的情况下输出给用户。此外，AI生成的研究内容本身并不能保证百分百的准确性和真实性，这也会给研究人员带来误导。

张威认为，AI的训练结果与其目标和导入数据的全面性有关，假如现在把蚂蚁的行为数据全部加入训练模型，训练出来的会是“蚁工智能”，它会像蚂蚁一样思考。人工智能的目标是让机器最终如人类一样进行思考和行动，因此，核心问题是持续向“人类”采集数据和学习，而不是让模型自行生成类似“人类”的数据进行学习，大量非“人类”产生的数据训练出来的人工智能必然存在问题。

李洋认为，技术进步带来的积极作用大过负面影响，但在发展过程中出现一些问题是必然的，关键是要保障公众的知情权，让公众知道可能存在的风险问题。当前，公众对大模型的期望值较高，如果所用模型无法解决数据污染的问题且训练数据存在偏差，不仅会影响输出质量，还会带来信任危机。尤其在医疗、交通、教育等与民众生活息息相关的领域，如果输出内容不合规，甚至与现实完全相悖，会降低公众对技术的信任度。

2022年4月，香港消费者委员会发布的一项研究显示，亚洲市场只有31%的消费者表示信任人工智能。2023年，毕马威与昆士兰大学合作，就人们是否信任人工智能开展了全球调查研究，选取了17个国家和地区超过17000人口的样本数据，结果显示，只有50%的受访者选择信任人工智能，其中人们通常不信任和接受人工智能在人力资源中的应用。

03

“死亡互联网理论”浮夸了吗？

或许正是因为这些风险逐渐显露，一种更为消极的观念近日在网络平台引发讨论。《福布斯》杂志称，“死亡互联网理论”认为，互联网上的大部分流量、帖子和用户都已被机器人和AI生成的内容所取代，人类不再能决定互联网的方向。

根据公开资料显示，该理论一部分是指机器人取代了人类在互联网上的活动，另一部分是行为者正在利用这些机器人来操纵网民。当机器人在互联网的活动超过人类时，一些人认为这就意味着互联网“已死”，而在这个理论中，互联网的“死亡”日期是2016年到2017年之间。这个日期的主要依据是，2016年安全公司Imperva（网络安全领导者之一）发布了一份关于机器人访问流量的报告，揭示机器人占据了互联网52%的网络流量。

尽管该理论经常被认为是阴谋论，但在AI内容逐渐充斥互联网的今天，该理论所警示的未来再度被提及。

张威并不认为互联网会“死亡”，他认为，未来互联网可能会分化成“垃圾互联网”和“价值互联网”。“垃圾互联网”就是人类现在活动的互联网，这之中的信息价值会不断被稀释，此外，我们会建立一个新的价值互联网，上面的信息和数据将更具价值。

硬币是一体两面的，AI如果被正向应用，也会成为得力助手。2023年，《自然》杂志对超过1600名科学家进行访谈，其中大约有三成受访者表示曾使用AI工具辅助撰写论文，15%的受访者表示将其用于帮助撰写科研经费申请书。

2024年，“人工智能+”被首次写入《政府工作报告》，有望成为学术界发展新质生产力的重要引擎。例如，大模型的出现和应用帮统计学进入了一个全新的阶段。传统的统计模型通常依赖于假设、简化和降维技术来处理高维数据，而大模型通过大量的参数和深度学习算法，能够更好地捕捉数据的复杂性和异质性。因此，大模型为统计学工作者提供了一种全新的工具，可以更精确地分析和预测经济社会系统中的复杂现象。

为了打造更和谐的“人机共生”互联网，需要用“魔法打败魔法”。例如，相比往年，2024年不少国内高校先后发文，就学生如何在毕业论文中使用生成式AI、AI代写在论文中的比例等问题作出规范，并有部分高校引入了“AIGC检测服务系统”。在传统的抄袭查重系统之外，将针对“AI内容”的检测工具应用到学术论文的检测流程之中，可以对疑似AI造假的内容进行标注，辅助审核人员进行判断。

AI检测某种程度上可以防止学生用AI代写论文，但目前AI检测功能有待提高，对于那些原创却被误判为AI写作毕业论文的学生，只能按照机器的运行逻辑修改。因此，不能过度依赖工具去解决技术带来的问题，需要培养各行各业的底线思维。

在张威看来，AI和互联网发展必然对职场就业、商业模式、生活消费、伦理道德、社会稳定等造成颠覆性影响，因此，当前最应该注意两个问题。一方面是加快AI落地，以进一步缩短新生产方式产生的时间；另一方面要研究AI安全问题，这不仅是技术漏洞、数据泄露、软硬件可靠性等问题，更应研究AI大面积应用后对政治、经济、文化、教育、军事等各方面的影响，并设置底线和红线。

9月9日，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》（以下简称《框架》）1.0版。该《框架》明确了模型算法研发者、服务提供者、用户、政府部门、行业协会、社会组织等各方在人工智能安全治理中的责任和义务，为各方提供了明确的行动指南；针对不同类型的安全风险，提出了具体的技术和管理应对措施，例如提高模型可解释性、加强数据安全保护、完善系统安全设计等。

04

提升输出质量，避免“因噎废食”

“模型崩溃”是AI发展过程中遇到的一个新挑战，在追求模型规模扩大的同时，也要关注数据的质量和模型的健康，避免过度喂养由AI生成的数据，应优先使用真实数据。

张卓指出，数据质量最终形成模型的竞争力，大模型厂商需要考虑的核心问题是提升数据质量，并应为此投入一定的精力和资金。同时，中文语料质量普遍偏低是一个不容忽视的客观事实，这与当下的互联网环境密切相关。中文语料同质化现象严重，且受到一定的网络监管。

李洋认为，提升数据质量可以从几个环节入手，首先是数据采集，要保证数据来源真实可靠，并拥有一定的范围广度；其次在数据整理过程中，要防止数据被污染；同时在训练环节要做好预防措施，比如递归训练，当模型使用自己生成的数据进行再训练时，如果生成的数据存在偏差或错误，那么这些偏差和错误就会在递归过程中被放大，可能导致模型崩溃，要思考技术进步是否会无意中增加数据污染的问题。

李洋还提醒，由于训练数据的规模庞大，且数据来源多样、复杂，要警惕数据污染的隐蔽性，一旦有虚假信息纳入基础数据源，随时有可能被提取出来，并通过算法的快速传播而放大、裂变，具有瞬间扩散的传播能量。在构建模型时，训练团队若带有个人的思想和理念，可能还会涉及模型算法的敏感性设置，这些因素都可能影响最终模型的质量。

《框架》指出，针对模型算法安全风险，应不断提高人工智能可解释性和可预测性，为人工智能系统内部构造、推理逻辑、技术接口以及输出结果提供明确说明，准确反映人工智能系统产生结果的整个过程。在设计、研发、部署、维护过程中建立并实施安全开发规范，尽可能消除模型算法存在的安全缺陷、歧视性倾向，提高系统的“鲁棒性”（即在异常和危险情况下系统生存的能力）。

加强大模型和安全产品的融合，通过数据层面的打通，能够更好地实现AI赋能安全，用AI驱动安全。目前推出大模型方案的安全厂家有很多，但能够真正落地并得到广泛应用的比较有限，这是因为AI与安全产品的融合过程存在诸多难点。

张卓坦言，实现从产品的设计、研发、测试等整个开发体系与AI深度融合，现有的产品体系需要重塑，AI环境下，各个环节都要有相应的改变。比如，过去产品经理只做功能设计，现在他们要从用户角度出发，围绕使用场景把AI贯穿其中，设计逻辑发生改变。在研发环节，研发人员需要结合提示语让大模型输出内容，但这些大模型的输出往往充满不确定性，相较于传统研发人员更多是基于算法的研发工作，这种不确定性也对测试标准体系带来新的挑战。

尽管面临着许多风险和挑战，但受访者对大模型的发展给予了鼓励。他们普遍认为，“模型崩溃”的前提是模型所有训练数据都来自其他模型多代次产出的数据集，但目前来说，该现象并不普遍。技术发展过程中存在问题无法避免，需要通过制定法律法规来加强各项监管与引导，完善相应公约、行业标准等进行技术、算法、模型的评估、认证与发展指导，同时，应支持国内自主可控的大模型发展，如盘古大模型、文心一言、豆包等。

目前，中国现有完成备案并上线为公众提供服务的生成式人工智能服务大模型近200个，注册用户超过6亿。在加速大模型的训练、调优和应用规模化落地的同时，要警惕过程中的潜藏危险。提升6亿用户对技术的认可度，并吸纳更多人主动拥抱AI新时代。

来源 | 《商学院》杂志2024年12月刊

来源：商学院杂志