数字法治｜高阳、余圣琪：算法治理年度观察报告（2024）

摘要：伴随着生成式人工智能算法的蓬勃发展，带来了社会、法律、生产方式等诸多方面的变革。人工智能算法与电力或互联网相比，在提高生活水平方面成效更为显著，但它带来的风险可能比核武器更严重。2024年被誉为生成式人工智能算法规制元年，多个国家、地区出台了相关政策、法规，规

作者：高阳，法学博士、博士后，上海对外经贸大学法学院副教授。余圣琪，法学博士，上海政法学院讲师、华东政法大学博士后研究人员。

伴随着生成式人工智能算法的蓬勃发展，带来了社会、法律、生产方式等诸多方面的变革。人工智能算法与电力或互联网相比，在提高生活水平方面成效更为显著，但它带来的风险可能比核武器更严重。2024年被誉为生成式人工智能算法规制元年，多个国家、地区出台了相关政策、法规，规制生成式人工智能算法带来的负面影响。更有诸多高校发布“AI禁令”，明确禁止学生在特定课程中使用生成式人工智能完成作业，以规范大学生对AI算法的使用。新技术的飞速发展往往会诱发“科林格里奇（David Collingridge）”困境——技术发展初期为了刺激其快速发展，往往会忽视对其的规制，待技术的负面影响大规模显现时，此时规制的成本畸高，规制效果难以达到理想状态。面对技术发展与法律规制之间的难题，需先明晰人工智能算法发展所带来的社会变革及法律风险，方能提出针对性的治理方案。

一、算法演进的社会影响

ChatGPT的横空出世，激发了生成式人工智能应用的蓬勃发展，各大互联网公司纷纷推出大模型应用，如阅文妙笔、豆包、讯飞星火等。相较于过往的APP，大模型的用户群体超越了年龄、职业、地位的界限，从未成年人到高校大学生再到人工智能从业人员等，用户群体广泛扩大。随着大模型应用的不断普及，其所带来的社会影响正逐渐凸显。为厘清算法演进所带来的社会影响，本报告采取问卷调查法、文献分析法、比较研究法从社会认知、社会结构、人机关系三个方面进行梳理、总结。

（一）算法提升社会认知

生成式人工智能（Generative Artificial Intelligence ，简称GenAI)是当前算法演进的最高阶，凭借其“指令—生成内容”简单的操作方式及多模态的泛化能力，迅速覆盖文学创作、图像生成、艺术设计、科学研究等多个领域，在各行各业中也被广泛应用。据美国学者Gartner预测，到2026年将有超过1亿的用户使用GenAI帮助他们完成工作。麦肯锡研究报告指出，GenAI的63种应用若被全部实施，其可为全球经济增加2.5万亿至4.4万亿美元的价值。伴随着GenAI应用的社会占有率逐渐增加，用户对它会产生怎样的认知，未有研究予以说明。

本报告通过实地考察、深度访谈及调查问卷的方式获取了实证数据，调研的样本广泛覆盖了高校在校师生、艺术创作者、人工智能从业者、互联网公司法务服务提供者等多元主体，共收回有效问卷306份，其中未成年人占比不到1%，35岁以下占比约56%，剩余为其他年龄段的占比。通过对调研所获数据的分析，得出以下结论：第一，社会公众对GenAI的认知显著提升。调研对象中约30%的群体非常了解GenAI，并在日常生活中频繁使用；约46.6%的调研对象对GenAI有所了解，并会偶尔使用；仅有23%的调研对象并不了解GenAI，亦不会使用。（图一）对于2022年11月30日“出生”的ChatGPT，仅用了不到2年的时间，ChatGPT类的GenAI应用已建立了约80%的用户群体，其速度与广泛程度令人震惊。

（图一）

第二，生成式人工智能生成内容（Artificial Intelligence Generate Content ，简称AIGC）的类人化程度提高，但用户可识别AIGC中存在的明显逻辑、内容错误（图二）。GenAI类人化程度较高，可以模仿人类表达的习惯，生成与人类作品外观高度一致的内容。但是，囿于GenAI算法自身的局限性，会生成逻辑错误的内容。对于这类存在明显逻辑、内容错误的内容，调研对象可清晰辨别出其是人工智能生成的内容而非人类的作品。但对于不存在明显错误的内容，基于“作品外观主义”，用户很难分辨出其与人类作品间的区别。

（图二）

第三，AIGC生成内容同质化程度畸高，需要用户经过多次迭代方能生成区别性内容（图三）。大模型以海量数据为学习样本，以统计学为学习方法，其生成内容的逻辑是以提示词为基础，结合上下文语境分析最合适的词语或图片，因此，大模型生成的内容是人类普遍习惯的表达，70%的调研对象认为下列图片同质化程度较高，需要经过用户多次迭代、筛选、修正，方能生成具有区别性的内容。

（图三）

生成式人工智能在提高人类创作速度与效率的同时，以输入提示语—输出内容这一简捷的操作方法，显著地降低了人类获取知识的时间成本，更容易滋生人类对大模型的依赖性。正因如此，多所高校联合发文，禁止大学生使用AI，防止其养成学术惰性。经济合作发展组织（Organization for Economic Co-operation and Development，简称OECD）的研究报告指出人工智能算法为人类带来了广泛的益处，包括提供了更好的工作机制，亦带来了社会结构的变革及诸多风险。下文将对人工智能算法带来的社会变革进行深入的分析与讨论。

（二）算法变革社会结构

2021年，美国社会学教授马里恩·弗尔卡德（Marion Fourcade）在《算法控制的社会》一文中首次提出“编码精英”通过算法控制、改变着人类生活。算法不仅重塑着我们的生活及生产方式，更是对社会分层和就业结构产生了深刻而复杂的影响。它通过自动化和智能化的手段，为人们的工作带来了便利，优化工作效率，减少人力成本和提高生产效率。掌握算法技术的“编码精英”作为新的社会阶层，可能会获得更多的资源和机会。而AI技术的普及与应用使得传统的工作岗位被取代，导致部分人员失业的同时，亦孕育了新的就业机会。

第一，算法创造新的社会阶层。伴随着“编码精英”这一社会阶层的兴起与发展，他们占据了数字化社会的高层，包括：软件开发工程师、科技公司CEO、投资者、计算机科学与技术学教授等与人工智能产业相关的人员。他们掌握了计算技术，就意味着被赋予了特殊的权力，这些权力，通过政治、经济等多个方面予以体现。在政治层面，随着人工智能在政府管理、公共服务等领域的应用，自动化决策影响着权力的行使。基于大数据和人工智能技术的决策算法在一定程度上替代部分人工决策，改变政府部门和公共机构权力分配和决策机制。但是，公共大模型的算法决策在实践中存在公平性的问题。囿于算法决策依赖于数据的广度及质量，训练数据集合中，对不同代表目标群体的数据关注较少，仅是通过用户数据、网络爬虫、人工搜集等方法，难以实现数据的广泛性及多样性。例如，广泛用于训练人脸识别系统的数据集及警务数据，很可能因为数据多样性不足而具有偏见和错误。以此类数据应用于预测犯罪及执法等领域，不免出现“冤假错案”。在经济领域，人工智能算法的应用加剧了城乡与区域经济发展的差异。城市地区基于完善的基础设施、人才资源储备丰富，更易于吸引人工智能企业和项目落地，从而获得更多的发展机会。而农村、偏远地区和一些欠发达地区由于环境、技术、资金和人才的缺乏，数字化技术的应用及发展相对滞后，进一步加大城市和区域间的经济差距。在人工智能时代，拥有代码权力的“编码精英”们作为新的社会阶层，指挥、塑造着人类世界。

第二，算法诱发人类就业危机。人工智能算法以迅雷不及掩耳之势席卷了各行各业，加速了人类社会数字化转型的进程。过往的智能技术倾向于取代人类的体力劳动，将个体从低效、重复的劳动中解放出来。现如今，生成式人工智能算法的出现，使这种自动化逐渐走向一些复杂的体力和脑力劳动。诸多传统行业，如客服行业、投资顾问、物流行业、新闻行业等，人类劳动者逐渐由人工智能取代。以新闻行业为例，传统的新闻报道依赖于人类记者亲身走访现场，搜集、撰写新闻稿件，花费大量的时间及人工成本。当下，AI写作助手正逐渐应用于新闻行业。它可以根据预设的算法模块，快速生成简单的新闻报道，如财经新闻中介绍股价变动的报道、体育赛事中文赛实况和比分的报道等。由于AI写作助手可以实时搜集网上数据，按照新闻报道的写作范式整合相关信息，大大提升了新闻产出的速度。据《科学》杂志报道，ChatGPT在节约40%的写作时间的同时，输出的质量提高18%。不可否认，人工智能算法对就业市场的影响是一把双刃剑，替代传统岗位的同时，亦创造了新的就业机会。如在医疗领域，传统的影像诊断需要医生们凭借自己的专业知识和经验，花费大量的时间查看X光、CT等影像片子，面对每天成百份影像资料，影像诊断医生不堪重负。而AI技术应用于影像诊断，能够快速精确地识别出影像中病变特征，在一定程度上减少了影像诊断对初级医生的依赖。但是，对于一些疑难杂症的诊断，依然需要影像诊断高级专家，而使高级专家的作用愈发凸显。对于AI医疗模型的训练，AI医疗数据标注员和AI医疗系统训练师应运而生，作为新的岗位需要具有相关知识的人员予以胜任。由此，在一些需要初级智力劳动或体力劳动的行业，AI可以取代人类劳动者。但是，对于AI的数据、模型的训练，更是创造了新的就业机会，需要AI数据标注人员、AI数据训练人员、AI伦理师等。面对AI对就业市场带来的变动，需要人类劳动者转变思路，形成与人工智能算法协作的劳动方式，学会应用、驾驭AI，提高劳动者自身的数字能力。

（三）算法重塑人机关系

当前，我们正处于历史的十字路口，亲身经历着社会结构在人工智能算法推动下出现新的分化与整合，人机关系也在算法和智能交互的浪潮中不断演化。AI智能体从传统的工具性演变为与人类的伙伴关系，人机关系从冲突向融合转变，即从“以人为主、机器为辅”转变为“人机并重”。算法演进重塑人机关系主要经历了以下3个阶段：

第一阶段，以人为主体、以机为客体的人机二元结构。机器被发明、创造之初，仅仅被视为辅助人类劳动的机器，并不具有智能性、类人性或自主性。以人类创作过程为例，照相机的发明，帮助人类记录自然风光，相较于传统的绘画创作，更能真实、便捷地捕捉精彩瞬间，因此，摄影作品获得保护成为一种新的作品。照相机这一创作工具亦随着技术的发展迭代优化，但其并未产生自主性，仍需要人类设置好参数、按下快门。即使由机器依据时间、光线等外在因素自动调节或优化参数设置，何时何地拍何物仍由人类决定。此时，机器仅是人类生产、生活的机械性工具，并未产生消解人类主体性的威胁。

第二阶段，机器的主体性逐渐凸显，人机关系经历冲突、磨合逐渐走向共为主体。在这一阶段，机器在生产过程中起到主要作用，人工仅是机器的辅助。人类通过智能技术使自身能力得以延伸，技术在赋予人类新的认知世界、改造世界能力的同时，也在无形中削弱了人的自主性。机器为人类的生产、生活提供了便捷，但智能体自主性的产生使人机关系产生了异化。人类的主体地位逐渐下降，机器的地位与日俱增，本是工具客体的技术日渐成为主体，人类面临被工具化的挑战和威胁。学者依据访谈、调研资料梳理了新天钢数字化转型中人机关系重塑的动态演进过程，指出新天钢在人机冲突事件触发下经历磨合、互补、协同三个阶段，实现了人机关系重塑，由人机冲突渐进式成功转变为人机融合。如上述调研报告中显示，AIGC虽然可以依据用户一条指令快速生成内容，但是该内容同质化现象严重，需要人类作者调整参数多次迭代方能生成区别化内容。生成式人工智能智慧的激发需要人机协同合作，形成人机融合的创作关系。

第三阶段，人机关系超越了附属关系，转向人机互促的共生关系。实践层面，随着脑机接口技术、人形机器人技术的发展，“赛博格身体”（Cyborg Body）、具身化人形机器人的出现，彻底打破了人类与机器间的界限，人类与机器发生的融合，其关系也将被深刻改变。今天，穿戴设备、智能传感器等技术，正在促进人的赛博格化，人的身体机能、活动状态、思维变成数据映射到虚拟世界，人和信息的界限亦在不断模糊，“当人工智能按其‘应然状态’发展时，其与人类的双向结合绝不会导向‘人类＋机器’的结局，而是在物质层、交互层以及虚拟层上极大地增强人类的本质性力量，形成一个作为整体的‘真正的人＋应然状态的人工智能’的‘身体’。”

算法智能化的不断深化，人机关系将在不断地冲突、对抗、融合、共生中发展。人与智能体之间可以相互塑造、彼此成就，形成良性的人机关系。其关键在于人类如何“接纳”智能体并与技术“和解”，从而在精神层面与外在互动中实现人机的和谐共生。人类需要在人机的交互下，融入人的意识、智慧和价值观，使智能体成为与人类共生发展的伙伴。

二、算法演进的法律风险

算法技术不断迭代升级，引发社会变革的同时，亦引发诸多法律风险。从当前的司法实践来看，算法诱发的法律风险主要包括数据训练阶段可能侵犯著作权，算法生成的内容可能带来意想不到的损害，包括生成内容侵犯著作权、引诱用户自杀等。算法更是可能作为犯罪的工具，被滥用于换脸诈骗、合成淫秽图片等犯罪行为。随着算法产品应用的深度和广度的提升，将会有越来越多的法律问题显现，不断考验着立法者、司法者的智慧。

（一）算法训练诱发侵权风险

从算法运行的周期来看，其需要数据训练以获取知识，通过奖励—惩罚机制验证学习效果，与用户互动以获取运行数据优化算法结构，特别是数据训练这一过程，是算法获取初级知识及形成逻辑范式的基础，用于数据训练的数据质量、代表性、多元性等决定了算法模型的好坏。数据训练阶段一方面基于“大力出奇迹”的涌现规则，另一方面为了防止“垃圾进、垃圾出”的现象，海量个人信息、作品作为数据训练的养料投喂于大模型之中。由此，在数据训练周期中，存在诸多法律风险。

第一，未经许可使用作品训练大模型，易引发著作权侵权风险。全球多个国家及地区已发生版权人、作家协会与人工智能企业间的诉讼。法国竞争管理局对于谷歌公司未经许可擅自使用作品训练大模型的行为，开出2.5亿欧元的罚款。德国汉堡法院则在Kneschke诉大型人工智能开放网络LAION案中做出了不违反著作权法的判决，主要原因在于LAION是一家提供数据库用于大模型训练的非盈利性机构，其免费向所有研究人员开放数据库的非商业性行为，满足《德国著作权法》第60条的侵权例外规定。面对数据训练阶段作品使用行为，学者依据人工智能的类型将其分为决策式AI和生成式AI，基于不同类型AI数据训练的机理的不同，决策式AI数据训练并不违反著作权法，而生成式AI以泛化、记忆为基础，数据训练的过程可能侵权版权人的复制权、改编权。因此，在数据训练阶段，应遵循合法采集规则，尊重在先的著作权人。亦有反对者认为，生成式AI数据训练中对作品的使用仅是生产过程的中间性使用，应被视为“非作品使用行为”而不受著作权人的规制。为了满足大模型训练对海量高质量作品的需要，学者指出有必要建立机器学习合理使用条款，以明确大模型对作品使用的合法性。第二，“告知—同意”及相关配套规则的严格适用，导致数据训练中个人信息侵权风险激增。依据《个人信息保护法》第13条第1款第2至7项规定的情形，利用已公开个人信息虽然不以取得个人同意为前提，但若超出合理范围对个人权益造成重大影响而未取得同意时，亦可能构成侵权。而对未公开个人信息而言，只有在特殊情况或为了维护公共利益或其他更高位阶的利益时，方可不适用“告知—同意”规则，否则数据获取方亦可能构成侵权。为了给人工智能技术发展提供高质量数据训练语料库尤其是中文语料，多有学者指出，基于“包容审慎”的基本风险规制理念，通过宽松解释“公开目的”将已公开个人信息的使用纳入其中，未公开个人信息则通过宽松解释目的限制原则、调整“告知—同意”处理规制，缓解大模型服务提供者获取数据之困境。

为了化解上述人工智能数据训练面临数据语料库难以获取的难题，韩国国会通过《人工智能发展和建立信任基本法》第15条规定由政府支持和实施各类训练数据生产和提供项目，以促进训练数据的生产、收集、管理、分配和利用。2024年12月，英国政府发布了《版权与人工智能》法案的公开征求意见稿，该法案的主要目标是重塑数据挖掘例外规制，确保大模型开发者在遵循透明度原则的前提下，确保版权权利人在适当的情况下获得报酬，以此鼓励英国人工智能创新与保护版权人及充满活力的创意产业之前达成正确的平衡机制。技术发展所带来的法律难题，需要逐步建立法律与技术的“沟通渠道”，促进法律与技术融合发展，以使其共同合作为人工智能技术的创新发展提供更加负责、安全的环境。

（二）算法生成内容导致损害

经过算法训练之后投入应用的大语言模型，由用户指令可生成用户预期的内容。但是，由于用户使用不当或算法黑箱原理，实践中，算法生成内容导致民事损害的纠纷频有发生。梳理司法实践发现，当前算法生成内容导致侵权主要包括以下几种类型：

第一，未经权利人同意，算法提供者利用AI算法技术进行“换脸”，涉嫌构成肖像权、著作权侵权。广东法院贯彻实施民法典公布的第四批典型案例中，某公司未经许可利用AI算法对赵某创作的视频进行“换脸”的行为构成了侵权。本案中，赵某作为自媒体创作人，经常拍摄国风造型视频，在某短视频平台拥有近5.6万粉丝。某公司旗下运营的一款手机换脸APP，用户可以挑选该软件中自带的网红及明星的肖像视频，一键点击即可实现“换脸”效果，购买软件的会员还可享受无水印导出“换脸”视频。某公司将赵某发布短视频平台中的视频上传至该“换脸”APP，作为基础素材提供给用户，从视频内容来看，视频中赵某的面部形象、体貌等特征非常明显，普通人可轻易识别出其主体身份。用户在选择赵某视频作为“换脸”素材后，仅改变了视频中主人公的脸部特征，赵某的主体形象仍可明确辨别。法院经审理认为，某公司利用AI算法对图像、视频内容中的人脸等生物特征进行生成或编辑从而达到替换人脸效果的行为，破坏了肖像与主体的同一性，其行为构成对肖某肖像权的侵害。与之类似，在上海法院数字经济司法研究及实践（嘉定）基地公布的典型案例中，某公司利用算法等人工智能技术开展经营性活动损害了陈某对其作品享有的信息网络传播权。原告陈某是某音实名认证的“摄影师某某某”，其擅长古风人物摄影，在某音平台拥有16.5的粉丝。陈某在其某音账号上发布了13段短视频（以下简称原始视频），主要内容为女子身着古装的展示，时长10秒左右。被告某公司开发的“某颜”小程序设置AI生成“一键换脸古风汉服”板块，在“古典汉服”标签下展示诸多女子身着古装的短视频。经过法院比对，其中13段视频（以下简称涉案视频）与原始视频仅在人物面部五官特征上存在差别，视频场景、镜头、人物造型、动作则基本一致。用户选定视频风格后，可上传自己的人脸，通过算法技术进行换脸合成，生成后的视频人脸则更换为所选用照片中的人脸。法院经审理后认为，原始视频系古风人物写真类视频，在内容编排、景别选取、拍摄角度等方面均体现了作者独创性的安排，属于受著作权法保护的视听作品。涉案视频的内容系被告通过AI算法对原始视频进行局部替换合成的内容，被告的行为符合著作权侵权判定的“接触+实质性相似”原则，因此，被告将原始视频“换脸”后在小程序展示，使用户可以在任意选定的时间和地点浏览或使用原始视频的行为，侵害了原告作品信息网络传播权。

第二，大模型生成内容涉嫌侵犯著作权。杭州互联网法院与广州互联网法院均审理了与奥特曼著作权相关的案件，案情虽有不同，但两个法院均对生成式人工智能服务提供者的注意义务进行了讨论，均认为生成式人工智能服务提供者应采取必要措施预防侵权，未尽到注意义务，则构成侵权。杭州互联网法院审理的“奥特曼案”中，侵权图片由用户上传至大模型进行训练，被告触手AI平台通过用户上传的图片训练和分享了奥特曼AI模型，并利用奥特曼AI模型生成与原告奥特曼形象构成实质性近似的作品，杭州互联网法院认为，触手AI平台构成信息网络传播权侵权。而在广州互联网法院审理的“奥特曼案”中，被告某互联网公司经营的Tab网站中，提供AI生成绘画的功能，原告奥特曼相关图片的版权人指出，当要求Tab网站生成奥特曼相关图片时，Tab网站生成的奥特曼形象与原告奥特曼形象构成实质性相似。Tab网站的AI绘画功能需用户额外付费方能享用。原告认为，被告未经授权，擅自利用原告享有权利的作品训练其大模型并生成实质性相似图片的行为，构成了侵权。广州互联网法院经审理认为，被告未经许可复制、改编了原告的作品，侵害了原告对作品享有的复制权、改编权。在被告侵权行为成立的情况下，其需要停止侵权行为，虽然被告已经采取关键词过滤等措施，停止生成相关图片，但是该措施并未达到停止侵权的效果，其应进一步采取相关措施，防范其服务继续生成与案涉奥特曼作品实质性相似的图片，防范程度应达到：用户正常使用与奥特曼相关的提示词，不能生成与案涉奥特曼作品相似的图片。并进一步明确了生成式人工智能服务提供者应尽的注意义务，即需采取举报机制、提示潜在风险、进行显著标识等措施。杭州互联网明确了用户上传侵权图片作为训练素材时，生成式人工智能服务提供者负有采取符合侵权损害发生时技术水平的必要措施来预防侵权，未尽到这一注意义务的，构成帮助侵权。广州互联网法院则针对侵权内容生成后服务提供者应尽的注意义务予以说明，因此，生成式人工智能服务提供者在数据训练阶段、内容生成阶段均需承担相应的必要措施以防止侵权行为的发生。

（三）算法滥用涉嫌犯罪行为随着数字时代的飞速发展，算法成为驱动数字时代各领域进步的关键力量。数字时代算法的应用广泛且深入，在智能制造、智慧城市、数字司法、人工智能等领域被广泛运用。算法在改善社会服务的同时也提升了公众的生活质量。然而，伴随着算法应用的日益广泛，其风险和挑战也威胁着社会稳定与权益。2024年，算法滥用涉嫌犯罪行为呈现出多样化且复杂的态势。主要体现在以下几个方面。其一，数据爬取型算法犯罪。数据爬取型算法犯罪主要涉及利用数据爬取技术或算法，未经授权或者违反法律规定，非法获取、使用或传播数据的行为。这类犯罪通常具有隐蔽性、技术性、跨地域性等特点。2024年11月，上海市普陀区人民法院审理了上海首例认定爬虫程序抓取公开数据构成提供侵入计算机信息系统程序罪案件。在该案中，法院认为被告人王某明知其开发的爬虫程序及接口具有破解APP安全保护措施并获取商品数据的功能，仍通过网络向他人售卖并提供维护服务等，其行为已构成提供侵入计算机信息系统程序罪。爬虫技术作为一种高效的数据抓取工具，在数据分析、电商价格监控、搜索引擎优化等多个行业被广泛应用。然而，该案对数据爬虫行为采取了与美国不同的评价态度，表明了即使是公开数据，未经授权的自动化抓取行为也可能构成犯罪。此案明确了公开数据爬取的界限以及爬虫程序性质的认定标准，具有重要的里程碑意义。其二，流量造假类算法犯罪。流量造假类算法犯罪主要指行为人利用算法，通过虚构、篡改或操纵网络流量数据等手段，从而欺骗用户、误导市场、牟取非法利益的行为。这类犯罪通常具有组织性、功利性、扩张性等特征。2024年8月，江苏省利用“网络水军”为娱乐饭圈、网络主播等，提供虚假“刷量控评”服务，非法获利数千万元的案件一审宣判。宗某等七名主犯，被判处非法经营罪，二审也维持了原判。在数字时代，算法已经融入了社会生活的方方面面，为人们的生活和工作提供了便捷和高效。然而，随着算法应用的日益广泛和深入，算法滥用问题也日渐凸显，甚至涉嫌犯罪。正如本案中，犯罪嫌疑人通过算法同时操控数千甚至数万个微博账号进行虚假的转发、点赞、评论，并利用算法精准定位、从而针对性地发布虚假信息，以提高刷量控评的效果。综上，算法在本案中提供了助力作用，我们应加强对算法技术的监管，提升公众的数字素养，维护数字时代网络空间的法治秩序。其三，恶意推荐类算法犯罪。恶意推荐类算法犯罪主要指行为人利用算法，通过操纵用户偏好、提供虚假信息或过度推荐特定内容等方式，从而误导用户、破坏市场秩序、或谋取非法利益的行为。这类犯罪通常具有定向性、诱导性、广泛性等特征。2024年9月，重庆公安机关破获一起“视频插码”型帮助信息网络犯罪活动案，以康某为首的犯罪团伙为赚推广费，接收涉黄、赌、诈二维码插入短视频，发数十万条引流，导致网民在观看短视频后不慎扫描二维码，进入相关违法网页遭受损失，涉案资金达2000余万元。随着人工智能和大数据技术的发展，推荐算法成为互联网平台的重要工具。其在提升用户体验、提高平台效益方面发挥了重要作用。但一些推荐算法在应用的过程中被恶意用于传播违法和不良信息，如暴力、谣言等。正如在本案中，短视频平台赖以生存的推荐算法，本应服务于用户个性化内容需求，却被犯罪团伙恶意利用。此案敲响了数字法治建设的警钟，它促使立法者、执法者、司法者以及技术研发者协同共治，完善了数字法治体系，捍卫了数字时代网络空间的法治秩序。其四，作弊篡改类算法犯罪。作弊篡改类算法犯罪主要指不法分子利用算法，通过编写特定程序或利用软件漏洞，进行恶意篡改或作弊操作，以达到非法获利、破坏市场公平竞争等违法犯罪行为。这类犯罪通常具有多样性、连续性、链条化等特征。2024年7月，四川成都公安机关抓获在社交平台发布代抢四川成都某三甲医院专家号广告的多个犯罪团伙，他们利用外挂程序绕过医院挂号系统安全机制抢号并收费，涉案金额达700余万元。此案为数字法治建设带来了诸多启示。首先，从立法者的角度看，促使立法者细化此类新型“电子黄牛”抢号犯罪的责任界定，增强具体条文的可操作性；其次，从监管者的角度看，推动监管部门建立健全数字技术监管体系，强化对关键信息系统安全防护和网络平台内容的监管；最后，从执法者的角度看，亟待增强执法人员的数字技术素养，进一步优化跨区域执法协作机制，打破地域壁垒，维护公平有序的网络社会秩序，从而保障公民的合法权益。综上，2024年算法滥用所衍生的各类涉嫌犯罪行为，呈现出多样化、复杂化和高技术化的特点，它涵盖了数据爬取、流量造假、恶意推荐以及作弊篡改等多个领域。这些犯罪行为在侵害公民权益的同时也扰乱了数字时代的社会秩序。只有进一步完善数字法治体系、提升数字技术监管能力、增强公众的数字素养，才能有效遏制算法滥用行为，从而让算法更好地服务于社会发展和公众福祉。

三、算法风险的多元治理

在数字时代，算法赋能各行各业。精准的算法助力各行业优化资源配置，提升生产效率，驱动产业革新升级。然而，随着算法应用的深入，产生了一系列算法风险。算法风险可能触及数据法益、财产法益、知识产权法益、公共秩序法益、人身权利法益等个人法益与超个人法益，进而产生算法的法益侵害性。面对算法风险，多元治理是关键治理手段。在立法治理方面，国家通过颁布一系列法律法规，为算法应用设定明确的边界和规则，确保算法应用合法、合规；在司法治理方面，司法机关通过司法手段规制算法滥用行为，保护公民合法权益，维护社会市场秩序；在国际治理方面，需共同构建算法全球治理框架，以应对算法风险带来的全球性挑战。

（一）算法风险的立法治理

随着大数据和人工智能技术的发展，算法已经广泛应用于各个领域，如电子商务、新闻推荐、网络直播等。然而，算法的应用也带来一系列风险，如隐私泄露、算法歧视、算法滥用等，这些算法风险不仅侵犯个人隐私和权益，还会对社会稳定和安全造成严重影响。因此，通过立法治理来规范算法的使用至关重要。2024年对于算法风险的立法治理主要包括以下两个方面。

一方面，分类分级的规制理念。根据算法技术的不同属性、算法风险的程度不同以及其对社会造成的影响不一，对算法风险进行分类分级的立法规制理念，能够合理地分配监管资源。集中力量对高风险的算法进行重点监管，对于低风险的算法给予相对宽松的监管环境。2024年3月13日，欧洲议会通过了欧盟《人工智能法案》。该法案将人工智能系统的风险分为不可接受风险、高风险、有限风险以及最低风险四类。产生不可接受风险的将被禁止；具有高风险的将要遵守严格的合规义务；具有有限风险的将要对用户履行充分的告知义务；仅有最低风险的可以自由使用。虽然我国目前还没有专门针对算法风险分级分类规制的立法，但在一些相关的法律法规中体现了类似的监管思路。如《生成式人工智能服务管理暂行办法》，对生成式人工智能这种特定类型的算法应用，制定相应的分级分类规则或指引。

另一方面，开展算法治理专项行动。2024年，关于算法治理的法律法规方面，有一项重要的举措是由中央网信办、工信部、公安部、市场监管总局四部门联合印发的《关于开展“清朗·网络平台算法典型问题治理”专项行动的通知》。该通知部署开展了专项行动，主要针对网络平台算法的典型问题进行治理，主要任务包括整治“信息茧房”、操纵榜单、侵害新就业形态劳动者权益、大数据“杀熟”、算法向上向善服务缺失等重点问题。各大互联网平台也对专项行动进行了积极回应，例如抖音表示拟推出10项措施，切实推动平台工作透明化；拼多多称“将积极打造更加健康的网络生态”；小红书则称“公司将认真落实算法主体责任，切实维护用户合法权益”。

虽然该《通知》是2024年发布的关于算法治理的具体行动方案，但在此之前，我国已经出台了一系列与算法治理相关的法律法规。如《电子商务法》《个人信息保护法》《数据安全法》等。《互联网信息服务算法推荐管理规定》，在规范算法推荐服务活动，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益，促进互联网信息服务健康发展等方面发挥了重要作用。《关于加强互联网信息服务算法综合治理的指导意见》强调了对算法应用进行综合治理的重要性，并提出了一系列具体举措和要求，以规范算法在互联网信息服务中的使用。该《意见》具有重要的指导意义，为算法治理工作提供了基本框架和原则。2024年发布的《关于开展“清朗·网络平台算法典型问题治理”专项行动的通知》则进一步细化了算法治理的具体措施和要求，完善了我国算法治理的法律体系，为构建更加公平、透明、可解释的算法治理环境提供了坚实的政策支持。

（二）算法风险的司法治理

在数字时代，算法被广泛应用到社会生活的各方各面。从人们日常休闲娱乐的社交媒体个性化推荐，到金融领域的借贷风险评估与信贷决策，再到交通出行的智能导航以及医疗健康的精准诊断等。算法在推动社会发展的同时，与之伴生的风险也随即产生。这些风险犹如悬在头顶的“达摩克利斯之剑”，威胁着社会的公平正义以及公民的合法权益。正如在法国召开AI行动峰会之时，诈骗分子用AI伪装成意大利防长及其工作人员的声音，给多名富商打电话，要求商人们为解救遭绑架的意大利公民垫款，意大利多名富商完成了转账成为了AI诈骗受害者。而算法风险的司法治理则成为守护社会公平正义、保障公民合法权益的关键治理手段。相较于行政治理的及时性和灵活性、行业自律治理的专业性与针对性，司法治理具有权威性和公正性。司法机关作为公平正义的“守门人”，为算法风险的规制提供了坚实可靠的保障。2024年，算法风险的司法治理具有以下几个特征。

其一，细化相关法律法规。2024年6月最高人民法院发布了《最高人民法院关于审理垄断民事纠纷案件适用法律若干问题的解释》，该《司法解释》就算法在垄断行为方面进行了相关规定：第24条就算法协议这一新兴垄断形式，给予了直接回应，对于经营者利用算法等手段实施垄断的行为进行了界定。在数字经济快速发展的时代，互联网平台企业之间常利用算法达成各类隐蔽协议。例如有些电商平台为了获取高额的利润，通过算法实现商品价格的同步调整，暗中操纵市场价格，损害消费者利益。这样的算法协议应该被认定为垄断协议。同时，有些互联网平台利用自身的流量优势阻碍其他市场主体获得流量，从而进行平台封禁行为。平台封禁行为虽不属于垄断协议，但确属于垄断民事纠纷。该《司法解释》第16条也明确了在界定互联网平台所涉相关商品市场时，应结合被诉垄断行为的特点、产生或者可能产生排除、限制竞争效果的具体情况、平台的类型等因素，为法官审理案件提供了清晰的裁判指引。

其二，注重程序正义。程序正义是一种“看得见的正义”，它是保障当事人权利，增强司法公信力，促进司法公正的重要保障。程序正义是一种独立的法律价值，是一种标志着法律程序具有其内在优秀品质的法律价值，从普遍意义上讲，它的存在与其所要达到的法律结果的正确性没有必然的关系。在算法社会中，掌控算法者拥有算法权力，算法权力经常会被滥用、被操纵，这就需要以正当程序的标准来审查算法权力的滥用。司法机关在处理算法相关案件时，应高度重视程序合规以及保护当事人的合法权益。2024年9月，国务院发布了《网络数据安全管理条例》，该条例第三章细化了个人信息处理规则。明确规定网络数据处理者在处理个人信息时，必须严格遵守一系列具体要求。例如，在处理个人信息前，个人信息处理规则应当集中公开展示、易于访问并置于醒目位置；收集个人信息为提供产品或者服务所必需，不得超范围收集个人信息，不得通过误导、欺诈、胁迫等方式取得个人同意等。这为法院判断互联网平台的侵权行为提供了具体的指引，保障了用户在算法服务中关于“知情—同意”原则的程序正义。

其三，明确算法提供者的监管义务。互联网平台既是数字经济生态的主要创造者、提供者，也是数字经济的重要组织者、管理者，因而扮演着“公共基础设施”和“看门人”的角色。互联网平台作为“看门人”，又是算法的重要提供者，它承担着不可或缺的监管义务。平台的监管可以保护用户的合法权益，规范算法服务提供者的行为，保障数据信息的安全，从而促进算法技术的创新与合法发展之间的良性平衡。法院为了促进数字经济持续健康发展，在司法裁判的过程中，也进一步明确了算法提供者的监管义务。正如在全国首例用户起诉要求网络社交平台注销被封禁账号的案例中，法院裁判对网络社交平台依法监管用户行为、存储个人信息以防再次注册进行了合法性认定，明确了网络社交平台具有监管用户合法使用账号的法定义务。再如在首例电商平台在商家怠于履行售后义务情况下，通过争议在线解决机制协助消费者维权，及时有效维护消费者权益的案件中，法院裁定明确了平台扣划商家店铺或关联店铺资金并以“消费者赔付金”的形式向消费者赔付款项、限制店铺资金提现行为的合法性，明确了算法提供者的法定义务、消费者权益保护等典型问题。

（三）算法风险的国际治理

2024年，全球范围内对于算法风险的关注度显著提高。各国和地区在算法治理框架上呈现出全球化和区域化并存发展的态势。在此发展背景下，欧盟、美国、中国等主要经济体都推出了针对算法的治理政策。与此同时，国际组织也在积极发挥作用。正如此次巴黎AI峰会的召开，就获得了全球各国和地区的高度期待。2024年算法风险的国际治理呈现不同的治理模式。

（1）欧盟：“风险分类”的治理模式。随着人工智能技术的快速发展，算法在多个领域展现出巨大的应用潜力，在改善人们生活的同时也提高了生产效率。但也带来了一系列的算法风险和社会问题。面对人工智能技术的发展浪潮，欧盟作为世界上具有影响力的经济体，它的治理模式受到全球各国和地区的广泛关注。2024年3月13日，欧洲议会通过了《人工智能法案》，这是全球首部综合性人工智能监管法案。该法案共计13章、113条，涵盖了人工智能系统全生命周期的监管。法案总体上采取基于“风险分类”的监管路径，首先明确禁止了某些存在不可接受风险的人工智能系统，然后重点规制高风险人工智能系统，任何在欧盟市场上提供此类系统的企业都必须满足法案规定的从风险管理、数据治理到全面的记录义务等诸多要求。

《人工智能法案》首批法规在2025年2月2日正式生效了，这意味着被划分为“不可接受风险”人工智能行为将被完全禁止，欧盟界定的禁止性人工智能行为与算法治理密切相关。例如禁止基于社会行为或个性特征，对个人或群体进行分类评分，包括信用评分、教育评级等；禁止仅基于个人特征，包括性格、行为模式等，来预测犯罪风险的人工智能系统，如基于种族或文化背景进行犯罪倾向预测；禁止通过互联网或监控视频，抓取公众面部照片，用于训练面部识别算法；禁止在工作场所或教育环境中使用情感识别技术，分析学生在课堂上的注意力等。综上，欧盟通过风险分类从保障安全的角度为算法风险治理提供了系统规范。

（2）美国：“多层次”的治理模式。在当今数字时代，“所有事物的出现是信息处理，这里，整个世界像一台庞大的计算机，这台计算机‘计算’出所有存在的事物。”算法成为了数字时代的核心驱动力，它们如同这台庞大计算机中的指令集，指导着数据的流动、分析与决策，从而深刻地影响着我们的社会生活。为了使算法更有效地服务于社会福祉，算法治理就变得尤为重要。美国近年来显著加大了对人工智能算法的规范和治理，其基本理念包括：必须对已知的人工智能算法风险加以管控，须将行业自律与外部监管和问责相结合，须同时保护创新与竞争。

目前美国联邦层面并没有通过算法治理的统一法案，更多的是各州立法与行政措施并行的“多层次”的治理模式。正如拜登政府发布了《人工智能权利法案蓝图》和《关于安全、可靠、可信地开发和使用人工智能的行政令》，明确了算法治理的保护权利、防止歧视、公开透明等基本原则。这些行政文件虽不是联邦立法，但却为联邦机构使用算法提供了方向性指引。从立法方面看，2024年7月底，美国两党参议员提出了《人工智能创新未来法案》，该法案通过制定国际标准、加强公私合作、推动安全研究等方式，确保美国在人工智能领域的领导地位，法案还提出将成立人工智能安全研究所，以确保算法在设计、开发、应用等各个环节都能遵循安全、可靠、公平的原则。总体而言，美国的算法治理监管模式是一种多维度、多层次的综合治理模式。

（3）联合国：推动全球合作、探索伦理框架。2024年随着人工智能技术的快速发展，算法渗透到社会生活中的各方各面。然而，算法的不透明性、偏见性、歧视性等伦理问题也日益凸显，全球范围内对算法治理的需求也日益迫切。联合国作为全球治理的核心机构，在推动国际合作、构建伦理框架方面发挥了重要作用。

主要体现在以下几个方面：其一，发布全球人工智能治理报告。2024年3月，联合国大会通过了《抓住安全、可靠和值得信赖的人工智能系统带来的机遇，促进可持续发展》决议案，这是联合国大会历史上首次为针对人工智能治理问题确立全球统一规范所通过的专项决议，确立了人工智能治理的全球共识，强调算法治理的全球合作必要性，具有里程碑意义。其二，举办数字伦理峰会。2024年12月，联合国在英国举办了数字伦理峰会。峰会提出需要将人工智能伦理方法具体化和标准化，需要多方利益相关者参与，以应对技术带来的不平等和权力集中等问题。其三，推动全球数字契约。2024年9月，联合国未来峰会通过了《全球数字契约》，以进一步发展多边主义框架，努力建设一个安全、和平、公正、平等、包容、可持续和繁荣的世界。在契约中明确提到数字合作应坚持负责任的、可问责的、透明的和以人为本的路径，这将规范算法的开发与应用。同时，契约明确提出确保用户能够安全地受益于数字技术，避免遭受侵犯、滥用和遭受任何形式的歧视，尊重、保护并促进人权。契约中关于人工智能伦理治理的内容，推动了全球在算法伦理方面形成共识，为算法伦理治理提供了方向。

四、结语

2024年，全球算法治理进入了一个新的发展阶段。从欧盟《人工智能法案》的生效、联合国《全球数字契约》的通过，再到中国“清朗·网络平台算法典型问题治理”专项行动的开展，算法治理逐渐从理论探讨走向实践落地。算法透明化、平台治理透明化成为算法治理的核心议题之一，算法伦理问题引发了世界的广泛关注，算法治理迈进全球化和区域化协同发展。2025年，算法治理将进入一个更加复杂和多元的治理阶段。随着人工智能技术的发展和突破，算法监管会持续强化也会更加细化；联合国也将推动全球性的算法伦理指南，完善算法治理的伦理框架；技术创新将驱动治理变革，技术驱动将成为算法治理的重要方向。2025年的算法治理充满着机遇与挑战，各国政府、国际组织、平台企业需要共同努力，推动算法治理的创新与发展，确保算法技术服务于人类社会福祉。

（原文刊载于《数字法学评论》第五辑（2025年第2期））