AI 治理与伦理——前沿探索与实践落地

摘要：导读本次演讲的主题聚焦于人工智能（AI）治理与伦理问题。随着AI技术的大规模应用与推广，在数据治理的基础上，AI 治理领域涌现出诸多新的议题。本次分享旨在对这一新兴领域进行探讨。

导读本次演讲的主题聚焦于人工智能（AI）治理与伦理问题。随着AI技术的大规模应用与推广，在数据治理的基础上，AI 治理领域涌现出诸多新的议题。本次分享旨在对这一新兴领域进行探讨。

主要包含以下五个部分：

1. 人工智能业务应用场景

2. 人工智能和数据风险

3. 人工智能治理框架

4. 人工智能治理实践

5. 问答环节

分享嘉宾｜李然辉京东科技集团数据总监

编辑整理｜龚萱

内容校对｜郭慧敏

出品社区｜DataFun

人工智能业务应用场景

人工智能（AI）的应用领域正日益广泛。为明确概念，我们首先对人工智能系统进行定义：人工智能系统通常被定义为能够处理数据、学习和适应以提高性能的自主实体，它至少具备以下三个核心特征的计算机系统。

1）在数据处理层面，人工智能系统能够接收并处理来自人类或机器的输入数据，通过算法模型进行分析，最终输出包括预测结果、推荐建议或自动化决策在内的多种形式的结论。这一过程可实现完全自动化，无需人工干预。2）在决策机制方面，人工智能系统展现出显著的自主性，能够独立完成决策流程。这种自主决策能力是其区别于传统信息系统的重要特征。3）在系统演进维度，人工智能通过机器学习技术持续优化自身性能，展现出显著的自适应能力。具备上述特征的系统，即可被界定为人工智能系统。

经过系统梳理，当前我们的应用场景中符合上述特征的领域可归纳为以下八个主要方向：

1）在客户管理领域，人工智能技术可应用于客户满意度调研、用户反馈数据分析、智能客服系统建设，并对客服交互数据进行深度挖掘与分析。其次，在人力资源管理方面，AI技术能够实现员工情绪状态分析、职业发展动向预测以及心理状态评估等功能。2）在风险控制领域，反欺诈监测技术已较为成熟，特别是在金融信贷业务中，可有效识别欺诈性交易行为。政府部门早期开展的舆情监测工作也属于此类应用的典型案例。3）数据隐私保护方面，人工智能可辅助实现敏感信息识别与保护机制，确保客户信息安全。4）风险评估环节中，信用风险评估是典型应用场景，如在互联网贷款及信贷业务中，通过智能风控系统进行风险评估已成为相对成熟的技术方案。5）内容审核方面，AI技术可实现对敏感信息及商业机密的自动化识别与审查。6）流程优化领域则主要体现为各类自动化能力的应用。7）在精准营销方面，当前我们正在推进智能营销体系建设，包括基于用户画像的个性化推荐（即"千人千面"营销策略）、定制化信息推送，8）智能化服务场景构建等，这些均展现出良好的应用前景。

人工智能和数据风险

人工智能技术的应用场景在当前企业运营中已较为普遍。在此背景下，我们需要重点关注应用过程中面临的数据风险和 AI 风险两大核心问题。

数据质量风险：数据质量是人工智能应用的重要基础。实践表明，人工智能模型的准确率与训练数据的质量直接相关。若数据存在不准确、不完整或不一致等问题，将直接影响模型的训练效果。这一现象印证了计算机科学领域"垃圾进、垃圾出"的基本原理。以医疗影像诊断为例，当使用历史影像数据进行模型训练时，若原始数据质量不佳，可能导致最终的诊断结果与专家判断存在偏差，甚至引发误诊风险。数据安全风险：由于人工智能系统采用自动化决策机制，必须确保其决策过程及结果的安全性。这要求我们建立完善的数据保护措施，防止数据泄露、篡改或滥用等情况发生。在金融领域，数据泄露可能导致客户资金损失；在医疗领域，则可能造成患者隐私信息外泄。值得注意的是，当前多数开源系统和平台均明确禁止提供医疗建议或诊断结果解读服务，这充分体现了数据安全保护的重要性。数据合规风险：是需要严守的底线。我国《个人信息保护法》《数据安全法》等法律法规对数据使用提出了严格要求。违反相关规定可能面临巨额罚款，已有多个违反《个人信息保护法》的案例受到处罚。因此，在人工智能应用中，必须确保输入模型的所有数据（包括测试数据）都符合安全合规要求。特别是在使用国外开源大模型时，更需注意跨境数据流动的合规性问题。建议采取数据脱敏处理，或通过构建内部小模型的方式封装敏感数据，避免将存在合规风险的数据直接输入大模型。

关于人工智能（AI）的风险，可以归纳为以下三个主要方面：

模型偏差与不公平性：在模型训练过程中，若数据集中存在偏见或预设倾向，可能导致输出结果的不公平性。以招聘场景为例，当前大模型已广泛应用于简历筛选和面试题生成等环节，但需要特别关注其是否存在性别歧视、年龄歧视等潜在的偏见问题。可解释性不足：若缺乏足够的可解释性，将影响用户对系统的信任度。以自动驾驶汽车为例，当 AI 的决策过程难以被理解时，一旦发生事故，将难以明确责任归属——究竟是人为因素、车辆问题，还是AI系统本身的缺陷。因此，确保决策结果具有可追溯性和可解释性十分必要，尽管这一要求在技术实现上存在相当难度。社会伦理风险：对企业而言，需要审慎评估AI技术可能引发的伦理问题。例如，随着 AI 的广泛应用，可能导致大量工作岗位被替代，进而引发社会就业结构变化及潜在的社会稳定问题。这些伦理层面的影响同样需要纳入决策考量范围。

以大型语言模型为例，其应用过程中存在显著的安全隐患。在常规使用场景下，普通用户通过标准提示词（prompt）输入，例如询问"博士学位是否具有价值"等问题，模型能够输出符合预期的正常结果。然而，当遭遇恶意用户时，系统可能面临安全威胁。这些攻击者会在输入层面预设恶意内容，通过特定构造的提示词诱导模型产生异常输出。例如，在正常提问后，模型可能异常返回"hello world"等无关内容。

此类安全漏洞可能导致多重风险：首先，模型训练数据可能遭到非法篡改；其次，核心算法可能被恶意扭曲。这些破坏性操作将直接影响模型的输出质量，导致生成错误或误导性信息。鉴于这些潜在威胁，美国网络安全与基础设施安全局（CISA）在最新发布的《网络安全与隐私计划》中特别强调：传统的事件响应流程指南必须进行更新，以应对诸如模型提取或中毒攻击等新型的网络威胁。

在使用开源大模型时，需特别关注其许可证条款，以避免知识产权风险。例如，部分开源模型明确要求使用者在输出文件中注明版权信息，或禁止商业用途；若商业用户规模超过 1 亿，还需额外申请授权。此前已有案例显示，大模型因相似度争议引发侵权质疑，后被澄清符合开源协议。因此，企业若采用第三方开源模型，务必仔细审核许可证内容，确保合规使用，规避法律风险。

若未遵守上述条款，可能面临法律诉讼或声誉损失。建议企业建立开源合规审查机制，明确使用边界。

人工智能治理框架

在人工智能治理领域，我们面临诸多数据与AI相关的挑战。为确保有效治理，首先必须确立基本原则，这些原则构成治理体系的基石。根据国际研究机构对多国 AI 治理框架的调研分析，图中颜色点越多表示提出该点的国家数量越多，总结出以下核心原则：

1）透明性与可解释性：AI 系统的算法逻辑与决策过程必须具备可解释性，确保其判断依据清晰可追溯；2）公平性与非歧视性：杜绝民族、性别等歧视现象，包括大数据杀熟等算法偏见问题；3）问责机制：建立明确的责任追溯体系，确保系统可靠性；4）隐私与数据安全：严格保护用户隐私，确保数据安全；5）人类监督：保持人类对AI系统的有效监管；6）补救措施与竞争性：建立纠错机制，维护系统可竞争性；7）数据质量：保障数据的完整性与准确性；8）幸福：促进个人与社会整体幸福感的提升；9）信任与安全：构建可信赖的AI系统，确保运行安全。

这些原则构成了 AI 治理的基本框架，为后续具体措施的制定提供指导。

AI 治理的总体架构应包含 13 个核心要素：1）责任认定机制，必须明确 AI 系统开发、部署和应用各环节的具体责任主体和岗位职责，这是确保治理有效执行的基础；2）监管合规评估，需要系统研究国内外相关法律法规和政策要求，建立合规审查机制；3）应用场景清单，应详细梳理企业内所有 AI 应用场景，建立完整的用例库；4）数据价值提升，重点包括数据质量控制、成本优化、活性提升和复用率提高等关键环节；5）公平性保障，要特别防范算法歧视问题，如民族、性别歧视和大数据杀熟等现象；6）可靠性验证，建立严格的测试评估体系确保AI输出结果的准确性；7）透明性规范，要求算法决策过程可解释、可追溯；8）人工干预机制，在关键决策环节设置人工审核节点；9）隐私保护体系，实施数据脱敏、访问控制和完整操作日志记录；10）安全防护措施，构建包括网络安全、数据安全和算法安全在内的多层防护体系；11）全周期管理，覆盖从需求设计、模型开发、测试验证到上线运营和下线的完整生命周期；12）风险管理机制，建立包括风险识别、评估和应对的完整流程；13）价值实现路径，通过提升运营效率、优化成本结构、创造新业务价值等维度实现AI应用的经济效益。这些要素需要持续迭代优化，形成动态完善的治理体系。

构建完善的 AI 治理框架需重点关注三个核心维度：1）传统数据治理，需建立规范的数据管理制度，确保数据安全、质量合规及全生命周期管理；2）模型治理，涵盖 AI 模型从开发、测试到部署的全流程管控，保障模型稳定性与业务适配性；3）风险治理，通过建立风险管理体系，系统识别、评估并控制 AI 应用风险，制定针对性应对策略。这三个维度共同构成了 AI 治理的基础框架。

AI 治理的实施路径可分为三个关键阶段：首先需制定符合企业实际情况的治理策略，明确目标、原则及方法论；其次建立包含组织架构、流程规范和技术支撑的治理机制，其中技术保障对实现自动化治理尤为关键；最后通过持续评估实施效果、识别改进点并优化机制，形成完整的 PDCA 管理闭环。这一路径确保了治理体系从规划到落地的系统性推进。

人工智能治理实践

在实践方面，我们讨论数据整合与 AI 治理框架的设计与结合，基于经验进行分析总结。为有效实施人工智能，需调整治理框架，使数据整合与 AI 治理相匹配，从而优化传统数据治理。传统治理侧重于管理数据资产，确保组织的数据质量、安全与合规。

人工治理需监督人工智能特有能力，如模型透明度、认责及伦理考量，并将这些内容融入传统治理。同时，风险管理需识别、评估并降低数据与人工智能相关风险，在 AI 整合后需加强此方面。

影响框架对齐的关键因素包括合规性，涉及安全合规（如个保法）及 AI 特有的伦理道德要求。此外，文化协同需制定落地措施，如培养数据文化并将 AI 融入日常工作的各环节（涵盖人、财、物、产、供、销等业务领域），鼓励员工主动利用 AI。例如，公司应消除员工对效率提升导致裁员的顾虑，支持灵活工作方式，以建立AI使用文化，类比数据决策向 AI 应用的演进。

最后，AI 治理有两种方式：以用例为导向，即盘点 AI 应用清单，优先高价值项目并根据风险调整治理措施；或以原则为基础，依据治理原则及道德准则调整用例以符合要求。前者需求导向，后者合规或治理导向。

实施过程中需注意关键事项。首先，避免数据孤岛，确保数据贯通以实现全链路分析、掌握整体情况全貌；数据孤岛会阻碍共享、融合、整合及应用，例如在智能营销中，前端用户行为数据（如点击浏览）与后端业务系统数据分离，导致难以分析用户转化、偏好及需求，从而影响 AI 训练，因此数据作为 AI 应用基础，首要解决此问题。其次，防止过度依赖技术，治理需结合管理措施而非完全自动化；例如数据采集如全埋点虽可自动化，但无法解决所有问题，仍需人工制定方案、监控及推动责任落实，故依赖纯技术手段如 SDK 不现实。最后，注重隐私保护，AI 应用加剧用户隐私、伦理及歧视问题，需通过加密、脱敏、分级分类、隐私计算等技术强化防护。

最后，推荐相关资料供查阅。国家标准已于 2024 年发布，涵盖人工智能的要求、安全要求及安全治理框架，还有美国的网络安全与隐私计划。如有需要，欢迎大家与我联系获取，共同学习交流。

问答环节

Q：关于 AI 治理带来的收益，一般有哪些衡量指标？例如，服务稳定性采用 SLA 指标，服务效率使用 CPU 使用率。对于 AI 治理的价值收益，您有何建议的衡量指标？

A：衡量 AI 治理收益，主要包括五个方面的指标。第一个是降低风险，通过有效的 AI 治理，可以识别和管理与 AI 相关的伦理和安全风险，减少对个人、社会和环境的潜在危害。第二个是能够增强信任，良好的 AI 治理能够提高公众对 AI 技术的信任，促进 AI 的广泛接受和应用。第三能推动创新，明确的治理框架为 AI 研发和应用提供了稳定的环境，鼓励企业和研究机构进行创新。第四是促进公平和包容性，AI 治理有助于确保 AI 技术的开发和应用不会加剧社会不平等，促进不同群体的平等参与。最后一个是支持可持续发展目标，AI 治理可以引导AI技术应用于解决全球性问题，如健康、教育、气候变化等，支持联合国可持续发展目标的实现。比如在推动创新方面，我们在 AI for data 领域做了一些创新应用。举两个例子，智能问答和 AI2SQL 应用，该应用解决了用户数据查询时依赖人工咨询的问题，显著减少了人力成本浪费。初始阶段，由于元数据不完善及相关资料不足，准确性约为 60%-70%。通过优化元数据质量、补充设计文档和业务知识，准确性提升至 90% 以上；达到此水平后，边际改进空间有限，系统可靠性较高。此外，在业务创新应用方面，比如智能营销，通过 AI 治理增强了业务对 AI 的信任，进而促进 AI 的广泛接受和应用，带来了收入增长。

以上就是本次分享的内容，谢谢大家。