AI 融入软件供应链，安全实践正在重新定义

摘要：AI与企业软件开发和应用关系的日益紧密，使得AI和软件供应链已经融为一体。AI成为软件供应链的重要组成部分。

AI与企业软件开发和应用关系的日益紧密，使得AI和软件供应链已经融为一体。AI成为软件供应链的重要组成部分。

AI 的技术复杂性与快速采用特性，构成了供应链威胁的“完美风暴”。无论是生产还是应用软件解决方案的组织，都需要为AI带来的风险做好准备。

AI增加软件供应链复杂性

AI的引入使得软件供应链的管理变得更加复杂，从而可能带来新的安全威胁，其中包括保护训练数据和模型免受潜在漏洞的影响。以下两个安全要素的管理尤为复杂：

1 机器学习物料清单（MLBOMs）/ 人工智能物料清单（AIBOMs）

将AI集成到软件供应链中为AI模型及其组件引入了额外的跟踪和管理层，这增加了供应链操作的整体复杂性。

与软件物料清单（SBOMs）类似，MLBOMs或AIBOMs跟踪AI模型的组件和依赖关系，要确保透明性、可追溯性，并能够有效管理这些先进系统的复杂性。

这意味着AI模型的硬件和软件方面都应被考虑在内，数据源、算法和相关资源都应被仔细记录和管理，使组织能够更好地控制其AI驱动的解决方案。

2 安全的CI/CD管道

对于AI开发，确保CI/CD管道的安全至关重要，以防止未经授权的更改或恶意代码注入，从而导致管理供应链操作的整体复杂性增加。

例如，彻底扫描第一方代码至关重要，这涉及对内部开发的代码进行审查，以识别漏洞并确保其遵循最佳安全实践。实施强大的代码扫描程序可以显著增强AI开发过程的安全性。

由此，AI与软件供应链的深度融合带来了新的安全风险生态系统，包括：

1 生成式 AI 毒化

恶意行为者利用 AI 向开源训练数据集中注入欺骗性数据、漏洞或后门。这会危害依赖这些数据集的下游 AI 系统。

2 AI 生成的拼写欺诈

AI 自动创建与合法开源包名称几乎相同的虚假包（例如，“numpy”与“num-py”），欺骗开发者安装恶意软件。

3 分发恶意软件的虚假项目

AI 生成看似真实的代码库或库，其中包含隐藏的恶意软件。这些恶意软件能够绕过传统的安全检查，例如在利用 Hugging Face 等平台的攻击中。

4 AI 增强的网络钓鱼

攻击者使用 AI 制作针对供应链利益相关者的可信网络钓鱼电子邮件，窃取凭证以渗透开发管道。

融入AI的软件供应链安全挑战

AI 与软件供应链深度融合后，形成了新的安全风险生态系统。

1 AI是开发者

AI缺乏人类工程师的经验和判断力，可能引入新的安全漏洞。

分析机构Gartner预测，到2028年，75%的企业软件工程师将使用AI代码助手。这代表着对AI自动化软件工程任务的依赖日益增长。AI编码工具市场预计从2024年的43亿美元增长到2028年的126亿美元。

虽然这种惊人的增长无疑会催生创新，但也会给软件生产和消费组织带来重大的网络安全风险。这是因为AI工具本身缺乏人类软件工程师所具备的经验、背景和意识。人类软件团队在区分高质量和低质量代码以及识别不安全组件方面至关重要。

AI编码助手是在包含已知和已修补漏洞、过时加密算法和过时开源组件的代码上进行训练的。更糟糕的是，这些AI助手可能产生传统应用程序安全测试(AST)工具难以检测的新软件供应链安全风险。例如数据中毒，可能会破坏AI编码工具依赖的学习模型。人类的监督、背景理解和检查在解决这些问题上一直至关重要。

对这些工具的依赖增加印证了微软的警告：生成式AI系统可能会创造并放大安全风险。

2 AI是模型

ML模型数量爆炸性增长，这些模型本身可能成为被攻击的目标。

机器学习(ML)模型非常强大，大语言模型(LLM)和生成式AI在AI系统和工具中的使用和应用已呈爆炸式增长。我们从领先的ML模型共享平台Hugging Face的增长中看到这一点，该平台在2024年9月达到了100万个ML模型，而2023年仅有30万个。像Hugging Face这样的平台由于提供了工具、服务和在线社区，促进了ML模型的开发、修改和部署，正在变得越来越普遍。

然而，就像任何其他基于软件的产品或组件一样，ML模型及其所在平台也面临被恶意行为者破坏或操纵的风险。攻击者可以利用这项技术执行恶意命令、窃取或破坏敏感数据、进行间谍活动，并破坏组织的系统。

3 AI是攻击者

威胁行为者正在利用AI技术增强攻击能力。

威胁行为者已经开始采用LLM和GenAI来加强和自动化他们的攻击。生产或使用企业软件的组织必须意识到这些由AI驱动的威胁，并了解如何减轻它们。

已经有安全公司证明AI生成的恶意软件是真实存在的。虽然目前形式的生成式AI尚未熟练到能从头创建恶意软件的程度，但它可以修改现有恶意软件样本，使其更难被检测和缓解。例如，惠普威胁研究人员发现了一个使用VBScript和JavaScript传播AsyncRAT恶意软件的活动，该团队得出结论认为这是在生成式AI的协助下编写的。

同时，LLM在代码扫描方面已证明非常高效——使软件生产商比以往任何时候都更容易分析代码中的安全漏洞和其他缺陷。不幸的是，威胁行为者同样能够使用这种代码扫描技术来发动毁灭性的软件供应链攻击。这已经体现在攻击者如何利用LLM扫描开源软件存储库，寻找可以利用的缺陷。

AI保护软件供应链的七种方式

AI已成为软件开发者、产品和攻击者，这可能会让组织不堪重负。然而，尽管AI对供应链安全构成挑战并增加了复杂性，但它也可以增强供应链安全。以下是AI如何保护供应链的七个方式及其好处和局限性。