摘要：全新的思科AI防御服务已于1月15日上线，旨在防止员工在使用ChatGPT、Anthropic和Copilot等服务时导致数据泄露。目前，这家网络巨头已向早期接入客户提供AI防御功能，并计划于3月全面推广。

思科AI防御功能采用创新算法方式，可持续针对大模型进行自动化系统性安全测试，以检测模型是否会出现意外行为；

该功能可在30秒内完成一次检测，效率远超同类产品，业界认为这是首个达到大规模工业级水准的产品。

前情回顾·大模型安全动态

安全内参1月23日消息，美国思科公司正在扩展其云安全平台，引入全新技术功能，旨在帮助开发人员检测和缓解AI应用程序及其底层模型中的潜在漏洞。

全新的思科AI防御服务已于1月15日上线，旨在防止员工在使用ChatGPT、Anthropic和Copilot等服务时导致数据泄露。目前，这家网络巨头已向早期接入客户提供AI防御功能，并计划于3月全面推广。

AI防御功能已集成到思科安全访问产品，这是该公司去年推出的升级版安全服务边缘（SSE）平台产品。思科安全访问SaaS版涵盖零信任网络访问、VPN即服务、安全Web网关、云访问安全代理、防火墙即服务，以及数字体验监控等多项功能。

管理员可以通过托管思科所有云安全服务的思科云控制界面，查看AI防御的控制面板。

填补AI能力缺口

AI防御的目标是帮助那些既担心AI带来的安全风险、又迫于业务需求需要将AI技术应用到工作流程中的组织。思科首席产品官兼执行副总裁Jeetu Patel在发布会上表示：“推动创新需要保持速度和效率，同时确保安全。这并非二选一的矛盾抉择，而是需要两者兼顾。”

根据思科2024年AI准备度调查，71%的受访者认为，他们的组织尚未完全具备防止AI被未经授权篡改的能力。此外，67%的受访者表示，他们对机器学习特定威胁的了解有限。Patel指出，AI防御正是为了应对这些问题而设计的。

他表示：“思科AI防御是一种通用的安全和保护基础设施，适用于任何模型、任何代理、任何应用程序以及任何云环境。”

大规模模型安全验证

思科AI防御功能主要面向企业应用安全运维（AppSecOps）团队，允许开发人员在将应用程序和代理部署到生产环境之前，对AI模型进行全面安全验证。

Patel指出，AI模型的挑战在于它们会随着新数据的不断加入而持续变化，这种动态性可能导致应用程序和代理的行为发生改变。

他说：“如果模型是持续变化的，那么验证过程也必须是持续的。”

为了实现等效于红队测试的功能，思科于去年收购了由哈佛研究人员Yaron Singer和Kojin Oshiba于2019年创立的初创公司Robust Intelligence。这项收购成为AI防御的核心组成部分。

Robust Intelligence平台通过算法化红队测试扫描漏洞，并引入了该公司开发的一种名为“树状攻击剪枝”（Tree of Attacks with Pruning）的方法。这是一种基于AI的自动化系统，用于系统性地测试并破解大模型。

根据Patel的说法，思科AI防御结合了生成式AI平台提供商Scale AI的检测模型、思科Talos威胁情报以及最近收购的Splunk平台的遥测数据，以持续验证模型并自动推荐保护措施。此外，思科设计的AI防御还可以通过网络结构分发这些保护措施。

他说：“这实际上让我们能够为验证模型是否按预期运行提供专门设计的工具，帮助检测模型是否会出现意外行为。大多数组织通常需要7到10周时间来验证一个模型，而AI防御能够在30秒内完成这一过程，因为整个流程是完全自动化的。”

行业首创？

分析人士普遍认为，思科是第一家推出能够在如此大规模下实现自动化模型验证技术的重要企业。

IDC安全与信任研究组副总裁Frank Dickson表示：“我还没有听说其他企业能做到类似的事情。一些企业尝试过类似大模型防火墙的技术，但它们的复杂性和精细程度远不及思科。这种30秒内完成自动渗透测试的能力非常令人印象深刻。”

S&P Global Market Intelligence旗下451 Research信息安全渠道研究总监Scott Crawford表示认同。他指出，多家大型供应商正在以不同方式应对生成式AI的安全问题。

Crawford说：“在思科的案例中，通过收购专注于这一领域的初创公司Robust Intelligence，率先采取行动，这也成为该计划的核心。目前市场上还有许多初创公司活跃在这一领域，其中任何一家都可能成为收购目标，但这是第一家被大型企业IT供应商收购的公司。”

他补充道，随着针对脆弱模型攻击的增多，解决AI安全问题将成为今年的主要焦点。

他说：“我们已经看到了一些大模型被利用的案例，专家们也在探讨大模型可能被操纵和攻击的各种方式。”

此类攻击通常被称为大模型劫持，攻击者会利用提示注入、供应链攻击以及数据和模型投毒等漏洞发起攻击。去年，Sysdig威胁研究团队发现了一起典型的大模型劫持事件，攻击者成功窃取了10个云托管大模型的云凭证。在这起事件中，攻击者通过运行漏洞版本的Laravel系统（CVE-2021-3129）获取了这些凭证。

参考资料：darkreading.com

来源：安全内参