AI 防火墙和 AI安全态势管理（AI-SPM）
近期 Cloudflare 和 Orca 分别发布了 AI 防火墙和 AI-SPM 产品，对 AI 和 LLM 模型的安全防护是否会形成一个新的庞大市场？PANW 的回答是肯定的。
Cloudflare 的 AI 防火墙
本月初，Cloudflare在其年度安全周前发布了一款AI 防火墙，用来保护大语言模型 LLM。由于LLM与常规应用面临类似的网络安全威胁，如分布式拒绝服务（DDoS）攻击，这款AI防火墙在其Web应用防火墙（WAF）模块中实现，集成了DDoS防护、请求限速等功能，为LLM应用提供全面的安全保护。
在 OWASP 发布的 LLM 应用十大脆弱点中，还有提示词注入、敏感信息泄露等内容。进一步地，Cloudflare通过HTTP代理模式对前端到后端的请求与响应进行严格检查，实现了对LLM请求的限速、敏感数据检测和提示词校验，以及对LLM响应的敏感数据检测和提示词校验，确保每一次的 LLM 请求都不会超出正常范围，每一条回应都不含敏感数据。
在 WAF 的控制面板上，AI 防火墙看起来是这样的，功能不能说有多丰富，但对主要风险还是管用的。
LLM 侧信道 Side-Channel 攻击
没过几天，Cloudflare 又宣布他们能解决一种新的针对 LLM 的侧信道攻击。这种攻击方法由以色列本古里安大学的几位研究人员发现并发表，该攻击针对LLM的流式对话特性，方法非常简单粗暴。
在流式对话中，用户会看到 LLM 回答自己的问题是几个字几个字蹦出来的，这时数据包是逐个 token 传输的。虽然通信是加密的， 但攻击者只需要通过监听的方式获取到密文数据包即可，虽然不知道载荷内容，但可以分析出 token 的序列长度。最有意思的环节来了，他们训练了一个 LLM 模型来基于 token 的序列分割数量来猜测文字内容。
神奇的是猜测准确率还真不错，对不同版本的 GPT-4，成功率在 30%-53%之间。对就业、财务状况和心理健康等话题的识别成功率能到 60%。
针对这种攻击的应对方式也很简单，Cloudflare在 token 传输包里增加了随机内容，打破了其可预测性，保护了对话的安全和隐私。
Palo Alto 对 AI 安全市场的预测
过去一年多，安全行业对 LLM 的讨论，更多集中在怎么将 LLM 技术用在安全产品中，例如自然语言查询、风险解释和应对措施加强等。
Palo Alto在 2024 财年 Q2 季度的电话会上，在 AI 部分的介绍中，除了说会将 AI 技术植入现有的三大平台—网络安全平台、云安全平台和安全运营平台—中增强平台能力之外，还对 AI 安全防护市场的规模做了预估，包括三个部分：
AI 访问：致力于保护员工访问 AI 应用的安全，预测 2030 年市场规模 30-50 亿美元；
AI 安全态势管理：致力于保护组织部署 AI 模型和应用的过程，预测 2030 年市场规模 50 到 60 亿美元；
AI 防火墙：致力于保护 AI 应用的运行时安全，预测 2030 年市场规模 50-60 亿美元。
我很喜欢这个分类，简单清晰，前面提到的 Cloudflare 发布的是 AI 防火墙，下面提到的 Orca 发布的是 AI 安全态势管理 AI-SPM，至于 AI 访问，我相信不少安全Web 网关SWG产品应该已经包含了对 LLM 应用访问的特别防护能力。
Orca 的 AI 安全态势管理
这两天 Orca 在自己的云安全平台 CSP 中发布了 AI 安全态势管理模块。在文章开始，Orca 先分享了 她们的发现，有 37%的组织已经使用了至少一种 AI 服务，这是个很惊人的渗透率。用得最多的是 Amazon SageMaker 和 Bedrock（68%），其次是 Azure OpenAI（50%）和 GCP Vertex AI（21%），但我觉得这个数据没什么意义，基本上就是 AWS 、 Azure 和 GCP 的市占率。
Orca 也认为 AI 模型面临着和其他云资产类似的风险，包括有限的可见性、意外的公开访问权、未加密的敏感数据、影子资产和不安全的 Key 等，现有的 CSP 就可以帮助 AI 应用防护这些攻击。
Orca 在 CSP 上建立了一个新的 AI 安全控制台，提供关于 AI 模型的全面信息，包括云环境部署了哪些 AI 模型、包含哪些数据、是否存在风险等。具体来说：
AI 和 ML 的物料清单库存
当AI 项目可以被公开访问时发出告警
监测 AI 项目中的敏感信息
确保数据在存储时是加密的
监测不安全的第三方 AI 访问密钥
这么一看和其他的软件项目似乎也没什么区别，当然更正确的问题应该是深入探究 AI 项目和一般软件项目的差异，现在看可能就是不大，特别是对于使用公有云提供的托管开源 AI 模型的用户来说。
总结
将 AI 用于安全，和安全的使用 AI，将续写早几年用云来交付安全，和安全的使用云的故事。让我们满怀期待，继续见证这一领域的进步与发展。
参考材料：
https://blog.cloudflare.com/firewall-for-ai
https://blog.cloudflare.com/ai-side-channel-attack-mitigated
https://cdn.arstechnica.net/wp-content/uploads/2024/03/LLM-Side-Channel.pdf
https://investors.paloaltonetworks.com/static-files/ba0097e4-ce00-484a-a2d5-94bfc5b24759
https://orca.security/resources/blog/orca-adds-ai-security-to-cloud-security-platform/