网络安全工具都是某种数据分析
网络安全工具的核心在于数据分析，从传统SIEM到现代数据平台技术的应用，行业正在经历从技术栈复杂性到效率提升的转变。虽然国外初创企业和数据平台已经推动了数据驱动安全工具的发展，但国内网络安全行业在这一领域的创新仍显滞后。本文分析了当前网络安全工具在数据处理能力上的演进，以及未来行业可能的突破方向。
十几年前我刚入行时， IDS（入侵检测系统）探针设备上的存储空间极其有限，我们需要在一台服务器上安装 C/S 架构的控制台，日志则存储在 MySQL 数据库中。新告警日志在控制台主界面上像走马灯一样滚动，而一旦需要查询日志，就得格外小心条件和时长的设置，否则加载菊花会一直转，等待许久却得不到结果是常态。甚至有时候连等多久才算“没必要继续等”都无法判断。
这也是初代 SIEM（安全信息与事件管理）产品的典型痛点之一——传统数据库根本无法高效处理那些“还不算海量”的安全日志。随着数据仓库、数据湖以及湖仓一体等技术架构的兴起，数据分析能力在结构化和非结构化数据处理方面都有了显著提升。
来源：Databricks
数据技术的进步为何难以触达安全行业？
然而，这些提升并非“开箱即用”，它们更多地是把数据处理转变成了一个庞大而复杂的技术栈。数据导入、ETL（抽取、转换、加载）、存储、分析等环节都有自己的工具和产品。即使有 Snowflake 和 Databricks 这样的平台型产品，组织依然需要开发人员手动搭建、调试并维护这样的数据系统。
来源：Google Cloud Platform
然而，网络安全团队的背景通常以运维和网络为主，开发经验普遍匮乏。这导致网络安全行业对新数据技术的应用显得相当缓慢。
网络安全工具都是某种数据分析
事实上，几乎所有的安全工具——不管是杀毒软件、IDS、EDR（端点检测与响应）还是 WAF（Web 应用防火墙）——都可以抽象为以下流程：某些收集器从不同来源获取数据，将数据存储在某个地方，然后通过分析器或分析引擎对这些数据进行解析。
因此，数据处理能力是安全系统的核心竞争力。正因为如此，即使进展缓慢，数据分析的新技术仍然逐步渗透进网络安全行业。
2024 年 1 月，Gartner 更新了 SIEM 魔力象限，随后的半年内领导者象限发生了重大变化：Splunk 被思科收购，IBM 将相关业务出售给 Palo Alto，Exabeam 与 LogRhythm 合并。这些巨变充分说明，传统 SIEM 厂商在面对新时代数据技术的冲击时，已显得力不从心。
初创企业与数据平台的崛起
与此同时，一些网络安全初创企业如 Axon 和 Anvilogic，正在尝试以新方法增强安全系统的数据分析能力。他们采用 data fabric的思路，通过增加meta数据层，兼容底层多样化的数据存储和分析需求。
另一边，两大数据 PaaS公司 Snowflake 和 Databricks 也在大举进军网络安全领域，将安全分析视为其数据分析能力的关键应用场景，并推出单独的安全市场，支持第三方公司提供安全数据的输入和分析服务。
国内网络安全行业一片沉寂
数据处理是个系统能力和生态系统，相比之下，国内网络安全行业在数据处理能力上的表现让人感叹“万马齐喑”。当国外厂商专注于通过数据分析推动安全技术的飞跃时，国内行业仍在围绕硬件和单一解决方案展开竞争。在一个大谈“安全大模型”主要模式确是卖一体机的市场环境中，我在替代什么？