zeek系列之：流量分析流量数据采集流量探针利器zeek

什么是zeek
Zeek它是一个被动的开源网络流量分析器。许多运营商将Zeek用作网络安全监控器（NSM），支持对可疑或恶意活动的调查。Zeek还支持安全领域以外的各种流量分析任务，包括性能评估和故障排除。

新用户从Zeek第一个好处是描述了大量的网络活动日志。这些日志不仅包括网络上看到的每个连接的全面记录，还包括应用程序层记录。包括所有这些HTTP会话及其请求的URI，密钥标头，MIME类型和服务器响应，带回复DNS请求，SSL证书，SMTP会话的关键内容，以及更多。默认情况下，Zeek将所有这些信息写入结构良好的制表符分隔或JSON在日志文件中，这些文件适后处理。用户也可以选择外部数据库或SIEM查询产品使用、存储、处理和显示数据。

除日志外，除日志外，Zeek它还具有一系列分析和检测任务的内置功能，包括：

从HTTP在会话中提取文件
恶意软件通过与外部注册表接口进行检测
易受攻击的软件版本在网络上可见
识别流行的网络应用程序
检测SSH暴力破解
验证SSL证书链
…
除了开箱即用提供如此强大的功能外，Zeek它也是一个完全可定制和可扩展的流量分析平台。Zeek为用户表达任何分析任务提供了一种完整的图灵脚本语言。将Zeek语言被视为特定于域Python”（或Perl）：就像Python同样，该系统具有大量的预建功能（标准库），但用户也可以使用Zeek以新颖的方式编写自定义代码。实际上，Zeek所有默认分析(包括日志记录)都是通过脚本完成的。没有将具体的分析硬编码到系统的核心。

Zeek在商品硬件上运行，为专有解决方案提供了昂贵的低成本替代方案。Zeek它在许多方面都超过了其他网络监控工具的功能，通常局限于一组硬编码的分析任务。Zeek不是基于签名的经典入侵检测系统（IDS）；尽管Zeek脚本语言也支持这种标准功能，但它促进了寻找恶意活动的广泛方法。这些包括语义滥用检测、异常检测和行为分析。

各种各样的站点都部署了Zeek保护其基础设施，包括许多大学、研究实验室、超级计算中心、开放科学社区、大型公司和政府机构。Zeek专门针对高速、大容量网络监控，现在越来越多的网站使用该系统来监控其10GE其中一些网站已经转移到100GE链路。

Zeek适应高性能设置，支持可扩展负载平衡。大型站点通常运行 Zeek集群，其中高速前端负载平衡器在适当数量的后端PC流量的上部分配，所有这些PC在各自的流量切片上运行专用Zeek实例。协调后端同步状态下的中央管理器系统，并为操作员提供配置和访问汇总日志的中央管理界面。Zeek集成管理框架ZeekControl开箱即用地支持此类集群设置。

Zeek集群功能支持单系统和多系统设置。Zeek可扩展性优势的一部分。例如，管理员可以在系统中长期扩展Zeek，必要时透明添加更多系统。

简而言之，Zeek优化后，可以根据流量解释网络流量并生成日志。它没有优化字节匹配，试图使用它Suricata入侵检测系统将为寻求签名检测方法的用户提供更好的服务。Zeek也不是Wireshark协议分析器试图在帧级描述网络流量的每一个元素，而不是用数据包捕获（PCAP）以形式存储流量的系统。相反，Zeek位于代表小但高保真度网络日志的happy medium”（happy medium:避免任何极端情况的好选择或条件)，让人们更好地了解网络流量和使用情况。

0x01b 为什么选择zeek
Zeek为了更好地了解其基础设施使用的安全性和网络团队提供了许多优势。

在尝试检测和响应可疑和恶意活动时，安全团队通常依赖四个数据源。这些包括第三方来源，例如执法机构，同行，商业或非营利组织的威胁情报组织；网络数据; 包括云环境日志和端点数据的基础设施和应用数据。Zeek主要用于收集和分析第二种数据形式(网络数据)的平台。但这四个要素都是任何安全团队计划的重要组成部分。

当查看来自网络的数据时，分析人员可以使用四种类型的数据。根据网络安全监控范式的定义，这四种数据类型是完整的内容、事务数据、提取的内容和报警数据。使用这些数据类型，您可以记录流量，总结流量，提取流量（或更准确地提取文件形式的内容），并判断流量。

收集和分析四种类型的网络安全监控数据非常重要。这个问题已经成为确定这个目标的最佳方法之一。幸运的是，作为NSM平台的Zeek至少可以以交易数据、提取内容和以某种方式三种)，即交易数据、提取内容和报警数据。

Zeek以其交易数据而闻名。默认情况下，当运行并通知监控网络接口时，Zeek生成一组紧凑、高保真、注释丰富的事务日志集。这些日志以不受判断的政策中立的方式描述了在线协议和活动。文档将花费大量时间来描述最常见的事情Zeek为了让读者熟悉这种格式，并将其应用于其环境，日志文件。

由于Zeek具有文件提取功能，它还可以轻松地从网络流量中分割文件。然后，分析师可以将这些文件发送到执行沙箱或其他文件检查工具进行其他调查。Zeek它具有以字节为中心的传统入侵检测功能，但最适合开源Snort或Suricata引擎等程序包。Zeek它还具有其他功能，可以通过其通知机制以警报的形式进行判断。

Zeek流量没有从完整内容数据收集的角度写入磁盘进行优化，最好由满足要求的软件完成。

除了Zeek除本地收集和生成的网络数据形式外，Zeek还具有 用于一系列分析和检测任务的内置功能，以及其作为完全可定制和可扩展的流量分析平台的地位。Zeek它也很有吸引力，因为它可以在商品硬件上运行，所以所有类型的用户至少可以以低成本试用Zeek。

0x01c 架构

在很高的层次上，Zeek系统结构分为两个主要部件。其事件引擎（或核心）将传输的数据包流减少到一系列更高级别的事件。这些事件以与策略无关的方式反映了网络活动，即它们描述了所看到的内容，而不是原因或意义是否重要。

例如，线路上的每一个HTTP所有的请求都变成了相应的 http_request该事件涉及事件IP地址和端口，请求的URI使用的HTTP版本。然而，事件没有传达任何进一步的解释，例如URI对应已知的恶意软件站点。

事件发动机组件包括多个子组件，特别是包处理管道：输入源、包分析、会话分析和文件分析。输入源从网络接口摄取网络流量。从链路层开始，数据包分析处理较低级别的协议。会话分析处理应用程序层协议，如HTTP，FTP等。通过会话输的文件内容进行了分析。从Zeek核心代码库的外部添加其中的任何一个，从而可以根据需要扩展Zeek的功能。

与事件相关的语义是由Zeek脚本解释器衍生的第二个主要组件，脚本解释器执行一组Zeek定制脚本语言编写的事件处理程序。这些脚本可以表示网站的安全策略，例如当监视器检测到不同类型的活动时。

一般来说，脚本可以从输入流中获得任何所需的属性和统计信息。实际上，Zeek所有默认输出都来自发行版中包含的脚本。Zeek具有广泛特定于域的语言类型和支持功能。至关重要的是，Zeek语言允许脚本随时保持状态，从而跟踪和关联主机边界观察到的跨连接和内容的演变。Zeek脚本可以生成实时警报，还可以根据需要执行任意外部程序。人们可能会使用这个功能来触发对攻击的积极反应。

0x02 用Zeek监控
检测和响应工作流程
如前几节所述，Zeek为了提供四种网络安全监控数据中的两种，优化了开箱即用。Zeek交易数据和提取的内容数据可以日志的形式提供，无需任何主要配置。这些日志总结了遍历网络的协议和文件。Zeek也可以通知提供一定程度的报警数据，分析师可以根据需要修改Zeek创建自定义警报。但是，专用入侵检测引擎(如Suricata或Snort）可能更合适。最后，Zeek不会以pcap尽管其他开源项目确实提供了该功能，但格式收集所有内容数据。

从广义上讲，事件检测和响应始于收集安全数据，然后进行分析。在分析阶段，如果没有明确的恶意活动报警，调查人员可以进行两个广泛的调查类别：匹配和狩猎。匹配是指查询和检查安全数据以获取已知危害指标的迹象。狩猎意味着在没有妥协迹象的情况下工作，而是建立一个假设来假设对手的活动可能如何反映在安全数据中。匹配是一种容易自动化的活动。狩猎是一项难以自动化的活动，因为它依赖于网络安全实验的创建，往往需要一点人的直觉。

一般情况下，一些安全团队认为狩猎涉及查询数据来寻找破坏迹象。这实际上只是一个搜索功能，即在收集的数据中找到预期不良的匹配项。真正的狩猎涉及到更多的科学方法，需要在样本和生产数据中制定假设，然后改进过程，直到结果得到证实。结果的调查方法Zeek数据在匹配或搜索操作中起作用。分析师可以查询Zeek存储事务日志以获取危害指标并查看IP地址、用户名或HTTP用户代理字符串或Zeek在匹配数百个元素中的任何单个或组合时开始安全调查。来自网络流量。

除了匹配和搜索范式外，分析师还可以使用事件检测报警工作流Zeek。在这种情况下，IDS为了引起安全团队成员的注意，将创建警报。由于IDS报警通常只关注细节，因此分析人员需要支持数据来确定报警是否正常、可疑或恶意。分析师可以IDS警报透视到Zeek在生成的各种日志中。如果IDS警报提供了Zeek支持社区标志(社区标志)ID），分析人员可以很容易地将IDS警报绑定到特定的Zeek日志。根据Zeek分析师可以解决提供的数据。至少，分析师可以访问初始阶段IDS通知以外的数据可以加快报警验证和验证过程。

最后，分析师可以使用任何其他外部刺激因素Zeek改进验证过程的数据。例如，由于端点检测和响应，分析人员可能会注意到系统正在运行一个奇怪的过程（EDR）或防病毒代理报告。或者，分析师可能会收到来自用户或同伴的报告，该报告涉及面向用户或同伴Internet的Web可疑的服务器活动。在这两种情况下，有权访问Zeek数据分析师可以通过查询来存储它Zeek寻求所有相关系统的信息。由于不影响可疑资产的最终状态，这种安全设计模式具有很大的优势。不接触可能受到威胁的系统有两个好处。第一，入侵者破坏了资产，仍然没有意识到安全团队正在调查。其次，由于分析人员正在使用存储在设备外的日志，资产取证的完整性保持不变。

0x02a 仪器与采集
Zeek虽然旨在监控实时网络流量。Zeek可以处理以PCAP格式存储的数据包捕获，但大多数用户部署Zeek获得网络使用模的近实时洞察。管理员通过告诉Zeek“嗅探”一个或多个网络接口，并基于在这些网络接口上看到的网络流量，生成事务日志，见解和提取的文件内容，来运行Zeek。

一些用户可能选择在用于一般计算目的的单台计算机上运行Zeek，以监视进出该单台计算机的网络流量。该系统可能是用于商务目的的办公笔记本电脑，被选择用于Zeek的实验。这是熟悉Zeek创建的日志的简单方法。这种方法类似于出于相同的教育目的在自己的计算机上运行Tcpdump或Wireshark。

但是，大多数用户仅在出于网络安全监视目的而选择的计算机上运行Zeek。安全人员将该计算机称为“传感器”，他们专门选择，配置和部署该计算机以监视网络流量。他们在环境中选择一个位置，该位置可以为多台计算机提供可见性，并使用Zeek部署传感器以对该网段进行检测。

0x02b 储存和审查
当Zeek通过监视一个或多个实时网络接口或通过处理捕获文件中存储的流量来摄取网络流量时，它会创建各种日志和其他工件。默认情况下，Zeek将该数据写入通过其配置文件指定的存储位置。Zeek具备以多种格式编写日志并执行某些日志管理过程（如压缩和存档）的功能。

分析师通过查看Zeek生成的日志来使用Zeek数据。审阅方法可以像使用与底层操作系统打包在一起的文本处理工具一样简单。根据日志的格式，用户可能会应用更专业的处理工具，其中一些可以在Zeek中使用。在许多情况下，Zeek管理员会将日志发送到专门的存储并查看应用程序。这些通常统称为安全和信息事件管理（SIEM）平台。这些日志管理和SIEM平台中的某些可作为开源产品获得，而其他则可通过商业途径获得。