Phone Data Set

网络安全的数据驱动框架有 3 个元素，如下图所示：

大数据有助于保护基础设施
让我们逐一介绍一下这些步骤。

数据收集和分析

构成关键的系统以事件日志的形式生成数据资产。数据收集阶段是从所有组件（包括软件和硬件）收集这些日志。

除了基础设施中的组件之外，您还需要上下文信息。您只能通过从您直接基础设施之外收集数据来获取这些信息。例如，历史数据在这里很 孟加拉国电报数据库 有用，因为它允许您根据过去的事件生成见解。例如，使用监督学习技术，您可以根据过去的数据采取最佳措施，采取类似的步骤。



这些不同组件生成的数据（或“日志”）可以按多种不同的方式进行分类：

结构化数据：在结构化格式的情况下，实体的各个元素（或属性）以预定义且一致的方式跨时间段表示。例如，Web 服务器生成的日志（HTTP 日志）表示诸如 IP 地址、服务器完成处理请求的时间、HTTP 方法、状态代码等字段。Web 请求的所有这些属性在各个请求中都以一致的方式表示。结构化数据相对容易处理，不需要复杂的解析和预处理即可进行分析。使用结构化数据，处理速度快且效率高。

非结构化数据：这是一种自由流动的应用程序日志格式，不遵循任何预定义的结构规则。这些日志通常由应用程序生成，供正在解决问题的人使用。其目的是记录事件，而不是明确使日志可机读。这些日志需要进行大量的预处理、解析和某种形式的自然语言处理，然后才能进行分析。

半结构化数据：这是结构化数据和非结构化数据的组合，其中结构化格式中的一些属性以非结构化方式表示。信息被组织成可以轻松解析的字段，但各个字段在用于分析之前需要额外的预处理。

异常检测


当你开始收集数据时，数据中就会开始形成模式。这种模式通常保持一致，但可能会有一些波动。例如，在线零售商可能会在假日期间收到更多订单。

然而，当数据异常检测的常规模式发生意外变化时，就会触发警报和通知。可靠且准确的异常检测最重要的特征之一是它应该能够在事件发生时立即生成警报，并且事件时间和警报/通知时间之间的滞后最小。

下图根据事件和警报时间之间的时间差说明了理想的、可靠的和不可靠的异常检测组件：

大数据有助于保护基础设施
纠正和预防措施

当检测到可疑活动时，有两种响应方式。第一种情况下，警报/通知需要人工干预才能触发纠正措施。第二种情况下，系统本身会根据上下文和可接受的误差范围阈值采取一些纠正措施。