IT运维：使用数据分析平台监控深信服防火墙

概述

深信服防火墙自身监控可以满足绝大部分需求，比如哪个应用占了最大带宽，哪个用户访问了哪些网站？这里我们为什么使用鸿鹄呢？因为我们要的是数据的处理和分析，比如某个用户在某个事件都做了哪些行为，这个在防火墙上去查看日志是巨大的工作量，效率低，费时长，且容易错漏。而这个恰恰是鸿鹄擅长。我们在运维中不能仅仅关注在监控上，更扩展到安全上，从而保证整个基础架构的稳定、安全运行。

监控目标

收集并保存防火墙设备的日志，满足等保要求

监控防火墙的登录安全

监控防火墙的配置安全

提供基于用户或IP或其他关键字的搜索，强化安全

安装vector

Vector作为数据采集器，可以接收设备的syslog日志，并转发鸿鹄平台。Vector配置方法参考下文：

安装Vector

查看安装后vector版本，确认安装成功

vector安装好后，直接执行vector 时，系统首先会去/usr/bin下寻找命令，如果不在这个目录中，就会找不到了。这个时候我们就需要为这些找不到的命令建立一个链接文件，链接到/usr/bin下

登录鸿鹄平台，数据管理>新建数据集

编辑数据源名称，选择数据集范围为上面创建的“switch”，此时会启用

创建syslog.toml脚本，需要调整字段

address = "0.0.0.0:514"：0.0.0.0表示接收所有主机发送过来的syslog，514表示接收的端口（syslog默认为514）

mode = "udp"：表示接收syslog的协议syslog默认为udp）

._target_table = "switch" : 表示上文你创建的数据集名称

address = "172.20.6.111:9092"：鸿鹄的IP和相应的端口

运行修改的syslog脚本，注意保持运行状态。

登录交换机触发syslog（注：登录交换机输入命令都会自动触发syslog）。登录鸿鹄平台查看数据是否导入到switch数据集。如下图事件计数已经显示数据导入成功

查询下通过vector导入到switch数据集的数据

配置防火墙syslog

syslog配置>填写鸿鹄IP和端口号>应用

字段抽取

深信服由于是国产防火墙，防火墙日志字段很多包含中文，因此我们需要再次抽取字段。字段抽取的逻辑是，先通过sql语句创建视图，视图生成后我们就可以直接调用视图里的字段，它实际日志仍旧存放在原数据集。

我们先分析下日志格式。

通过以下两条日志我们可以看到，日志格式后半段的格式是不一样的，针对这种情况，我这里的做法是，先抽取共性字段，再单独逐个抽取不同类型的日志字段。

以该日志为例

共性字段抽取

以该日志为例

sangfor_syslog，这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集，这里需要根据你的数据集名称替换

where contains( switch._message, '日志类型') '日志类型'指的是你要搜索到这个写日志特定的字段，通过’日志类型‘可以限定日志里所有包含'日志类型'的日志

正则表达式如何写以及测试

访问https://regex101.com/，在REGULAR EXPRESSION里填写正则表达式，或直接在这里写

在TESTING STRING里输入日志，可以直接从鸿鹄上拷贝相关的日志

正则表达式如果是正确的，会生成对应的颜色，以及右下角会Match information里会显示抽取的字段名和字段内容

在高阶查询中运行，成功

在视图里可以查看到我们创建的sangfor_syslog的视图

我们运行搜索语句测试下，同时在红色部分可以看到我们抽取出来的字段

NAT字段抽取

以该日志为例

sangfor_nat_syslog，这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集，这里需要根据你的数据集名称替换

where contains( switch._message, 'NAT') '日志类型'指的是你要搜索到这个写日志特定的字段，通过NAT可以限定日志里所有包含NAT的日志

正则表达式如何写以及测试

访问https://regex101.com/，在REGULAR EXPRESSION里填写正则表达式，或直接在这里写

在TESTING STRING里输入日志，可以直接从鸿鹄上拷贝相关的日志

正则表达式如果是正确的，会生成对应的颜色，以及右下角会Match information里会显示抽取的字段名和字段内容，

注意：正则表达式写的时候抽取字段，group一定都要命名，不然就不要定义为group。比如下面的正则表达式，由于红色部分选择了抽取，确又没有定义字段名称，那么鸿鹄在抽取匹配字段时就会异常，虽然结果是成功的，但是字段都没有抽取出来。

(?\w{3}\s\d{2}\s\d{2}:\d{2}:\d{2})\s\w+\s(?\w+):\s\D{4}:(?\D{5}),\s\D{5}:(?\w+),\s\D{3}:(?\d+.\d+.\d+.\d+),\s\D{3}:(?\d+),\s\D{4}:(?\d+.\d+.\d+.\d+),\s\D{4}:(?\d+),\s\D{2}:(\d+),\s\D{6}:(?\d+.\d+.\d+.\d+),\s\D{6}:(?\d+)$