H3C SecCenter CSAP-SA系列 综合日志审计平台

自定义适配规则典型配置

目  录

1 简介

2 配置前提

3 自定义适配规则配置举例

3.1 组网需求

3.2 配置思路

3.3 配置注意事项

3.4 配置步骤

3.5 验证配置

1  简介

本文档介绍综合日志审计平台自定义适配规则配置案例。日志适配规则用于对平台采集到的日志进行归类，并从中提取重要字段信息，解析成本平台能够识别的格式。

2  配置前提

本文档不严格与具体软、硬件版本对应，如果使用过程中与产品实际情况有差异，请参考相关产品手册，或以设备实际情况为准。

本文档中的配置均是在实验室环境下进行的配置和验证，配置前设备的所有参数均采用出厂时的缺省配置。如果您已经对设备进行了配置，为了保证配置效果，请确认现有配置和以下举例中的配置不冲突。

本文档假设您已了解综合日志审计平台的相关特性。

3  自定义适配规则配置举例

3.1  组网需求

3.2  配置思路

(1)      新增自定义正则匹配适配规则；

(2)      验证自定义正则匹配适配规则生效；

(3)      新增JSON匹配自定义适配规则；

(4)      验证自定义JSON匹配适配规则生效；

(5)      新增自定义键值对匹配适配规则；

(6)      验证自定义键值对匹配适配规则生效；

3.3  配置注意事项

·         同一系列的设备共用自定义适配规则，无需重复配置。详细系列信息请参见联机帮助设备系列表，以查看设备是否属于同一系列及其他相关信息。

·         选择预定义设备新增自定义适配规则时，系统会优先使用自定义适配规则进行日志适配。

·         JSON匹配中输入的日志样本只支持简单值的格式，不支持对象、数组等复杂格式。

·         同一设备下不能同时配置JSON匹配和键值对匹配规则。

·         规则类型选择键值对匹配和JSON匹配时，系统自动填充正则表达式，如该正则表达式与日志样本不匹配，则用户可根据日志样本手动修改正则表达式。

·         日志类型关键字段列表，若新增配置多个日志类型，字段取值相同，映射日志类型不同时，只会解析为其中一种日志类型。

·         日志字段映射列表，若配置的映射字段相同，原始字段不同时，只会解析映射其中一个原始字段。

·         配置映射字段值列表，若配置的原始值相同，映射值不同时，只会解析映射其中一个映射值。

3.4  配置步骤

系统支持自定义适配规则的类型有三种：正则匹配、键值对匹配、JSON匹配，下面将对该三种规则类型分别进行配置举例，请用户根据实际情况选择。

1. 新增自定义正则匹配适配规则

选择“配置中心 > 数据源管理 > 适配规则管理 ”进入适配规则管理页面。

(1)      配置自定义适配规则基础信息并进行正则匹配

a.   点击“新增”，进入“新增适配规则”界面，在 “新增适配规则”页面配置规则参数，选择需要该自定义适配规则关联的资产类型、厂商、型号以及规则类型，其中规则类型选择“正则匹配”。

b.   输入日志样本，本例日志样本为：

<190>Feb 25 10:13:43 internet2-F5000 %%10SHELL/5/SHELL_LOGIN[1]:admin logged in from 186.64.0.46.

c.   输入正则表达式，本例匹配上述样本的正则表达式为：

\<\d+\>(?<time>\w+\s*\d+\s+\d+\:\d+\:\d+)\s+(?<host>\S+)\s*%%\d+(?<module_name>\w+)\/\d\/(?<second_module>\w+\_\w+)\[\d*\]\:\s*(?<username>[\w\_\d]+)\s*(?<action>\w+\s+\w+)\s*\w+\s*(?<login_ip>\d+\.\d+\.\d+\.\d+)

d.   然后点击“正则表达式”输入框后“匹配”按钮，进行匹配，完成第一阶段配置。匹配成功后，在“日志类型关键字段”列表可以查看到匹配出的字段名称和取值。

¡  规则名称：适配规则的名称。

¡  资产类型：选择设备所属的分类，例如防火墙等。

¡  厂商：选择设备的生产厂商。

¡  型号：选择设备的型号。

¡  规则类型：适配规则的类型，包括正则匹配、键值对匹配和JSON匹配三种，默认为正则匹配。

¡  日志样本：用于适配的设备日志样例。

¡  正则表达式：用于提取日志样本中原始日志字段信息的正则表达式。

¡  匹配：输入日志样本与正则表达式之后，单击<匹配>按钮，系统会使用配置的正则表达式来提取日志样本中的原始日志字段信息。

(2)      进行日志类型关键字段配置

日志类型关键字段配置用于展示提取出的原始日志字段与平台支持的日志类型的映射关系，即日志字段所属的日志类型。

a.   日志样本与正则表达式匹配成功后，日志类型关键字段列表默认展示一行配置数据，选择指定的字段名称，设置该字段的取值对日志类型的对应关系，即完成该日志字段与日志类型的映射关系。例如，字段名称选择“module_name”,当取值是“SHELL”时，日志类型选择“网元操作日志”，即根据“module_name”字段当前的取值来判断该条日志为网元操作日志。其中，当一个日志字段有多种取值并对应多种日志类型时，可多次单击<新增>按钮，添加日志字段并填写对应取值与多个日志类型的映射关系。

¡  字段名称：根据正则表达式中捕获出来的原始日志字段名称。

¡  字段取值：根据正则表达式提取出的日志样本中对应原始日志字段的取值。

¡  日志类型：原始日志字段值所属的日志类型。

(3)      配置日志字段映射关系

a.   配置完日志类型关键字段后，需要针对每一条日志类型关键字段映射关系配置日志字段映射关系，点击日志类型关键字段列表操作列中“编辑”按钮，进入“日志字段映射”页面

b.   在“日志字段映射”页面，配置将原始日志字段映射为该类型日志的某个具体日志字段，则规则保存后，即可根据当前配置的映射关系进行解析日志。

¡  原始字段名称：原始日志字段的名称。

¡  原始字段值：原始日志字段的取值。

¡  映射字段名称：原始日志字段需要映射的目标日志字段名称，目标日志字段为当前日志类型所支持的字段。

¡  映射方式：原始日志字段与映射字段的映射方式，取值包括时间、赋值和值映射。系统会根据映射字段名称自动选择相应的映射方式。

¡  时间：当映射字段为XXX时间时，例如“日志产生时间”，系统会以时间的方式显示映射字段的取值。用户可在“映射字段值”列选择时间的显示格式，bb代表月份的缩写，如四月：Apr，dd代表日期，mm代表月份的数字表示形式，如四月：04。bb dd HH:MM:SS YYYY对应时间举例为：Apr 24 10:00:00 2023，YYYY-mm-dd HH:MM:SS对应时间举例为：2023-04-24 10:00:00。

¡  赋值：系统直接将原始字段的取值赋予给映射字段，例如映射字段名称为“源IP”、“用户名”等。

¡  值映射：系统将原始字段的值转换为制定的字符串赋予给映射字段，用户可通过单击“映射字段值”列下<配置>按钮，编辑原始值和映射值。例如，当映射字段为日志等级时，可将原始字段中的“1”映射为“严重信息”。当原始字段有多个取值时，可通过单击右侧的<新增>按钮，添加多个原始值和映射值。

¡  映射字段值：映射字段的取值。

(4)      保存规则

完成步骤（1）~（3）的配置后，点击保存规则，即可配置成功。

2. 验证自定义正则匹配适配规则有效性

(1)      新增被动采集日志源关联上述资产型号

(2)      构造日志发送至平台验证解析情况

可以使用UDPServer软件进行回放，使用配置规则时使用的日志样本（注意修改日志样本中的时间为当前时间）

<190>May 24 10:13:43 internet2-F5000 %%10SHELL/5/SHELL_LOGIN[1]:admin logged in from 186.64.0.46.

3. 新增自定义JSON匹配适配规则

选择“配置中心 > 数据源管理 > 适配规则管理 ”进入适配规则管理页面。

(1)      配置自定义适配规则基础信息并进行正则匹配

a.   点击“新增”，进入“新增适配规则”界面，在 “新增适配规则”页面配置规则参数，选择需要该自定义适配规则关联的资产类型、厂商、型号以及规则类型，其中规则类型选择“JSON匹配”。

b.   输入日志样本，本例日志样本为：

{

"log_category":0,

"login_ip":"186.64.0.17",

"occur_time":1716524623,

"operate_category":0,

"operate_content":"logged out",

"operate_result":0,

"operator":"admin",

"severity":6,

}

c.   配置正则表达式：JSON匹配系统存在内置的正则表达式，使用内置的即可。

d.   然后点击“正则表达式”输入框后“匹配”按钮，进行匹配，完成第一阶段配置。匹配成功后，在“日志类型关键字段”列表可以查看到匹配出的字段名称和取值。

¡  规则名称：适配规则的名称。

¡  资产类型：选择设备所属的分类，例如防火墙等。

¡  厂商：选择设备的生产厂商。

¡  型号：选择设备的型号。

¡  规则类型：适配规则的类型，包括正则匹配、键值对匹配和JSON匹配三种，默认为正则匹配。

¡  日志样本：用于适配的设备日志样例。

¡  正则表达式：用于提取日志样本中原始日志字段信息的正则表达式。

¡  匹配：输入日志样本与正则表达式之后，单击<匹配>按钮，系统会使用配置的正则表达式来提取日志样本中的原始日志字段信息。

(2)      进行日志类型关键字段配置

日志类型关键字段配置用于展示提取出的原始日志字段与平台支持的日志类型的映射关系，即日志字段所属的日志类型。

a.   日志样本与正则表达式匹配成功后，日志类型关键字段列表默认展示一行配置数据，选择指定的字段名称，设置该字段的取值对日志类型的对应关系，即完成该日志字段与日志类型的映射关系。例如，字段名称选择“log_category”,当取值是“0”时，日志类型选择“网元操作日志”，即根据“log_category”字段当前的取值来判断该条日志为网元操作日志。其中，当一个日志字段有多种取值并对应多种日志类型时，可多次单击<新增>按钮，添加日志字段并填写对应取值与多个日志类型的映射关系。

¡  字段名称：根据正则表达式中捕获出来的原始日志字段名称。

¡  字段取值：根据正则表达式提取出的日志样本中对应原始日志字段的取值。

¡  日志类型：原始日志字段值所属的日志类型。

(3)      配置日志字段映射关系

a.   配置完日志类型关键字段后，需要针对每一条日志类型关键字段映射关系配置日志字段映射关系，点击日志类型关键字段列表操作列中“编辑”按钮，进入“日志字段映射”页面

b.   在“日志字段映射”页面，配置将原始日志字段映射为该类型日志的某个具体日志字段，则规则保存后，即可根据当前配置的映射关系进行解析日志。

¡  原始字段名称：原始日志字段的名称。

¡  原始字段值：原始日志字段的取值。

¡  映射字段名称：原始日志字段需要映射的目标日志字段名称，目标日志字段为当前日志类型所支持的字段。

¡  映射方式：原始日志字段与映射字段的映射方式，取值包括时间、赋值和值映射。系统会根据映射字段名称自动选择相应的映射方式。

¡  时间：当映射字段为XXX时间时，例如“日志产生时间”，系统会以时间的方式显示映射字段的取值。用户可在“映射字段值”列选择时间的显示格式，bb代表月份的缩写，如四月：Apr，dd代表日期，mm代表月份的数字表示形式，如四月：04。bb dd HH:MM:SS YYYY对应时间举例为：Apr 24 10:00:00 2023，YYYY-mm-dd HH:MM:SS对应时间举例为：2023-04-24 10:00:00。

¡  赋值：系统直接将原始字段的取值赋予给映射字段，例如映射字段名称为“源IP”、“用户名”等。

¡  值映射：系统将原始字段的值转换为制定的字符串赋予给映射字段，用户可通过单击“映射字段值”列下<配置>按钮，编辑原始值和映射值。例如，当映射字段为日志等级时，可将原始字段中的“1”映射为“严重信息”。当原始字段有多个取值时，可通过单击右侧的<新增>按钮，添加多个原始值和映射值。

¡  映射字段值：映射字段的取值。

(4)      保存规则

完成步骤（1）~（3）的配置后，点击保存规则，即可配置成功。

4. 验证自定义正则匹配适配规则有效性

(1)      新增被动采集日志源关联上述资产型号

(2)      构造日志发送至平台验证解析情况

构造日志发送至平台，验证JSON格式日志解析情况，使用配置规则时使用的日志样本（注意修改日志样本中的时间为当前时间）

{

"log_category":0,

"login_ip":"186.64.0.17",

"occur_time":1716524623,

"operate_category":0,

"operate_content":"logged out",

"operate_result":0,

"operator":"admin",

"severity":6,

}

Ps：如果使用UDPServer回放JSON类型的日志，需要把日志样本格式改造成一行，示例如下：

{"log_category":0,"login_ip":"186.64.0.17","occur_time":1716524623,"operate_category":0,"operate_content":"logged out","operate_result":0,"operator":"admin","severity":6,}

5. 新增自定义键值对匹配适配规则

选择“配置中心 > 数据源管理 > 适配规则管理 ”进入适配规则管理页面。

(1)      配置自定义适配规则基础信息并进行正则匹配

a.   点击“新增”，进入“新增适配规则”界面，在 “新增适配规则”页面配置规则参数，选择需要该自定义适配规则关联的资产类型、厂商、型号以及规则类型，其中规则类型选择“键值对匹配”。

b.   输入日志样本，本例日志样本为：

log_category=operate_log,login_ip=186.64.0.17,occur_time=2024-02-24 13:00:00,operate_category=login,operate_content=login in,operate_result=success,operator=admin,severity=info

c.   配置正则表达式：根据日志样本中连接符和分隔符，选择对应的连接符和分隔符，在正则表达式输入框中会根据选择的连接符和分隔符显示对应的内置正则表达式，使用内置的即可，如果内置的匹配不成功，则用户可以自行修改。

d.   然后点击“正则表达式”输入框后“匹配”按钮，进行匹配，完成第一阶段配置。匹配成功后，在“日志类型关键字段”列表可以查看到匹配出的字段名称和取值。

¡  规则名称：适配规则的名称。

¡  资产类型：选择设备所属的分类，例如防火墙等。

¡  厂商：选择设备的生产厂商。

¡  型号：选择设备的型号。

¡  规则类型：适配规则的类型，包括正则匹配、键值对匹配和JSON匹配三种，默认为正则匹配。

¡  连接符：规则类型选择键值对匹配时，用于日志中连接键值对的连接符。

¡  分隔符：规则类型选择键值对匹配时，用于日志中分隔键值对的分隔符。

¡  日志样本：用于适配的设备日志样例。

¡  正则表达式：用于提取日志样本中原始日志字段信息的正则表达式。

¡  匹配：输入日志样本与正则表达式之后，单击<匹配>按钮，系统会使用配置的正则表达式来提取日志样本中的原始日志字段信息。

(2)      进行日志类型关键字段配置

日志类型关键字段配置用于展示提取出的原始日志字段与平台支持的日志类型的映射关系，即日志字段所属的日志类型。

a.   日志样本与正则表达式匹配成功后，日志类型关键字段列表默认展示一行配置数据，选择指定的字段名称，设置该字段的取值对日志类型的对应关系，即完成该日志字段与日志类型的映射关系。例如，字段名称选择“log_category”,当取值是“operate_log”时，日志类型选择“网元操作日志”，即根据“log_category”字段当前的取值来判断该条日志为网元操作日志。其中，当一个日志字段有多种取值并对应多种日志类型时，可多次单击<新增>按钮，添加日志字段并填写对应取值与多个日志类型的映射关系。

¡  字段名称：根据正则表达式中捕获出来的原始日志字段名称。

¡  字段取值：根据正则表达式提取出的日志样本中对应原始日志字段的取值。

¡  日志类型：原始日志字段值所属的日志类型。

(3)      配置日志字段映射关系

a.   配置完日志类型关键字段后，需要针对每一条日志类型关键字段映射关系配置日志字段映射关系，点击日志类型关键字段列表操作列中“编辑”按钮，进入“日志字段映射”页面

b.   在“日志字段映射”页面，配置将原始日志字段映射为该类型日志的某个具体日志字段，则规则保存后，即可根据当前配置的映射关系进行解析日志。

¡  原始字段名称：原始日志字段的名称。

¡  原始字段值：原始日志字段的取值。

¡  映射字段名称：原始日志字段需要映射的目标日志字段名称，目标日志字段为当前日志类型所支持的字段。

¡  映射方式：原始日志字段与映射字段的映射方式，取值包括时间、赋值和值映射。系统会根据映射字段名称自动选择相应的映射方式。

¡  时间：当映射字段为XXX时间时，例如“日志产生时间”，系统会以时间的方式显示映射字段的取值。用户可在“映射字段值”列选择时间的显示格式，bb代表月份的缩写，如四月：Apr，dd代表日期，mm代表月份的数字表示形式，如四月：04。bb dd HH:MM:SS YYYY对应时间举例为：Apr 24 10:00:00 2023，YYYY-mm-dd HH:MM:SS对应时间举例为：2023-04-24 10:00:00。

¡  赋值：系统直接将原始字段的取值赋予给映射字段，例如映射字段名称为“源IP”、“用户名”等。

¡  值映射：系统将原始字段的值转换为制定的字符串赋予给映射字段，用户可通过单击“映射字段值”列下<配置>按钮，编辑原始值和映射值。例如，当映射字段为日志等级时，可将原始字段中的“1”映射为“严重信息”。当原始字段有多个取值时，可通过单击右侧的<新增>按钮，添加多个原始值和映射值。

¡  映射字段值：映射字段的取值。

(4)      保存规则

完成步骤（1）~（3）的配置后，点击保存规则，即可配置成功。

6. 验证自定义键值对匹配适配规则有效性

(1)      新增被动采集日志源关联上述资产型号

(2)      构造日志发送至平台验证解析情况

构造日志发送至平台，验证JSON格式日志解析情况，使用配置规则时使用的日志样本（注意修改日志样本中的时间为当前时间）

log_category=operate_log,login_ip=186.64.0.17,occur_time=2024-02-24 13:00:00,operate_category=login,operate_content=login in,operate_result=success,operator=admin,severity=info

3.5  验证配置

1. 验证自定义正则匹配适配规则有效

当平台上报的日志符合配置的自定义正则匹配适配规则时，可以正确按照自定义正则匹配规则解析正确。本例中日志解析为“网元操作日志”，且字段解析正确：

2. 验证自定义JSON匹配适配规则有效

当平台上报的日志符合配置的自定义JSON匹配适配规则时，可以正确按照自定义JSON匹配规则解析正确。本例中日志解析为“网元操作日志”，且字段解析正确：

3. 验证自定义键值对匹配适配规则有效

当平台上报的日志符合配置的自定义键值对匹配适配规则时，可以正确按照自定义键值对匹配规则解析正确。本例中日志解析为“网元操作日志”，且字段解析正确：