新增数据采集/接入

  1. 在顶部导航栏中选择[云服务/日志服务],进入实例列表页面。

  1. 在实例列表页面,单击实例列表的实例名称,可进入该实例的日志服务功能,默认即为日志管理页面。

  1. 在左侧树状菜单下的某个日志集项中,将鼠标悬停在[数据采集]菜单处,单击右侧加号按钮,进入新增数据采集页面。

  1. 数据采集主要支持SYSLOGBEATSLOGSTASHDATABASE等日志类型。

SYSLOG

接入遵循SYSLOG规范的数据,用于支持日志集功能的搜索分析。SYSLOG是一种日志标准,主流设备厂商、甚至一些业务系统都会遵循此规范来产生日志。根据设备类型选择新建对应的采集任务,或选择“自定义”新建未适配过的SYSLOG采集任务。

表-1 SYSLOG采集参数说明

参数

说明

采集配置

IP地址

syslog日志的来源IP,即网络设备IP,可以直接输入设备IP地址

解析配置

解析规则

根据选择的设备日志类型,选择对应的解析规则,如果“自定义”syslog采集任务,需要先创建解析规则,然后在配置syslog任务的时候手动选择合适的解析规则

运行主机

从下拉列表中,指定采集程序运行的主机,可以从[数据接入]页面进行添加

存储配置

存储到索引

  • 勾选生效。根据选择的设备日志类型,会自动关联索引模板。未适配过的,需要手动根据设备厂商、类型、型号、日志类型等录入索引名称,系统根据这些自动生成索引模板名称

  • 通过下拉框选择索引生成周期

完成

任务名称

描述改采集任务的名称,20个字符以内

 

BEATS

通过主流采集工具Elastic beats获取宿主机数据。Beats由于其功能强大,侵入性小而被众多厂商使用,本系统也支持通过Beats工具采集宿主机数据。

1.      Filebeat采集

表-2 Filebeat采集参数说明

参数

说明

选择设备

宿主机列表

单击选择宿主机,选择需要被采集的目标主机,可选择多个

采集路径

输入待采集的文件路径

文件编码

选择文件编码类型,默认是UTF-8

文本多行匹配正则

用于正确解析文本换行模式,可直接在解析规则中编写。可以将多行日志作为一条日志进行处理,默认每一行作为一条记录

采集配置

运行主机

采集程序运行主机,可以通过[数据接入]页面进行添加

接收端口

采集程序接收数据的端口,端口号输入0~65535之间的数字,注意端口冲突

解析配置

解析规则

选择合适的解析规则,如果没有需手动创建

存储配置

存储到索引

  • 勾选生效。需要手动创建索引模板名称并选择该模板

  • 通过下拉框选择索引生成周期

完成

任务名称

描述该采集任务,20个字符以内

日志类型

单击下拉框,可以选择采集任务对应的日志类别

 

2.      Winlogbeat采集

表-3 Winlogbeat采集参数说明

参数

说明

采集配置

运行主机

采集程序运行主机,需要选用Winlogbeat配置的日志接收主机

接收端口

  • 采集程序接收数据的端口,端口号输入0~65535之间的数字,注意端口冲突

  • 需要和Winlogbeat的发送端口一致

解析配置

解析规则

选择合适的解析规则,如果没有需手动创建,默认为不解析

存储配置

存储到索引

  • 勾选生效。需要手动创建索引模板名称并选择该模板

  • 通过下拉框选择索引生成周期

完成

任务名称

描述该采集任务,20个字符以内

日志类型

单击下拉框,可以选择采集任务对应的日志类别

 

3.      Filebeat容器采集

表-4 Filebeat容器采集参数说明

参数

说明

选择容器

kubernetes集群

选择共享或独享集群。共享集群即云平台的容器可用域,独享集群即通过云容器引擎创建的Kubernetes集群

Kubernetes标准输出

采集容器的标准输出日志

容器内日志文件

采集容器内部的文件日志

采集路径

输入待采集的容器内部的文件路径

采集条件

提供部分Pod的基本信息作为采集条件,判断条件支持equalscontainsregexpnot,并且支持多条件并列,支持使用andor进行关联。当使用kubernetes.labels采集条件时,条件值必须是key:value格式。当使用regexpnot regexp判断条件时,条件值必须是正确的正则表达式。可使用“kubernetes.namespace regexp .*”采集条件采集集群中所有容器日志

查看匹配到的Pod列表

当采集条件输入完成后,可点击该按钮查看当前匹配到的被采集Pod

文件编码

选择文件编码类型,默认是UTF-8

文本多行匹配正则

用于正确解析文本换行模式,可直接在解析规则中编写。可以将多行日志作为一条日志进行处理,默认每一行作为一条记录

采集配置

运行主机

采集程序运行主机,可以通过[数据接入]页面进行添加

接收端口

采集程序接收数据的端口,端口号输入0~65535之间的数字,注意端口冲突

解析配置

解析规则

选择合适的解析规则,如果没有需手动创建

存储配置

存储到索引

  • 勾选生效。需要手动创建索引模板名称并选择该模板

  • 通过下拉框选择索引生成周期

完成

任务名称

描述该采集任务,20个字符以内

日志类型

单击下拉框,可以选择采集任务对应的日志类别

 

 

LOGSTASH

通过Logstash工具接入并处理数据。Logstash作为一款灵活性强的解析工具,对接方式多,稳定性好,被众多厂商使用。系统可以使用其接入内外部数据并解析存储。

1.      Beats采集/UDP采集

表-5 Beats采集/UDP采集参数说明

参数

说明

采集配置

运行主机

采集程序运行主机,可以通过[数据接入]页面进行添加

监听端口

用于监听并接收Beats/UDP数据的主机端口

解析配置

解析规则

选择所需的解析规则,如果没有支持手动创建

存储配置

存储到索引

  • 勾选生效。需要手动输入数据输出的目的索引模板

  • 通过下拉框选择索引生成周期

完成

任务名称

描述该采集任务,20个字符以内

 

DATABASE

针对数据库类型的操作日志信息采集。当前仅支持MySQL binlog日志信息采集,且数据库必须已开启binlog服务。

1.      MySQL binlog采集

表-6 参数说明

参数

说明

采集配置

运行主机

采集程序运行主机,可以通过[数据接入]页面进行添加

数据库IP地址

MySQL数据库IP地址

数据库端口

MySQL数据库端口

数据库用户名

MySQL数据库用户名

数据库密码

MySQL数据库密码

解析配置

解析规则

选择所需的解析规则,如果没有支持手动创建

存储配置

存储到索引

  • 勾选生效。需要手动输入数据输出的目的索引模板

  • 通过下拉框选择索引生成周期

完成

任务名称

描述该采集任务,20个字符以内

日志类型

被采集设备日志分类

 

配置参数填写完成后,核对右侧向导提示信息,然后单击<保存|执行>按钮,即可完成采集任务创建。