在顶部导航栏中选择[云服务/日志服务],进入实例列表页面。
在实例列表页面,单击实例列表的实例名称,可进入该实例的日志服务功能,默认即为日志管理页面。
在左侧树状菜单下的某个日志集项中,将鼠标悬停在[数据采集]菜单处,单击右侧加号按钮,进入新增数据采集页面。
接入遵循SYSLOG规范的数据,用于支持日志集功能的搜索分析。SYSLOG是一种日志标准,主流设备厂商、甚至一些业务系统都会遵循此规范来产生日志。根据设备类型选择新建对应的采集任务,或选择“自定义”新建未适配过的SYSLOG采集任务。
表-1 SYSLOG采集参数说明
参数 |
说明 |
|
采集配置 |
源IP地址 |
syslog日志的来源IP,即网络设备IP,可以直接输入设备IP地址 |
解析配置 |
解析规则 |
根据选择的设备日志类型,选择对应的解析规则,如果“自定义”syslog采集任务,需要先创建解析规则,然后在配置syslog任务的时候手动选择合适的解析规则 |
运行主机 |
从下拉列表中,指定采集程序运行的主机,可以从[数据接入]页面进行添加 |
|
存储配置 |
存储到索引 |
|
完成 |
任务名称 |
描述改采集任务的名称,20个字符以内 |
通过主流采集工具Elastic beats获取宿主机数据。Beats由于其功能强大,侵入性小而被众多厂商使用,本系统也支持通过Beats工具采集宿主机数据。
表-2 Filebeat采集参数说明
参数 |
说明 |
|
选择设备 |
宿主机列表 |
单击选择宿主机,选择需要被采集的目标主机,可选择多个 |
采集路径 |
输入待采集的文件路径 |
|
文件编码 |
选择文件编码类型,默认是UTF-8 |
|
文本多行匹配正则 |
用于正确解析文本换行模式,可直接在解析规则中编写。可以将多行日志作为一条日志进行处理,默认每一行作为一条记录 |
|
采集配置 |
运行主机 |
采集程序运行主机,可以通过[数据接入]页面进行添加 |
接收端口 |
采集程序接收数据的端口,端口号输入0~65535之间的数字,注意端口冲突 |
|
解析配置 |
解析规则 |
选择合适的解析规则,如果没有需手动创建 |
存储配置 |
存储到索引 |
|
完成 |
任务名称 |
描述该采集任务,20个字符以内 |
日志类型 |
单击下拉框,可以选择采集任务对应的日志类别 |
表-3 Winlogbeat采集参数说明
参数 |
说明 |
|
采集配置 |
运行主机 |
采集程序运行主机,需要选用Winlogbeat配置的日志接收主机 |
接收端口 |
|
|
解析配置 |
解析规则 |
选择合适的解析规则,如果没有需手动创建,默认为不解析 |
存储配置 |
存储到索引 |
|
完成 |
任务名称 |
描述该采集任务,20个字符以内 |
日志类型 |
单击下拉框,可以选择采集任务对应的日志类别 |
表-4 Filebeat容器采集参数说明
参数 |
说明 |
|
选择容器 |
kubernetes集群 |
选择共享或独享集群。共享集群即云平台的容器可用域,独享集群即通过云容器引擎创建的Kubernetes集群 |
Kubernetes标准输出 |
采集容器的标准输出日志 |
|
容器内日志文件 |
采集容器内部的文件日志 |
|
采集路径 |
输入待采集的容器内部的文件路径 |
|
采集条件 |
提供部分Pod的基本信息作为采集条件,判断条件支持equals、contains、regexp、not,并且支持多条件并列,支持使用and、or进行关联。当使用kubernetes.labels采集条件时,条件值必须是key:value格式。当使用regexp或not regexp判断条件时,条件值必须是正确的正则表达式。可使用“kubernetes.namespace regexp .*”采集条件采集集群中所有容器日志 |
|
查看匹配到的Pod列表 |
当采集条件输入完成后,可点击该按钮查看当前匹配到的被采集Pod |
|
文件编码 |
选择文件编码类型,默认是UTF-8 |
|
文本多行匹配正则 |
用于正确解析文本换行模式,可直接在解析规则中编写。可以将多行日志作为一条日志进行处理,默认每一行作为一条记录 |
|
采集配置 |
运行主机 |
采集程序运行主机,可以通过[数据接入]页面进行添加 |
接收端口 |
采集程序接收数据的端口,端口号输入0~65535之间的数字,注意端口冲突 |
|
解析配置 |
解析规则 |
选择合适的解析规则,如果没有需手动创建 |
存储配置 |
存储到索引 |
|
完成 |
任务名称 |
描述该采集任务,20个字符以内 |
日志类型 |
单击下拉框,可以选择采集任务对应的日志类别 |
通过Logstash工具接入并处理数据。Logstash作为一款灵活性强的解析工具,对接方式多,稳定性好,被众多厂商使用。系统可以使用其接入内外部数据并解析存储。
表-5 Beats采集/UDP采集参数说明
参数 |
说明 |
|
采集配置 |
运行主机 |
采集程序运行主机,可以通过[数据接入]页面进行添加 |
监听端口 |
用于监听并接收Beats/UDP数据的主机端口 |
|
解析配置 |
解析规则 |
选择所需的解析规则,如果没有支持手动创建 |
存储配置 |
存储到索引 |
|
完成 |
任务名称 |
描述该采集任务,20个字符以内 |
针对数据库类型的操作日志信息采集。当前仅支持MySQL binlog日志信息采集,且数据库必须已开启binlog服务。
表-6 参数说明
参数 |
说明 |
|
采集配置 |
运行主机 |
采集程序运行主机,可以通过[数据接入]页面进行添加 |
数据库IP地址 |
MySQL数据库IP地址 |
|
数据库端口 |
MySQL数据库端口 |
|
数据库用户名 |
MySQL数据库用户名 |
|
数据库密码 |
MySQL数据库密码 |
|
解析配置 |
解析规则 |
选择所需的解析规则,如果没有支持手动创建 |
存储配置 |
存储到索引 |
|
完成 |
任务名称 |
描述该采集任务,20个字符以内 |
日志类型 |
被采集设备日志分类 |