• 产品与解决方案
  • 行业解决方案
  • 服务
  • 支持
  • 合作伙伴
  • 关于我们

H3C SecPath SSMS 服务器安全监测系统 故障处理手册(E6405)-5W100

手册下载

H3C SecPath SSMS 服务器安全监测系统 故障处理手册(E6405)-5W100-整本手册.pdf  (1.26 MB)

  • 发布时间:2025-03-19
  • 浏览量:185
  • 下载量:5

H3C SecPath SSMS 服务器安全监测系统

故障处理手册

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Copyright © 2025技术有限公司 版权所有,保留一切权利。

非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。

除新华三技术有限公司的商标外,本手册中出现的其它公司的商标、产品标识及商品名称,由各自权利人拥有。

本文档中的信息可能变动,恕不另行通知。



1 服务器安全监测系统服务端故障处理

1.1  服务端某服务异常

1.1.1  故障描述

服务器安全监测系统服务端某服务出现异常导致安全管理平台出现不可用状态

1.1.2  故障处理步骤

1. 方法一

登录服务器安全监测系统的6110端口web界面,选择服务管理----服务器监控,点击重新检查,如下图:

 

点击安全服务信息查看各个服务状态信息,如下图:

1595314504(1)

¡ 如果有服务出现异常则可通过 服务管理----服务器监控----重启异常服务 进行异常服务的重启

2. 方法二

¡ 登录服务器安全监测系统服务端执行如下命令:

/data/app/www/titan-web/config_scripts/titan_system_check.py -a   | more

输出各服务状态信息如下为code=200即服务运行正常:

¡ 如果有服务出现异常则可通过以下服务重启命令进行相应服务的重启,重启中间件即可。

(1)     PHP服务

·     /etc/init.d/php-fpm     restart

·     systemctl restart nginx

·     /etc/init.d/supervisord  restart

·     /etc/init.d/redis6379d   restart

·     /etc/init.d/redis6380d   restart

以上123条对应安全管理平台6110界面的PHP服务,如6110界面任意PHP相关服务出现异常则需执行123 三个命令进行重启。45 两条命令对应redis_php服务,可通过执行titan_system_check.py脚本检测运行状态如果出现异常则需执行45两条命令重启。

(2)     JAVA服务

·     /etc/init.d/kafkad       restart

·     /etc/init.d/zookeeperd   restart

·     /etc/init.d/wisteria      restart

·     /etc/init.d/patrol-srv    restart

·     /etc/init.d/redis6381d    restart

·     /etc/init.d/mongod       restart

·     /etc/init.d/rabbitmq-server restart

以上12345条对应安全管理平台6110界面的JAVA服务,如6110界面任意JAVA相关服务出现异常则需执行12345五条命令进行重启。5 对应redis_java 服务,6对应mongod_java服务,可通过执行titan_system_check.py脚本检测运行状态如果出现异常则需执行56两条命令重启,7 对于rabbitmq 服务,如果脚本检查 erlang_rabbitmq 异常,需要执行 7 重启服务器

(3)     Mysql服务

1. /etc/init.d/mysqld       restart

以上命令对应mysql服务,通过执行titan_system_check.py脚本检测运行状态如果出现异常则需执行以上命令进行重启。

 

(4)     其他异常时java服务

·     /etc/init.d/anti-virus-srv  restart

·     /etc/init.d/connect-agent  restart

·     /etc/init.d/connect-dh  restart

·     /etc/init.d/connect-selector restart

·     /etc/init.d/connect-sh  restart

·     /etc/init.d/wisteria  restart

·     /etc/init.d/event-srv  restart

 

1.2  系统无法正常运行

1.2.1  故障描述

Web界面80 端口无法访问时或者访问时出现服务未响应错误提示

1.2.2  故障处理步骤

情况一、Web界面80端口无法访问但是6110端口可以访问

1)进入6110端口管理后台查看进程监控列表,重启异常的服务(参考“服务端某服务异常解决办法”)

情况二、Web界面806110端口都无法访问

1SSH登录服务器,重启6110端口后台使用“/etc/init.d/patrol-srv restart”命令,重启完成之后登录6110端口页面,重启异常的服务(参考“服务端某服务异常解决办法”),如果重启失败则联系工作人员排查。

1.3  Hostname变为IP地址导致系统运行异常

1.3.1  故障描述

后台异常断电重启或手动重启后,6110界面可访问,但80界面无法访问,查看hostnameIP地址。

1.3.2  故障处理步骤

配置hostname为静态主机名后,登录6110界面,重启各项异常服务。

hostnamectl set-hostname --static staticName

 

1.4  主机功能异常

1.4.1  故障描述

例如:主机发现服务异常,获取主机服务器时间job异常

1.4.2  故障处理步骤

需要重新更新规则,由于脚本的情况比较特殊,需要先进入数据库中清理脚本的sign,再强制更新规则,不能通过patrol界面更新。

1、获取mysql的账号密码,/data/app/www/titan-web/config_scripts  --get_plain 根据提示输入即可

2、登录mysql,用户名root,然后执行update qt_titan.t_job_script_content set sign='';,输入quit退出mysql

3、将新的规则包下载到目录/opt/rules并解压,然后重新更新一次脚

更新一条异常规则,如下方

/usr/local/qingteng/php/bin/php   /data/app/www/titan-web/update/cli/pack.php -d /opt/rules jobscript -f

 

若其他规则也存在异常,可更新全部规则的命令:

/usr/local/qingteng/php/bin/php  /data/app/www/titan-web/update/cli/pack.php -d /opt/rules/(规则解压的目录) -f

 

更新完成后,查看可正常执行

 

2 Agent端故障处理

2.1  Agent安装失败(情况一)

2.1.1  故障描述

安装Agent时报如下错误:

[ERROR] failed to download tar file pack App_Linux.tar.gz -http:// x.x.x.x/api/agent/update

[ERROR]Error:An error occurred when installing Titan Agent please go to /var/log/titanagent/install.log for more information

2.1.2  故障处理步骤

(1)     排查部署Agent的主机是否能够访问服务器安全监测系统的80端口,如不能则需在网络层面放通部署Agent的主机与服务器安全监测系统80端口的通讯

(2)     排查是否为服务器安全监测系统服务端App_Linux.tar.gz包丢失,如果为该原因则需重新上传App_Linux.tar.gz到服务器安全监测系统服务端的/data/app/www/agent-update/vx.x.x/目录下(vx.x.xAgent版本)。

2.2  Agent安装失败(情况二)

2.2.1  故障描述

安装Agent时报如下错误

[ERROR] reload cron fail

[ERROR] check crond fail

2.2.2  故障处理步骤

发生此错误原因为主机没有安装crontab,执行如下命令进行crontab的安装,之后再执行Agent安装命令

Crontab安装参考命令:

yum install -y cronie

需注意以上命令需在有yum源的情况下执行才能将cronie软件安装成功。

2.3  Agent安装失败(情况三)

2.3.1  故障描述

安装Agent时报如下错误

[ERROR] url: http://xxx/update/titanagent_x86.md5sum(存放AgentMD5值文件,安装脚本将下载下来的Agent MD5和从该文件获取的MD5值进行比对一致才会进行下一步)

[ERROR] ret:404

2.3.2  故障处理步骤

发生此错误原因为在32位操作系统中部署Agent,部署过程中去请求了32位的Agent MD5sum文件,Agent本身不支持在32位系统部署(只支持64位操作系统),所以不会存在该文件。

2.4  Linux Agent安装时,执行安装命令后没有反应

2.4.1  故障描述

LinuxAgent安装时,执行安装命令后没有反应

2.4.2  故障处理步骤

(1)     确认安装Agent主机的操作系统版本在支持的版本范围内。一般在32位主机上安装会出现此问题

(2)     Curl命令中加入-v,查看详细运行情况,根据报错信息查看是何原因

(3)     确认是否在安装时,产品服务端正在升级

2.5  为什么怎么安装Agent都安装不上

2.5.1  故障描述

一直不能成功安装Agent

2.5.2  故障处理步骤

(1)     防火墙配置是否正确,能否和服务器安全监测系统的6677/7788/端口保持通信

(2)     是否装有curl

(3)     是否存在安全防护软件,如杀软、白细胞、防篡改等。白细胞的错误提示为无相关权限,判定方法为在进程中查找是否存在对应进程名

2.6  Agent离线

2.6.1  故障描述

服务器安全监测系统web界面显示Agent离线。

2.6.2  故障处理步骤

Linux功能模块下Agent离线

(1)     优先判断Agent主机是否是开机状态,如果该主机处于关机状态则Agent出现离线状态则属于正常现象,启动机器后观察Agent是否上线

(2)     如果主机状态处于开机状态查看系统是否运行Agent进程,可使用ps ef|grep titan 命令查看。如图 Agent正常的进程信息

(3)     如果没有Agent进程可查看crontab里是否有Agent计划任务可以使用crontab l查看。

如图 Agent创建的3个任务计划

注:

第一条任务计划“/bin/bash /etc/titanagent/agent_update.sh”的作用是向服务器汇报Agent存活状态,同时处理服务器返回的是否停止Agent的命令。

第二条任务计划“bin/bash /etc/titanagent/agent_update_exception.sh”的作用是检查运作中的Agent是否存在异常:系统日志、网络日志和异常日志

第三条任务计划“/bin/bash /etc/titanagent/agent_monitor.sh”的作用是检查Agent是否正在运行,如果没有运行就启动Agent

(4)     如果crontab里有Agent任务计划需查看cron 日志是否执行了Agent的任务计划。如图 是正常的Agent任务计划执行记录

(5)     如果cron没有日志,则重启crond服务(如service  restart  crond ),然后观察两分钟左右Agent上线则说明是crond服务异常导致Agent离线

(6)     如果重启crond服务之后并且执行了Agent的任务计划仍然离线则可能为Agent文件损坏,需要收集Agent日志,交由后端工程师进一步分析

(7)     如果有Agent进程的话可以判断是否为网络问题,可使用telnet命令测试到服务器安全监测系统服务端指定端口是否连通(与服务端的6677,7788端口是否能够正常通讯)。

windows功能模块下Agent离线

(1)     优先判断Agent主机是否是开机状态,如果该主机处于关机状态则Agent出现离线状态则属于正常现象,启动机器后观察Agent是否上线

(2)     如果主机状态处于开机状态查看系统是否运行Agent进程。如图,通过调用资源管理器查看是否有Agent进程

(3)     如果没有Agent进程可查看windows系统任务计划。如图是Agent的系统任务计划

 

(4)     如果执行了Agent的任务计划Agent仍然离线则可能为Agent文件损坏,需要收集Agent日志,交由后端工程师进一步分析

2.7  暴力破解某linux主机,前台相应功能界面无记录

2.7.1  故障描述

暴力破解某linux主机(sshvsftpd服务),前台相应功能界面无记录

2.7.2  故障处理步骤

(1)     查看/var/log/titanagent/sys.log日志(Agent功能运行记录日志)是否有相应的暴力破解记录,可以执行cat /var/log/titanagent/sys.log | grep login_fail 命令查看是否有记录如下图则说明有记录,正常情况前台会有该暴力破解记录

可以执行cat /var/log/titanagent/sys.log | grep login_fail |wc -l 查看记录登录失败的次数

(2)     如果查看/var/log/titanagent/sys.log日志文件里并没有登录失败的记录,则需查看/var/log/secure 日志(主机系统中由syslogd记录的认证日志,服务器安全监测系统的暴力破解功能和异常登录功能依赖该文件的数据)是否有暴力破解的日志记录,可以执行cat /var/log/secure | grep "Failed password"进行查看,如果该文件中也没有登录失败记录,则说明服务器安全监测系统前台无暴力破解记录为正常情况,需要排查为什么主机系统没有记录认证日志。

2.8  异常登录某linux主机,前台相应功能界面无记录

2.8.1  故障描述

异常登录某linux主机,前台相应功能界面无记录

2.8.2  故障处理步骤

(1)     查看/var/log/titanagent/sys.log日志(Agent功能运行记录日志)是否有相应的主机的登录记录,可以执行cat /var/log/titanagent/sys.log | grep login_succ | grep 192.168.0.1(该IP地址根据实际情况进行替换)命令查看是否有记录,如果有记录说明已经成功检测到登录行为,下一步则需要结合配置的规则进行判断。

(2)     如果在cat /var/log/titanagent/sys.log没有找到成功登录的日志,则需要查看/var/log/secure日志中是否有该主机的成功登录日志,如果没有则证明服务器安全监测系统的异常登录前台无记录属于正常情况,需要进一步判断secure日志为什么未记录主机登录日志

2.9  暴力破解某windows主机,前台相应功能界面无记录

2.9.1  故障描述

暴力破解某windows主机,前台相应功能界面无记录

2.9.2  故障处理步骤

(1)     查看C:\Program Files\TitanAgent\sys.log日志(Agent功能运行记录日志)是否有相应的暴力破解记录,如下图,则代表已有记录,如有暴力破解记录则前台相应功能界面会有记录。

(2)     如查看日志并未有暴力破解日志,则需查看windows事件查看器->Windows日志->安全中是否登录审核失败的记录,如果没有则说明前台界面无暴力破解记录属于正常情况。下图为事件查看器中登录审核失败的记录

 

2.10  异常登录某windows主机,前台相应功能界面无记录

2.10.1  故障描述

异常登录某windows主机,前台相应功能界面无记录

2.10.2  故障处理步骤

(1)     查看C:\Program Files\TitanAgent\sys.log日志(Agent功能运行记录日志)是否有相应主机登录记录,如下图为192.168.175.1登录该主机的sys.log日志记录,如果有记录则需要结合正常登录规则进一步判断是否属于正常登录所以没有报。

(2)     如查看日志并未看到登录日志,则需查看windows事件查看器中是否有记录该主机的登录事件并审核通过,如未出现则需排查为什么没有记录到系统事件中。

 

2.11  更新数据过程期间,卸载Agent造成数据更新长时间无法完成

2.11.1  故障描述

更新数据过程期间,卸载Agent造成数据更新长时间无法完成。

2.11.2  故障处理步骤

(1)     出现此问题是因为服务端下发更新数据任务时下发给了这台主机的Agent,所以服务端会一直等这台主机的Agent汇报任务执行结果直至超过任务超时时间(25分钟),所以出现这种情况只能等待25分钟左右。

2.12  linux主机审计日志无操作命令记录

2.12.1  故障描述

linux主机审计日志无操作命令记录

2.12.2  故障处理步骤

(1)     查看该主机是否安装了服务器安全监测系统bash插件

方法一、登录主机执行bash –version 查看是否有NewTitan字段,如果有则代表已经安装了bash插件

方法二、登录服务器安全监测系统后台(web 81端口),选择Agent管理,在右侧筛选该主机查看shell版本是否有相应bash字段,可以看到已安装bash插件

如果通过这两种方法发现没有安装bash插件,则需安装bash插件,之后重新打开或刷新shell,然后进行命令操作然后观察是否能够记录命令操作。

(2)     已经安装bash插件还无命令记录

如果是刚安装完之后无命令记录,需重新打开一个shell或者执行bash –i命令刷新shell,然后执行命令观察是否有记录。如果bash插件已经安装了好久则需查看该主机系统时间和标准时间是否有偏差,如果偏差时间很大则需校对该主机时间保持标准时间,然后执行命令观察是否有记录,

 

新华三官网
联系我们

本站点使用Cookies,继续浏览表示您同意我们使用Cookies。 Cookies和隐私政策>