- 产品与解决方案
- 行业解决方案
- 服务
- 支持
- 合作伙伴
- 关于我们
01-正文
本章节下载： 01-正文 (1.19 MB)
概述
本指南介绍了iBMA的功能、安装和卸载以及常见问题处理。
读者对象
本指南主要适用于以下工程师：
l 企业管理员
l 企业终端用户
符号约定
在本文中可能出现下列标志，它们所代表的含义如下。
|
符号 |
说明 |
|
|
表示如不避免则将会导致死亡或严重伤害的具有高等级风险的危害。 |
|
|
表示如不避免则可能导致死亡或严重伤害的具有中等级风险的危害。 |
|
|
表示如不避免则可能导致轻微或中度伤害的具有低等级风险的危害。 |
|
|
用于传递设备或环境安全警示信息。如不避免则可能会导致设备损坏、数据丢失、设备性能降低或其它不可预知的结果。 “须知”不涉及人身伤害。 |
|
|
对正文中重点信息的补充说明。 “说明”不是安全警示信息，不涉及人身、设备及环境伤害信息。 |
命令行格式约定
|
格式 |
意义 |
|
粗体 |
命令行关键字（命令中保持不变、必须照输的部分）采用加粗字体表示。 |
|
斜体 |
命令行参数（命令中必须由实际值进行替代的部分）采用斜体表示。 |
|
[ ] |
表示用“[ ]”括起来的部分在命令配置时是可选的。 |
|
{ x | y | ... } |
表示从两个或多个选项中选取一个。 |
|
[ x | y | ... ] |
表示从两个或多个选项中选取一个或者不选。 |
|
{ x | y | ... }* |
表示从两个或多个选项中选取多个，最少选取一个，最多选取所有选项。 |
|
[ x | y | ... ]* |
表示从两个或多个选项中选取多个或者不选。 |
|
&<1-n> |
表示符号&前面的参数可以重复1～n次。 |
|
# |
表示由“#”开始的行表示为注释行。 |
H3C 鲲鹏服务器上的iBMA2.0作为带内管理代理软件，对上层管理软件BMC开放了标准的Redfish管理接口，且可以通过bob映射支持与带外系统的融合，以提供更完整的服务器设备管理能力。
图1-1 “带外+带内”管理系统模型
l iBMA可以支持服务器CPU、内存、硬盘、网卡、IB卡、PCIe、RAID卡等各个组件的状态监控、性能监控、事件监控。
l 用户在系统上安装iBMA软件后，iBMA提供的主要功能如表1-1所示。
l 了解iBMA获取资源的方式，详细请参考A iBMA资源列表。
|
功能 |
介绍 |
|
系统信息获取 |
将操作系统、网卡、IB卡、硬盘、RAID卡等信息提供给BMC。 |
|
文件上传 |
支持esight和其它工具通过BMC的Redfish接口将文件上传至iBMA运行的服务器，详细请参考《鲲鹏服务器 BMC Redfish 接口说明》。 |
|
驱动升级 |
支持eSight和其他工具通过BMC的Redfish接口进行驱动升级，详细请参考《鲲鹏服务器 BMC Redfish 接口说明》。 说明 l 进行驱动升级前需中断业务。 l 升级过程中不允许对系统进行下电、复位等操作。 |
|
系统状态监控 |
定时监控系统信息和健康状态的变化情况，用于上报给BMC进行告警。 |
|
bob |
l bob是一个帮助带内网络远端主机通过带内组网与本机BMC进行通信的转发工具。包括服务连接，如SSH、IPMI、HTTPS等；事件上报，如SNMP Trap等。 l bob支持服务管理（启动/停止/重启），不支持独立部署和工作。 l bob提供了一个命令行bobCmd，用于启动/停止/重启bob服务以及其他相关配置，转发配置支持在线配置，无需重启服务。配置支持持久化，即重启系统后不会丢失。 |
|
BMC事件转储 |
支持将BMC事件转储至系统日志文件中。 说明 需配套BMC V2.94及之后版本。 |
|
Redfish服务兼容HTTPS协议 |
Redfish服务支持以HTTPS或HTTP协议启动。 说明 需配套BMC V3.16及之后版本，如果是V3.16之前版本，配置成以HTTPS协议启动Redfish服务，则无法与BMC通信。 |
|
网卡配置追溯 |
Linux系统支持周期性记录网卡配置信息。 说明 在Linux系统下，iBMA会定时收集网卡的ethtool最新配置信息，文件存储在iBMA安装目录的log/ethtool_log目录下，可以使用SmartKit在收集操作系统日志时一并收集。 |
|
网卡故障检测 |
Linux系统支持Mellanox网卡的internal error检测，并记录在iBMA安装目录的log/common.log日志中。 说明 需配套Mellanox网卡4.2及之后的驱动版本。 |
|
存储诊断 |
定时监控硬盘IO性能降低、硬盘Sense Code错误和文件系统只读的存储诊断信息并上报给BMC。支持RAID卡下硬盘日志的收集，用于硬盘耗损分析。支持MD软RAID下硬盘的Firmware故障检测。 说明 l 硬盘IO性能降低和文件系统只读检测只支持Linux系统。 l 硬盘Sense Code错误检测支持Linux系统、ESXi 6.5及以上版本。 |
|
内存隔离 |
支持对操作系统出现故障的物理内存页，通过Redfish接口进行软隔离操作。 说明 支持内存隔离的操作系统为：EulerOS 2.0 SP8。 |
BMC通过iBMA的RESTful接口可实现服务器系统信息的查询功能，如表1-2所示。
|
组件 |
描述 |
|
操作系统 |
查询OS的基本信息，包括主机名称、描述、OS的版本（主版本、子版本及补丁主版本及子版本）、内核版本、厂商、系统时间等。 |
|
CPU |
查询CPU的基本信息，包括系统CPU占用率及CPU的个数，型号，单个CPU占用率等CPU信息 |
|
内存 |
查询内存基本信息，包括查询系统的内存大小及占用率 |
|
网口 |
查询网卡个数、规格速率、Link状态、OAM状态、双工模式、固件版本、驱动名、网卡驱动版本、槽位信息、PCI-E设备号、功能号、网口名、网口IP、掩码、网关、MAC地址、VLAN信息、收发包统计等，同时支持系统VLAN、Team及Bridge信息的查询 |
|
查询物理网口的速率，当前占用率 |
|
|
IB卡 |
查询IB卡个数、芯片型号、固件版本、驱动名、驱动版本、槽位信息、PCI-E设备号、UUID、网口类型、设备类型、功能号的全球唯一标识、全球唯一标识、默认gid、端口lid、SM lid、选路掩码、端口类型、能力地图、网口名、网口IP、掩码、网关、MAC地址、规格速率、Link状态、双工模式、自协商模式、MTU大小等信息。 说明 只支持Linux系统。 |
|
硬盘 |
查询物理硬盘个数、厂商、类型、固件版本、序列号、容量、转速、接口速率、物理槽位、硬盘丝印等信息查询 |
|
查询物理硬盘状态（ONLINE/OFFLINE）、温度、运行时长、巡检状态、重构状态/进度、SMART信息等 |
|
|
查询系统下逻辑盘的容量，已使用大小，使用率等信息 |
|
|
RAID |
支持主流RAID卡，具体支持的RAID卡型号参见1.2 软硬件兼容性，支持服务器有多RAID卡场景 |
|
查询RAID卡个数、控制器型号、固件版本、驱动版本、槽位信息、条带深度、Memory大小、ECC计数等 |
|
|
查询RAID电池健康状态、电池类型、名称、序列号、额定容量、电压、当前容量、电压、充放电次数、温度等信息 |
|
|
查询RAID逻辑盘的RAID级别信息、正常/降级/离线状态，获取RAID组配置状态，获取RAID组中的硬盘物理槽位信息，获取操作系统盘符与RAID组的关系、支持RAID组条带宽度、访问策略、读写策略、逻辑盘Cache状态及是否为启动盘等信息 |
|
|
查询RAID卡链路误码，硬盘背板链路误码 |
|
|
FC/FCoE |
支持FC/FCoE卡的厂家、型号、固件版本、驱动版本、槽位信息、WWN、FC_ID、链路状态及端口信息的查询 |
|
iSCSI |
支持iSCSI的厂家、型号、固件版本、驱动版本、槽位信息、链路状态、端口数量及配置信息的查询 |
|
NVMe |
支持NVMe磁盘的厂家、型号、序列号、槽位信息、固件版本、驱动版本、硬盘状态、接口类型、介质类型、容量、最大速率、协商速率、SMART等信息的查询 |
iBMA同时提供了黑匣子功能，开启黑匣子功能后，能记录系统发生异常宕机时的状态信息和调试信息，可以辅助异常定位，具体使用请参考I 黑匣子使用说明。iBMA提供了事件上报功能，iBMA周期性检测物理盘、逻辑盘、RAID控制器等状态变化事件，有事件变化情况下通过Redfish事件订阅接口上报事件信息到上层管理软件。
本节介绍iBMA 2.0的软硬件兼容性。
l iBMA支持的操作系统如表1-3所示。
l iBMA支持主流厂商的SAS/SATA机械硬盘和固态硬盘、NVMe硬盘和ES3000 V2。
l iBMA支持的RAID卡包括：MD软RAID、LSI软RAID、LSI SAS3008IR、LSI SAS3008IT、LSI SAS3108、LSI SAS2208、LSI SAS2308、Avago SAS3004iMR、Avago SAS3408iMR、Avago SAS3408IT、Avago SAS3508、Avago SAS3516、Avago SAS3416iMR和Avago SAS3416IT。
l iBMA支持的RAID卡为LSI SAS3108、Avago SAS3508、Avago SAS3408iMR和Avago SAS3416iMR。
l iBMA支持主流厂商的SAS/SATA机械硬盘和固态硬盘、Samsung NVMe硬盘以及ES3000 V5。
l LSI SAS2208、LSI SAS2308只支持单个RAID卡。
l Avago SAS3004iMR、Avago SAS3408iMR、Avago SAS3408IT、Avago SAS3508、Avago SAS3516、Avago SAS3416iMR和Avago SAS3416IT只支持获取驱动版本和固件版本信息。
l iBMA配套BMC V562及以上版本。
|
操作系统 |
版本 |
内核版本 |
|
EulerOS |
EulerOS 2.0 SP8 |
4.19.36-vhulk1905.1.0.h273.eulerosv2r8.aarch64 |
|
CentOS |
CentOS 7.6 |
4.14.0-115.el7a.0.1.aarch64 |
|
Ubuntu |
Ubuntu 18.04.1 LTS |
4.15.0-29-generic |
|
SUSE |
SLES 15 SP1 |
4.12.14-195-default |
本节介绍iBMA的安全特性。
安全策略
l iBMA运行于操作系统内部，通过服务器单板内部的专用PCIe通道与BMC通信，保证数据通道的安全性。
l iBMA进行驱动升级时支持对升级文件进行数字签名验证。
l iBMA对安装文件的操作权限进行合理配置，避免用户误操作。
l iBMA只会查询硬件信息，不会更改系统配置，不涉及用户个人数据的采集和处理。
安全说明
l iBMA在使用过程中会产生虚拟设备，用于iBMA自身使用，对操作系统无影响。Linux操作系统下会产生4个字符设备（目前iBMA服务占用一个）和1个虚拟网卡。
l 安装iBMA之后会产生三个进程：
− Manager进程，用来保护进程。
− Monitor进程，用来检测系统资源的变化。
− iBMA_RedfishMain进程，通过虚拟网卡向管理软件提供Redfish服务。
若要停止iBMA的进程，建议使用系统服务命令停止iBMA的进程，手动关闭进程可能会导致iBMA异常。
产品开发、发布和安装安全
l 软件发布前经过防病毒软件扫描。
l 通过数字签名保证软件完整性。
l iBMA代码做静态检查，包括安全性静态检查，保证正常使用时不对用户系统产生影响。
l 安装后的目录说明
− iBMA安装后的目录下有以下目录文件：
bin、config、lib、lib64、log、script、tools
n bin目录，用来存放二进制文件。
n config目录，用来存放配置文件。
n lib目录，用来存放共享库。
n lib64目录，用来存放64位共享库。
n log目录，用来存放日志文件。
n script目录，用来存放脚本文件。
n tools目录，用来存放工具文件。
本节介绍iBMA的通信矩阵。
iBMA的通信矩阵如表1-4所示，详细请参考《iBMA 2.0 通信矩阵》。
|
源设备 |
源IP |
源端口 |
目的设备 |
目的IP |
目的端口 （监听） |
协议 |
端口说明 |
|
BMC所属设备 |
BMC虚拟网口veth的IP |
随机 |
iBMA所属设备 |
iBMA虚拟网口IP地址 |
8090 |
TCP |
HTTP/HTTPS(Web) HTTP/HTTPS标准协议端口，使用的协议可配置； IPv4或IPv6端口，默认为IPv6，可以通过iBMA配置文件配置 |
|
iBMA所属设备 |
iBMA虚拟网口的IP |
随机 |
BMC所属设备 |
BMC虚拟网口veth的IP |
40443 |
TCP |
HTTPS(Web) HTTPS标准协议端口 iBMA作为客户端访问BMC服务 |
|
iBMA所属设备 |
iBMA虚拟网口的IP |
随机 |
BMC所属设备 |
BMC虚拟网口veth的IP |
30023 |
TCP |
SSH标准协议端口 iBMA作为客户端访问BMC服务 |
|
客户端 |
客户端IP |
随机 |
iBMA所属设备 |
iBMA所属设备IP |
随机 |
TCP |
BOB转发服务，默认关闭；当用户配置BMC转发服务后，监听用户配置的IP和端口； |
|
客户端 |
客户端IP |
随机 |
iBMA所属设备 |
iBMA所属设备IP |
随机 |
UDP |
BOB转发服务，默认关闭；当用户配置BMC转发服务后，监听用户配置的IP和端口； |
|
iBMA所属设备 |
iBMA虚拟网口的IP |
随机 |
BMC所属设备 |
BMC虚拟网口veth的IP |
随机 |
TCP |
BOB转发服务，默认关闭；iBMA作为客户端，当用户配置BMC转发服务后，会将客户端请求信息转发给BMC服务端； |
|
iBMA所属设备 |
iBMA虚拟网口的IP |
随机 |
BMC所属设备 |
BMC虚拟网口veth的IP |
随机 |
UDP |
BOB转发服务，默认关闭；iBMA作为客户端，当用户配置BMC转发服务后，会将客户端请求信息转发给BMC服务端； |
|
BMC所属设备 |
BMC虚拟网口veth的IP |
随机 |
iBMA所属设备 |
iBMA虚拟网口的IP |
30000~30003 |
UDP |
BOB转发服务，默认关闭；当用户配置转发服务后，会将BMC的SNMP Trap信息由BOB转发给SNMP Trap服务器； 监听端口范围可以通过BMC进行配置； |
|
iBMA所属设备 |
iBMA所属设备IP |
随机 |
SNMP Trap服务器 |
SNMP Trap服务器IP |
随机 |
UDP |
BOB转发服务，默认关闭；iBMA作为客户端，将BMC的SNMP Trap信息由BOB转发给SNMP Trap服务器； |
介绍在Linux操作系统中安装/卸载/升级iBMA。
介绍在Linux操作系统上安装iBMA。
l iBMA静默安装时，通过查询BMC是否支持HTTPS协议来自动选择Redfish服务所使用的协议。如果支持，iBMA就以HTTPS协议启动Redfish服务，否则以HTTP协议启动Redfish服务。
l BMC V3.49及之后版本才支持查询是否支持HTTPS协议。
l 在iBMA正常运行过程中（以HTTPS协议运行Redfish服务时），BMC由支持HTTPS协议的版本回退至不支持HTTPS协议的版本后，iBMA与BMC会通信丢失，需要将iBMA.ini中的iBMA_support_https设置为false，然后重启iBMA恢复通信。
l 升级操作系统内核前需要先卸载iBMA，确认升级之后的系统内核版本也在iBMA的兼容范围内，重新安装iBMA。iBMA兼容性请参见1.2 软硬件兼容性。
介绍安装iBMA前的准备工作。
1. 请联系技术支持获取软件包和检验软件包的完整性的方法。
2. 确认已开启PCIe设备，详细请参考H 开启PCIe设备。
3. 检查环境是否满足运行iBMA的要求，详细请参考E 环境要求。
4. iBMA软件会使用一个固定端口监听HTTP/HTTPS请求（TCP/IPv6协议/IPv4协议），默认端口号为8090，默认使用IPv6协议，系统管理员需将防火墙的此端口打开，并保证不被其他程序占用，详细参考D 系统防火墙的操作。
l 如果配置使用IPv6地址，需要使能虚拟网卡的IPv6功能，详细操作请参考G 使能IPv6。
l 如果要使用IPv4地址，需在iBMA安装完成后，参考F.7 配置IP地址进行配置。
l iBMA不再内部集成Storcli64软件工具，此工具影响RAID卡的部分信息获取，若需要安装，请参见M iBMA工具集成说明。
5. 检查软硬件兼容性，详细请参考1.2 软硬件兼容性。
6. 将iBMA软件包上传到操作系统（可以使用Xshell或者搭建FTP服务器等上传）。
l 建议安装iBMA的磁盘剩余空间至少为2GB。
l 在输入过程中，若要删除之前输入的字符，请按“Ctrl”+“Backspace” 。
介绍安装iBMA。
iBMA的安装方式有以下三种：
l 静默安装（推荐使用此种模式）
静默安装是指在安装iBMA过程中所有参数都选择默认值，由安装程序自动一键安装。
l 自定义安装
自定义安装是指在安装iBMA过程中所有的参数都可由用户自行设置，需设置的参数如表2-1所示。
l 强制安装
强制安装是指在自定义安装或者静默安装时增加-f参数。强制安装时会跳过兼容性检查，通过此种方式成功安装iBMA后软件可能会不稳定（当运行环境上设备ID为“0x1710”，厂商ID为“0x19e5”的PCIe设备被驱动占用时，通过强制安装方式不能成功安装iBMA），不建议使用这种方式。
|
参数名称 |
静默安装 |
自定义安装 |
|
运行Redfish服务的用户名 |
ibma |
用户选择系统存在的用户。 |
|
Redfish服务的端口号 |
8090 |
用户指定：1024～65535之间的空闲端口。 说明 修改这个端口号时需要同时打开防火墙对应的端口，详见4.1 常见问题处理。 |
|
socket服务的端口号 |
8091 |
用户指定：1024～65535之间的空闲端口。 |
|
Redfish服务使用的协议 |
HTTPS |
用户选择，HTTP或HTTPS协议。 |
|
安装后是否立即启动iBMA服务 |
是 |
用户选择。 |
介绍在Linux操作系统上静默安装iBMA。
操作场景
本文以CentOS 7.6为例，指导用户在Linux操作系统上静默安装iBMA。
本文以“iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip”为例进行说明。
必备事项
前提条件
已将软件包上传到服务器操作系统。
已开启PCIe设备，详细请参考H 开启PCIe设备。
数据
该操作无需准备数据。
操作步骤
步骤 1 以root用户登录服务器操作系统。
必须以root用户安装iBMA。
步骤 2 进入安装包所在目录（路径中所有文件夹名称支持的字符包括数字、字母、下划线、中横线和点号），解压文件包。
[root@localhost src]# cd package/
[root@localhost package]# unzip iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip
Archive: iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip
extracting: iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz
inflating: iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.cms
inflating: iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.crl
inflating: Open Source Software Notice.doc
inflating: software.xml
[root@localhost package]# ls
iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz
iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.cms
iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.crl
iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip Open Source Software Notice.doc
software.xml
[root@localhost package]#
l 解压zip文件后得到的cms和crl用于对文件包做CMS校验。
l iBMA自带的CMS校验文件放在“./lib/Linux/upgrade”目录下，可以使用此工具对下载的安装包进行校验。
l “software.xml”文件用来描述安装包的版本信息等。
l 解压后的“iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz”为安装包文件。
l “Open Source Software Notice.doc”为开源软件使用声明。
步骤 3 解压安装包。
[root@localhost package]# tar zxf iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz
[root@localhost package]# ls
iBMA2.0 iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz
iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.cms
iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.crl iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip
Open Source Software Notice.doc software.xml
[root@localhost package]#
步骤 4 进入“iBMA2.0”目录 。
[root@localhost package]# cd iBMA2.0/
[root@localhost iBMA2.0]#
[root@localhost iBMA2.0]#
[root@localhost iBMA2.0]# ls
app config drivers install.sh script tools
[root@localhost iBMA2.0]#
l “install.sh”为iBMA服务的安装脚本。
l iBMA不再内部集成Storcli64软件工具，此工具影响RAID卡的部分信息获取，若需要安装，请参见M iBMA工具集成说明。
步骤 5 选择安装模式。
[root@localhost iBMA2.0]#
./install.sh
-----------------------------------------------------------------
iBMA Installer
Usage: ./install.sh {-s [options...]|-c|-u|-h} [-f]
arguments:
-s Silent installation mode, recommended
options:--enable-BMC_event=true|false
Enable/Disable the feature of logging BMC events
--enable-iBMA_https=true|false
Redfish Server starts with HTTPS/HTTP protocol
true indicates that HTTPS is selected
false indicates that HTTP is selected
-c Custom installation mode
-f Force installation mode, used with -s or -c,
overwrite the configuration files
-u Upgrade iBMA, reserve the configuration files
-h Show this help
-----------------------------------------------------------------
[root@localhost iBMA2.0]#
l ./install.sh -s [--enable-BMC_event=true|false --enable-iBMA_https=true|false]为静默安装（推荐使用此模式），--enable-BMC_event用于控制是否记录BMC事件，不配置时默认为false，--enable-iBMA_https用于控制iBMA的Redfish服务是否以HTTPS协议启动。
l ./install.sh -c为自定义安装。
l ./install.sh -f为强制安装（需配合-s或-c参数使用）。
l ./install.sh -u为升级安装。
步骤 6 静默安装iBMA。
[root@localhost iBMA2.0]#
./install.sh -s
-----------------------------------------------------------------
Starting to install iBMA in silent mode.
System is CentOS
Kernel version is 4.14.0-115.el7a.0.1.aarch64
Driver package version is 0.3.5
Driver package is already installed.
Installing iBMA ...
-----------------------------------------------------------------
iBMA installed successfully.
-----------------------------------------------------------------
Starting iBMA service.
Start iBMA service successfully.
-----------------------------------------------------------------
Manually enable port 8090 via the veth interface
on the firewall (TCP/IPv6).
[root@localhost iBMA2.0]#
l 若提示信息为iBMA installed successfully，则安装成功。
l 若提示信息为failed，解决方法请参考4.1 常见问题处理。
l 安装结束后会增加“/etc/init.d/iBMA”或者 “/usr/lib/systemd/system/iBMA.service”文件作为iBMA服务管理脚本，详细见3.1 查询/启动/停止/重启iBMA服务。
步骤 7 进入“/opt/ibma”目录查看安装后的文件。
[root@localhost iBMA2.0]# cd
/opt/ibma/
[root@localhost ibma]#
[root@localhost ibma]# ls
bin bob.sh config ibmacli iBMA.sh lib lib64 log script tools
uninstall.sh [root@localhost ibma]#
“iBMA.sh”为服务脚本，“uninstall.sh”为卸载脚本。
----结束
介绍在Linux操作系统上自定义安装iBMA。
操作场景
本文以CentOS 7.6为例，指导用户在Linux操作系统上自定义安装iBMA。
本文以“iBMA-Linux-pkg-2.1.5.040-Kunpeng”为例进行说明。
必备事项
前提条件
已将软件包上传到服务器操作系统。
数据
该操作无需准备数据。
操作步骤
步骤 1 以root用户登录服务器操作系统。
必须以root用户安装iBMA。
步骤 2 进入安装包所在目录（路径中所有文件夹名称支持的字符包括数字、字母、下划线、中横线和点号），解压文件包。
[root@localhost src]# cd package/
[root@localhost package]# ls
iBMA-Linux-pkg-2.1.5.040.zip
[root@localhost package]# unzip iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip
Archive: iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip
extracting: iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz
inflating: iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.cms
inflating: iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.crl
inflating: Open Source Software Notice.doc
inflating: software.xml
[root@localhost package]#
l 解压zip文件后得到的cms和crl用于对文件包做CMS校验。
l iBMA自带的CMS校验文件放在“./lib/Linux/upgrade”目录下，可以使用此工具对下载的安装包进行校验。
l “software.xml”文件用来描述安装包的版本信息等。
l 解压后的“iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz”为安装包文件。
l “iBMA 2.0 FOSS License Information.doc”为开源软件使用声明。
步骤 3 解压安装包。
[root@localhost package]# tar zxf iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz
[root@localhost package]#
[root@localhost package]# ls
iBMA2.0 iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz
iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.cms
iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.crl
iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip Open Source Software Notice.doc
software.xml
步骤 4 进入“iBMA2.0”目录 。
[root@localhost package]# cd iBMA2.0/
[root@localhost iBMA2.0]#
[root@localhost iBMA2.0]#
[root@localhost iBMA2.0]# ls
app config drivers install.sh script
[root@localhost iBMA2.0]#
l “install.sh”为iBMA服务的安装脚本。
l iBMA不再内部集成Storcli64软件工具，此工具影响RAID卡的部分信息获取，若需要安装，请参见M iBMA工具集成说明。
步骤 5 选择安装模式。
[root@localhost iBMA2.0]#
./install.sh
-----------------------------------------------------------------
iBMA Installer
Usage: ./install.sh {-s [options...]|-c|-u|-h} [-f]
arguments:
-s Silent installation mode, recommended
options:--enable-BMC_event=true|false
Enable/Disable the feature of logging BMC events
--enable-iBMA_https=true|false
Redfish Server starts with HTTPS/HTTP protocol
true indicates that HTTPS is selected
false indicates that HTTP is selected
-c Custom installation mode
-f Force installation mode, used with -s or -c,
overwrite the configuration files
-u Upgrade iBMA, reserve the configuration files
-h Show this help
-----------------------------------------------------------------
[root@localhost iBMA2.0]#
l ./install.sh -s [--enable-BMC_event=true|false --enable-iBMA_https=true|false]为静默安装（推荐使用此模式），--enable-BMC_event用于控制是否记录BMC事件，不配置时默认为false，--enable-iBMA_https用于控制iBMA的Redfish服务是否以HTTPS协议启动。
l ./install.sh -c为自定义安装。
l ./install.sh -f为强制安装（需配合-s或-c参数使用）。
l ./install.sh -u为升级安装。
步骤 6 自定义安装iBMA。
l 安装过程中参数的设置请参考表2-1。
l 自定义安装时，如果检测到没有打开PCIe设备， 系统会自动尝试发送IPMI命令打开PCIe设备。如果发送命令失败，那么需要用户去BMC的Web界面手动开启黑匣子功能，重启操作系统之后再安装iBMA，详细操作请参考H 开启PCIe设备。
[root@localhost iBMA2.0]#
./install.sh -c
-----------------------------------------------------------------
Starting to install iBMA in custom mode.
Press Ctrl + C to abort the installation.
System is CentOS
Kernel version is 4.14.0-115.el7a.0.1.aarch64
Driver package version is 0.3.5
Driver package is already installed.
-----------------------------------------------------------------
STEP 1: Set the Redfish server user
-----------------------------------------------------------------
1) Use ibma user (recommended)
2) Enter an existing non-root user
3) Use root user
Enter your choice:1
-----------------------------------------------------------------
STEP 2: Set the Redfish server port
-----------------------------------------------------------------
The default port number is <8090>
1) Use the default port number (recommended)
2) Set a port number
Enter your choice:1
-----------------------------------------------------------------
STEP 3: Set the socket server port
-----------------------------------------------------------------
The default port number is <8091>
1) Use the default port number (recommended)
2) Set a port number
Enter your choice:1
-----------------------------------------------------------------
STEP 4: Set the Redfish server protocol
-----------------------------------------------------------------
The default protocol is <HTTP>
1) Use the default protocol
2) Use HTTPS protocol
Enter your choice:1
-----------------------------------------------------------------
STEP 5: Start iBMA service immediately
-----------------------------------------------------------------
iBMA will start after installation
1) Start after installation (recommended)
2) Start iBMA manually
Enter your choice:1
-----------------------------------------------------------------
STEP 6: Confirm settings
-----------------------------------------------------------------
Settings summary:
1. Redfish server user: ibma
2. Redfish server port: 8090
3. Socket server port: 8091
4. Redfish server protocol type: HTTP
5. Start iBMA immediately: Yes
1) Continue to install (recommended)
2) Quit installation process
Enter your choice:1
Installing iBMA ...
-----------------------------------------------------------------
iBMA installed successfully.
-----------------------------------------------------------------
Starting iBMA service.
Start iBMA service successfully.
-----------------------------------------------------------------
Manually enable port 8090 via the veth interface
on the firewall (TCP/IPv6).
[root@localhost iBMA2.0]#
l 若提示信息为iBMA installed successfully，则安装成功。
l 若提示信息为failed，解决方法请参考4.1 常见问题处理。
l 安装结束后会增加“/etc/init.d/iBMA”或者 “/usr/lib/systemd/system/iBMA.service”文件作为iBMA服务管理脚本，详细请参考3.1 查询/启动/停止/重启iBMA服务。
步骤 7 进入“/opt/ibma”目录查看安装后的文件。
[root@localhost iBMA2.0]# cd
/opt/ibma/
[root@localhost ibma]#
[root@localhost ibma]# ls
bin bob.sh config ibmacli iBMA.sh lib lib64 log script tools
uninstall.sh
[root@localhost ibma]#
“iBMA.sh”为服务脚本，“uninstall.sh”为卸载脚本。
----结束
介绍在Linux操作系统上卸载iBMA。
操作场景
本文以CentOS 7.6为例，指导用户在Linux操作系统上卸载iBMA。
必备事项
前提条件
已安装iBMA。
数据
该操作无需准备数据。
操作步骤
步骤 1 以root用户登录服务器操作系统。
必须以root用户卸载iBMA。
步骤 2 进入“/opt/ibma”目录 。
[root@localhost iBMA2.0]#
[root@localhost iBMA2.0]# cd /opt/ibma/
[root@localhost ibma]#
[root@localhost ibma]# ls
bin bob.sh config ibmacli iBMA.sh lib lib64 log script tools
uninstall.sh
[root@localhost ibma]#
“uninstall.sh”为卸载脚本。
步骤 3 查询卸载帮助信息。
[root@localhost ibma]# ./uninstall.sh
-h
iBMA Uninstaller
Usage:
./uninstall.sh Uninstall iBMA, recommended
./uninstall.sh -s Silent uninstallation mode
./uninstall.sh -a Uninstall iBMA and driver
./uninstall.sh -h Show this help
[root@localhost ibma]#
l ./uninstall.sh为自定义卸载iBMA（推荐使用此模式），请执行步骤4。
l ./uninstall.sh -s为静默卸载iBMA，请执行步骤5。
l ./uninstall.sh -a可卸载iBMA和驱动，请执行步骤6。
l iBMA正在执行带外升级任务（除iBMA自身升级外）时不允许卸载iBMA。
[root@localhost ibma]# ./uninstall.sh
Starting to uninstall iBMA.
iBMA service is running.
1) Continue
2) Exit
Enter your choice:1
Trying to stop service.
iBMA service stopped successfully.
Uninstall iBMA package.
Delete iBMA directory.
iBMA uninstalled successfully.
[root@localhost ibma]#
[root@localhost ibma]# ./uninstall.sh
-s
Starting to uninstall iBMA in silent mode.
Uninstall iBMA package.
Delete iBMA directory.
iBMA uninstalled successfully.
[root@localhost ibma]#
[root@localhost]# ./uninstall.sh -a
Starting to uninstall iBMA and driver.
iBMA service is running.
1) Continue
2) Exit
Enter your choice:1
Trying to stop service.
iBMA service stopped successfully.
Uninstall iBMA package.
Delete iBMA directory.
Uninstalling iBMA driver ...
Uninstall iBMA driver successfully.
iBMA uninstalled successfully.
----结束
在输入过程中，若要删除之前输入的字符，请按“Ctrl”+“Backspace” 。
介绍在Linux操作系统上升级安装iBMA。
如果已经安装了iBMA2.0的低版本，升级时就不会再进行兼容性检查。
iBMA的升级分以下三种：
l 卸载旧版本的软件后再安装新版本软件（推荐使用此种方式），详细操作请参考2.1.2 卸载iBMA和2.1.1 安装iBMA。
l 覆盖安装新版本的软件，详细操作请参考2.1.1 安装iBMA。
此时iBMA会使用旧版本软件的配置信息。
l 升级安装新版本，新版本软件中的“Monitor.ini”和“iBMA.ini”配置文件中新增加的参数使用新版本软件的配置信息，旧版本软件中已有的参数会使用旧版本的配置信息。
升级安装新版本iBMA过程中，驱动的升级分以下三种情况：
l 待升级版本高于当前版本时，自动卸载之前的低版本，然后安装目标版本。
l 待升级版本低于当前版本时，不升级驱动。
l 待升级版本与当前版本相同时，不升级驱动。
操作场景
本文以CentOS 7.6为例，指导用户在Linux操作系统上升级安装iBMA。
本文以“iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip”为例进行说明。
必备事项
前提条件
已将“iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip”上传到服务器操作系统。
数据
该操作无需准备数据。
操作步骤
步骤 1 以root用户登录服务器操作系统。
必须以root用户安装iBMA。
步骤 2 进入安装包所在目录（路径中所有文件夹名称支持的字符包括数字、字母、下划线、中横线和点号），解压文件包。
[root@localhost src]# cd package/
[root@localhost package]# ls
iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip
[root@localhost package]# unzip iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip
Archive: iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip
extracting: iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz
inflating: iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.cms
inflating: iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.crl
inflating: Open Source Software Notice.doc
inflating: software.xml
[root@localhost package]# ls
iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz
iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.cms
iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.crl
iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip Open Source Software Notice.doc
software.xml
[root@localhost package]#
l 解压zip文件后得到的cms和crl用于对文件包做CMS校验。
l iBMA自带的CMS校验文件放在“./lib/Linux/upgrade”目录下，可以使用此工具对下载的安装包进行校验。
l “software.xml”文件用来描述安装包的版本信息等。
l 解压后的“iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz”为安装包文件。
l “Open Source Software Notice.doc”为开源软件使用声明。
步骤 3 解压安装包。
[root@localhost package]# tar zxf iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz
[root@localhost package]#
[root@localhost package]# ls
iBMA2.0 iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz
iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.cms
iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.crl
iBMA-Linux-pkg-2.1.5.040-Kunpeng.zip Open Source Software Notice.doc
software.xml
步骤 4 进入“iBMA2.0”目录 。
[root@localhost package]# cd iBMA2.0/
[root@localhost iBMA2.0]#
[root@localhost iBMA2.0]#
[root@localhost iBMA2.0]# ls
app config drivers install.sh script tools
[root@localhost iBMA2.0]#
“install.sh”为iBMA服务的安装脚本。
步骤 5 选择安装模式。
[root@localhost iBMA2.0]# ./install.sh
-----------------------------------------------------------------
iBMA Installer
Usage: ./install.sh {-s [options...]|-c|-u|-h} [-f]
arguments:
-s Silent installation mode, recommended
options:--enable-BMC_event=true|false
Enable/Disable the feature of logging BMC events
--enable-iBMA_https=true|false
Redfish Server starts with HTTPS/HTTP protocol
true indicates that HTTPS is selected
false indicates that HTTP is selected
-c Custom installation mode
-f Force installation mode, used with -s or -c,
overwrite the configuration files
-u Upgrade iBMA, reserve the configuration files
-h Show this help
-----------------------------------------------------------------
[root@localhost iBMA2.0]#
l ./install.sh -s [--enable-BMC_event=true|false --enable-iBMA_https=true|false]为静默安装（推荐使用此模式），--enable-BMC_event用于控制是否记录BMC事件，不配置时默认为false，--enable-iBMA_https用于控制iBMA的Redfish服务是否以HTTPS协议启动。
l ./install.sh -c为自定义安装。
l ./install.sh -f为强制安装（需配合-s或-c参数使用）。
l ./install.sh -u为升级安装。
步骤 6 升级安装iBMA。
l 安装过程中参数的设置请参考表2-1。
l 升级安装时，如果检测到没有打开PCIe设备， 系统会自动尝试发送IPMI命令打开PCIe设备。如果发送命令失败，那么需要用户去BMC的Web界面手动开启黑匣子功能，重启操作系统之后再安装iBMA，详细操作请参考H 开启PCIe设备。
[root@localhost iBMA2.0]#
./install.sh -u
-----------------------------------------------------------------
Starting to upgrade iBMA.
iBMA service stopped successfully.
System is CentOS
Kernel version is 3.10.0-327.el7.x86_64
Driver package version is 0.3.5
Driver package is already installed.
Installing iBMA ...
Back up configuration files.
Back up the old config directory when upgrade iBMA2.0 package.
-----------------------------------------------------------------
Starting iBMA service.
Start iBMA service successfully.
-----------------------------------------------------------------
iBMA upgraded successfully.
Manually enable port 8090 via the veth interface
on the firewall (TCP/IPv4)
l 若提示信息为iBMA upgraded successfully，则升级成功。
l 若提示信息为failed，解决方法请参考4.1 常见问题处理。
l 安装结束后会增加“/etc/init.d/iBMA”或者 “/usr/lib/systemd/system/iBMA.service”文件作为iBMA服务管理脚本，详细请参考3.1 查询/启动/停止/重启iBMA服务。
步骤 7 进入“/opt/ibma”目录查看安装后的文件。
[root@localhost iBMA2.0]# cd
/opt/ibma/
[root@localhost ibma]#
[root@localhost ibma]# ls
bin bob.sh config ibmacli iBMA.sh lib lib64 log script tools
uninstall.sh
[root@localhost ibma]#
[root@localhost ibma]#
“iBMA.sh”为服务脚本，“uninstall.sh”为卸载脚本。
----结束
l iBMA服务连续10分钟占用内存超过500M时会自动重启。
l iBMA正在执行带外升级驱动或者固件时不允许停止服务。
l iBMA服务启动或重启后，需要等待资源初始化完成，才能在BMC Web页面上显示iBMA相关信息。
iBMA资源初始化时间跟硬件配置和操作系统相关，一般在30秒到5分钟之间。
介绍在Linux操作系统中使用service命令或者systemctl命令来查询/启动/停止/重启iBMA服务。
iBMA安装完成之后会自动注册系统服务，以后每次开机时会自动启动iBMA服务，不需要用户手动开启。
l 查询iBMA服务运行状态。
− 使用service命令。
[root@localhost ~]# service iBMA status
iBMA service is running.
− 使用systemctl命令。
[root@localhost ~]# systemctl status iBMA
● iBMA.service - iBMA: iBMA service
Loaded: loaded (/usr/lib/systemd/system/iBMA.service; enabled; vendor preset: disabled)
Active: active (running) since Mon 2019-07-01 16:03:35 CST; 24h ago
Process: 2155 ExecStart=/opt/ibma/iBMA.sh start (code=exited,
status=0/SUCCESS)
CGroup: /system.slice/iBMA.service
├─2400 /opt/ibma/bin/Manager
├─2403 /opt/ibma/bin/Manager
├─2410 /opt/ibma/bin/Monitor
├─2412 /opt/ibma/bin/Monitor
├─2461 /opt/ibma/bin/iBMA_RedfishMain
└─2463 /opt/ibma/bin/iBMA_RedfishMain
Jul 01 16:03:26 localhost.localdomain systemd[1]: Starting iBMA: iBMA service...
Jul 01 16:03:26 localhost.localdomain iBMA.sh[2155]: Loading iBMA driver modules ...
Jul 01 16:03:35 localhost.localdomain iBMA.sh[2155]: iBMA service started successfully.
Jul 01 16:03:35 localhost.localdomain systemd[1]: Started iBMA: iBMA service.
[root@localhost ~]#
l 启动iBMA服务。
− 使用service命令。
[root@localhost ~]# service iBMA start
iBMA service started successfully.
− 使用systemctl命令（执行systemctl start iBMA命令后需通过systemctl status iBMA命令查询执行结果）。
[root@localhost ~]# systemctl start iBMA
[root@localhost ~]# systemctl status iBMA
● iBMA.service - iBMA: iBMA service
Loaded: loaded (/usr/lib/systemd/system/iBMA.service; enabled; vendor preset: disabled)
Active: active (running) since Tue 2019-07-02 16:23:21 CST; 12s ago
Process: 21982 ExecStop=/opt/ibma/iBMA.sh stop (code=exited,
status=0/SUCCESS)
Process: 22202 ExecStart=/opt/ibma/iBMA.sh start (code=exited,
status=0/SUCCESS)
CGroup: /system.slice/iBMA.service
├─22359 /opt/ibma/bin/Manager
├─22362 /opt/ibma/bin/Manager
├─22369 /opt/ibma/bin/Monitor
├─22370 /opt/ibma/bin/Monitor
├─22395 /opt/ibma/bin/iBMA_RedfishMain
└─22396 /opt/ibma/bin/iBMA_RedfishMain
Jul 02 16:23:12 localhost.localdomain systemd[1]: Starting iBMA: iBMA service...
Jul 02 16:23:21 localhost.localdomain iBMA.sh[22202]: iBMA service started successfully.
Jul 02 16:23:21 localhost.localdomain systemd[1]: Started iBMA: iBMA service.
[root@localhost ~]
l 停止iBMA服务。
− 使用service命令。
[root@localhost ~]# service iBMA stop
iBMA service stopped successfully.
− 使用systemctl命令（执行systemctl stop iBMA命令后需通过systemctl status iBMA命令查询执行结果）。
[root@localhost ~]# systemctl stop iBMA
[root@localhost ~]# systemctl status iBMA
● iBMA.service - iBMA: iBMA service
Loaded: loaded (/usr/lib/systemd/system/iBMA.service; enabled; vendor preset: disabled)
Active: inactive (dead) since Tue 2019-07-02 16:22:24 CST; 10s ago
Process: 21982 ExecStop=/opt/ibma/iBMA.sh stop (code=exited,
status=0/SUCCESS)
Process: 2155 ExecStart=/opt/ibma/iBMA.sh start (code=exited,
status=0/SUCCESS)
Jul 01 16:03:26 localhost.localdomain systemd[1]: Starting iBMA: iBMA service...
Jul 01 16:03:26 localhost.localdomain iBMA.sh[2155]: Loading iBMA driver modules ...
Jul 01 16:03:35 localhost.localdomain iBMA.sh[2155]: iBMA service started successfully.
Jul 01 16:03:35 localhost.localdomain systemd[1]: Started iBMA: iBMA service.
Jul 02 16:22:23 localhost.localdomain systemd[1]: Stopping iBMA: iBMA service...
Jul 02 16:22:24 localhost.localdomain iBMA.sh[21982]: iBMA service stopped successfully.
Jul 02 16:22:24 localhost.localdomain systemd[1]: Stopped iBMA: iBMA service.
[root@localhost ~]#
停止iBMA服务失败时，请先启动iBMA服务后再重试。
l 重启iBMA服务。
− 使用service命令。
[root@localhost ~]# service iBMA restart
iBMA service stopped successfully.
iBMA service started successfully.
Restart iBMA service successfully.
− 使用systemctl命令（执行systemctl restart iBMA命令后需通过systemctl status iBMA命令查询执行结果）。
[root@localhost ~]# systemctl restart iBMA
[root@localhost ~]# systemctl status iBMA
● iBMA.service - iBMA: iBMA service
Loaded: loaded (/usr/lib/systemd/system/iBMA.service; enabled; vendor preset: disabled)
Active: active (running) since Tue 2019-07-02 16:26:41 CST; 22s ago
Process: 25943 ExecStop=/opt/ibma/iBMA.sh stop (code=exited,
status=0/SUCCESS)
Process: 26104 ExecStart=/opt/ibma/iBMA.sh start (code=exited,
status=0/SUCCESS)
CGroup: /system.slice/iBMA.service
├─26215 /opt/ibma/bin/Manager
├─26217 /opt/ibma/bin/Manager
├─26225 /opt/ibma/bin/Monitor
├─26226 /opt/ibma/bin/Monitor
├─26251 /opt/ibma/bin/iBMA_RedfishMain
└─26252 /opt/ibma/bin/iBMA_RedfishMain
Jul 02 16:26:33 localhost.localdomain systemd[1]: Starting iBMA: iBMA service...
Jul 02 16:26:41 localhost.localdomain iBMA.sh[26104]: iBMA service started successfully.
Jul 02 16:26:41 localhost.localdomain systemd[1]: Started iBMA: iBMA service.
systemd对服务的管理采用内部管理方式，其他方式停止iBMA之后使用systemctl命令查看iBMA服务状态仍为运行状态。
介绍使用iBMA过程中常见问题的处理办法，具体如表4-1所示。
|
错误类型 |
错误描述 |
原因分析 |
解决措施 |
|
安装驱动 |
Failed to enable the PCIe device. Enable Black Box on the BMC first. |
未开启PCIe设备。 |
在BMC Web界面上开启PCIe设备，详细请参考H 开启PCIe设备。 |
|
Driver package file name is invalid. |
操作系统不兼容。 |
参考1.2 软硬件兼容性检查操作系统的兼容性。 |
|
|
Failed to get driver package for the system. |
|||
|
Failed to get the system version. |
|||
|
A driver of another version is already installed. You need to uninstall it first. |
静默安装时检测到已安装更新版本的驱动。 |
使用自定义安装模式。 |
|
|
Failed to install driver package. |
不满足iBMA的运行环境。 |
参考E 环境要求检查运行环境。 |
|
|
安装iBMA |
Failed to register iBMA service. |
注册iBMA服务失败。 |
参考1.2 软硬件兼容性检查操作系统的兼容性。 |
|
You need to reboot the OS to run iBMA service. |
iBMA安装成功后提示需要重启操作系统才能运行iBMA服务。 |
重启操作系统。 |
|
|
A Black Box module of an older version has been loaded. You need to unload it first. |
用户已经加载了其它旧版本的黑匣子驱动，会影响当前iBMA2.0的正常运行。 |
执行rmmod kbox命令卸载旧版本的黑匣子驱动。 |
|
|
iBMA service is running. Stop it first. |
安装iBMA时检测到iBMA服务正在运行。 |
先停止iBMA服务后再重新安装iBMA。 请参见2.1.1 安装iBMA。 |
|
|
IPv6 is disabled for veth in this host. You need to change your settings or use IPv4 instead. |
系统的IPv6被禁用，可能会导致iBMA运行失败。 |
启动iBMA虚拟网卡的IPv6，或者修改配置使用IPv4启动iBMA。 |
|
|
No space left on device. |
/tmp分区的剩余空间不足。 |
清理/tmp分区，预留至少100M剩余空间。 |
|
|
启动iBMA服务 |
Could not find ‘log.sh' |
安装文件缺失。 |
重新下载最新的安装包。 |
|
Failed to load iBMA driver modules. |
已卸载驱动，导致加载驱动失败。 |
1. 执行rmmod kbox和rmmod host_edma_drv命令卸载已经加载的黑匣子驱动。 2. 重启iBMA2.0，如果重启不成功，重新安装iBMA2.0，具体方法请参见2.1.1 安装iBMA。 |
|
|
Redfish server user name is empty. |
“iBMA.ini”里iBMA_user的值为空。 |
更改“config”目录下“iBMA.ini”配置文件中的iBMA_user，详细请参考F 修改配置文件。 |
|
|
The requested address is not valid in its context. |
“iBMA.ini”里iBMA_http_server_ip的IP跟虚拟网卡的实际IP不一致。 |
更改“config”目录下“iBMA.ini”配置文件中的iBMA_http_server_ip，详细请参考F 修改配置文件。 |
|
|
PCIe device is being used by *** driver.You need to unload it first. |
PCIe设备被其他驱动占用。 |
PCIe设备被其他驱动占用，卸载占用驱动，然后运行iBMA服务器。 |
|
|
Redfish serveuser *** does not exist. |
“iBMA.ini”里配置的用户名不存在。 |
修改“config”目录下“iBMA.ini”配置文件中的HTTP server port，详细请参考F 修改配置文件。 |
|
|
Redfish server port *** is invalid. |
“iBMA.ini”里配置的HTTP server port不在1024到65535之间。 |
||
|
Redfish server port *** is in use. |
“iBMA.ini”里配置的HTTP server port已被其他程序占用。 |
||
|
Socket server port *** is invalid. |
“iBMA.ini”里配置的Socket server port不在1024到65535之间。 |
修改“config”目录下“iBMA.ini”配置文件中的Socket server port，详细请参考F 修改配置文件。 |
|
|
Socket server port *** is in use. |
“iBMA.ini”里配置的Socket server port已被其他程序占用。 |
||
|
NIC name is empty. |
“iBMA.ini”里iBMA_nic的值为空。 |
输入“config”目录下“iBMA.ini”配置文件中的iBMA_nic为“veth”，详细请参考F 修改配置文件。 |
|
|
NIC *** does not exist. |
“iBMA.ini”里配置iBMA_nic不存在，可能是网卡驱动损坏。 |
重新安装iBMA的驱动。 |
|
|
Failed to bring up ***. |
打开“iBMA.ini”里配置的虚拟网卡失败。 |
修改“config”目录下“iBMA.ini”配置文件中的iBMA_nic为“veth”，详细请参考F 修改配置文件。 |
|
|
Char device name is empty. |
“iBMA.ini”里iBMA_cdev的值为空。 |
重新安装iBMA。 安装iBMA的方法请参考2.1.1 安装iBMA。 |
|
|
Char device *** does not exist. |
“iBMA.ini”里配置iBMA_cdev不存在。 |
||
|
Char device *** is in use. |
“iBMA.ini”里配置iBMA_cdev已被其他程序占用。 |
退出占用该字符设备的程序。 |
|
|
File *** does not exist. |
iBMA文件丢失。 |
重新安装iBMA。 安装iBMA的方法请参考2.1.1 安装iBMA。 |
|
|
File *** is not executable. |
iBMA文件的操作权限被修改。 |
||
|
Redfish server user is not root. You need to install 'setfacl' tool to run iBMA service. |
环境没有安装iBMA依赖的setfacl工具，启动失败。 |
更改Redfish server用户名为root，或者使用yum install setfacl等命令安装setfacl工具。 |
|
|
Redfish server user is not root. Failed to set ACL rules for Redfish server user ***. |
iBMA安装目录所在分区的ACL功能没有开启。 |
更改Redfish server用户名为root，或者使能iBMA安装目录所在分区的ACL功能。 |
|
|
Failed to start Black Box. You need to stop kdump service first. |
开启黑匣子的时候需要先关闭kdump功能。 |
关闭kdump功能后再开启黑匣子，详细请参考F 修改配置文件。 |
|
|
Failed to start Black Box. You need to remove /dev/kbox first. |
检查到/dev/kbox文件冲突。 |
移除/dev/kbox文件。 欧拉系统启动后会因为默认加载kbox.ko驱动生成/dev/kbox文件，每次启动后，手动使用 kbox shutdown即可卸载驱动并自动删除/dev/kbox文件。 |
|
|
The iBMA IP address format is invalid. |
配置文件中iBMA的IP地址格式不正确。 |
需要修改“iBMA.ini”的“iBMA_http_server_ip”项为正确的IPv4或IPv6格式。 |
|
|
The iBMA IP address format is invalid. The first digit of an IP address must be greater than 0 and smaller than 223 and it cannot be 127. |
配置文件中iBMA的IP地址的第一位数字小于等于0，或者大于223，或者等于127。 |
需要修改“iBMA.ini”的“iBMA_http_server_ip”项的第一位数字，使其大于0，且小于223，并且不等于127。 |
|
|
The BMC IP address format is invalid. |
配置文件中BMC的IP地址不是正确的IPv4格式。 |
需要修改“iBMA.ini”的“BMC_ip”项为正确的IPv4格式。 |
|
|
The BMC IP address format is invalid. The first digit of an IP address must be greater than 0 and smaller than 223 and it cannot be 127. |
配置文件中BMC的IP地址的第一位数字小于等于0，或者大于223，或者等于127。 |
需要修改“iBMA.ini”的“BMC_ip”项的第一位数字，使其大于0，且小于223，并且不等于127。 |
|
|
The iBMA subnet mask format is invalid. |
配置文件中iBMA的子网掩码不是合法的子网掩码格式。 |
需要修改“iBMA.ini”的“iBMA_netmask”项为正确的子网掩码格式。 |
|
|
The BMC subnet mask format is invalid. |
配置文件中BMC的子网掩码不是合法的子网掩码格式。 |
需要修改“iBMA.ini”的“BMC_netmask”项为正确的子网掩码格式。 |
|
|
Failed to verify the IP address. The iBMA and BMC are on different network segments. |
配置文件中iBMA和BMC处于不同网段。 |
需要同时修改“iBMA.ini”中iBMA和BMC的IP地址和子网掩码。 |
|
|
Failed to verify the IP address. The iBMA and BMC host IDs are the same. |
配置文件中iBMA和BMC主机号相同。 |
需要同时修改iBMA.ini中iBMA和BMC的IP地址和子网掩码。 |
|
|
Failed to obtain BMC IP address information. |
可能由于BMC正在重启中或者BMC的版本不兼容导致获取BMC的IP地址失败。 |
需要检测BMC是否运行正常。 |
|
|
Failed to configure the BMC IP. |
可能由于BMC正在重启中或者BMC的版本不兼容导致配置BMC的IP地址失败。 |
需要检测BMC是否运行正常。 |
|
|
Failed to configure the BMC netmask. |
可能由于BMC正在重启中或者BMC的版本不兼容导致配置BMC的子网掩码失败。 |
需要检测BMC是否运行正常。 |
|
|
Failed to configure the iBMA IP address. |
配置iBMA的IP地址失败。 |
需要根据返回值进行相应修改。 |
|
|
BMC network segment conflict. |
iBMA的IP地址为IPv4，BMC的IP地址与BMC的对外通信业务网段冲突。 |
需要同时修改“iBMA.ini”中iBMA和BMC的IP地址和子网掩码，将它们配置为其他网段，使其不与BMC对外通信业务网段冲突。 |
|
|
Nic index is invalid. |
iBMA运行出现异常导致网卡索引不存在。 |
重启iBMA。 |
|
|
Socket server start failed. Name or service not known |
iBMA解析localhost异常导致Monitor进程启动失败。 |
需保证系统文件/etc/hosts存在，并且包含127.0.0.1 localhost localhost.localdomain内容 |
|
|
Failed to setup network, CDEV mode is not supported by BMC |
BMC不支持将网络切换成字符设备模式。 |
修改网络模式为自动或者虚拟网口模式，或者升级到最新的BMC版本。 。 |
|
|
停止iBMA服务 |
Failed to stop iBMA service. iBMA is upgrading, try again later! |
iBMA正在升级时停止iBMA服务失败。 |
升级iBMA完成后再尝试停止iBMA服务。 |
|
卸载iBMA |
iBMA service is running. Stop it first. |
卸载iBMA时检测到iBMA正在运行。 |
停止iBMA服务后再卸载。 |
|
通用类 |
This script must be run as root. |
以非root用户运行该脚本。 |
必须以root用户运行该脚本。 |
|
安装DKMS源码包 |
Failed to install the DKMS. |
需要先安装DKMS工具，并且工具运行正常才能安装源码包。 |
必须先安装DKMS工具，并且工具运行正常。 |
采用静默模式安装的iBMA，各系统对应的日志存放路径为/opt/ibma/log。
A.1 iBMA资源列表
介绍Linux操作系统中iBMA的资源获取方式。
iBMA的资源列表如表A-1所示。
|
类别 |
类型 |
参数 |
资源获取方式 |
|
iBMA信息 |
基本信息 |
单个管理资源的系统时间 |
date +%Y-%m-%dT%T%:z |
|
单个管理资源的时区 |
date +%:z |
||
|
iBMA插件的软件版本 |
进入软件安装目录，读取配置文件：cat config/iBMA.ini | grep 'iBMA_version' |
||
|
iBMA插件的驱动信息 |
驱动版本： cat /sys/module/driverName/version （driverName : 驱动名称） |
||
|
操作系统 |
基本信息 |
主机名 |
hostname |
|
域名称 |
domainname |
||
|
OS版本（详细内核，补丁版本） |
详细内核： uname -rp；系统补丁版本：etc/centos-release或cat /etc/issue |
||
|
统计信息 |
总系统内存大小，单位GB |
cat /proc/meminfo | grep 'MemTotal' |
|
|
内存占用率百分占比 |
cat /proc/meminfo | grep 'MemTotal'， cat /proc/meminfo | grep 'MemFree' |
||
|
总CPU占用率百分占比 |
cat /proc/stat |
||
|
CPU ID |
cat /proc/cpuinfo | grep 'physical id' |
||
|
CPU型号描述 |
cat /proc/cpuinfo | grep 'model name' |
||
|
CPU占用率百分占比 |
cat /proc/stat |
||
|
交换分区总大小，单位GB |
cat /proc/meminfo | grep 'SwapTotal' |
||
|
交换分区使用率百分占比 |
cat /proc/meminfo | grep 'SwapTotal'， cat /proc/meminfo | grep 'SwapFree' |
||
|
硬盘分区名 |
df |
||
|
硬盘分区总容量，单位GB |
df |
||
|
硬盘分区当前使用容量，单位GB |
df |
||
|
网口 |
基本信息 |
Team信息 |
ip， teamnl |
|
Bridge信息 |
brctl |
||
|
网口描述 |
lspci | grep -i subBDF （subBDF，截取最后的BDF，比如 '0000:02:00.0' --> '02:00.0'） |
||
|
BDF编号 |
ls /sys/bus/pci/devices/ |
||
|
网口名称 |
ls /sys/bus/pci/devices/BDF/net (BDF，比如 '0000:02:00.0') |
||
|
Firmware版本 |
ethtool -i ethX | grep 'firmware-version:' 说明 Intel网卡使用厂商工具eeupdate64e获取。 |
||
|
驱动名称和版本 |
驱动名称：ls -l /sys/bus/pci/devices/BDF/driver驱动版本：cat /sys/bus/pci/devices/BDF/driver/module/version |
||
|
MAC地址 |
cat /sys/bus/pci/devices/BDF/net/ethX/address |
||
|
IPv4地址列表 |
ip addr show ethX |
||
|
IPv6地址列表 |
ip addr show ethX |
||
|
网口速率 |
cat /sys/bus/pci/devices/BDF/net/ethX/speed |
||
|
link状态 |
ip addr show ethX， ethtool ethX | grep 'Link detected:' |
||
|
双工模式 |
cat /sys/bus/pci/devices/BDF/net/ethX/duplex |
||
|
自协商模式 |
ethtool ethX | grep 'Auto-negotiation' |
||
|
MTU大小 |
cat /sys/bus/pci/devices/BDF/net/ethX/mtu |
||
|
带宽占用率 |
cat /proc/net/dev |
||
|
诊断状态 |
Mellanox网卡internal error |
根据/proc/driver/mlx4_core/crdump/<pci_address>、/proc/driver/mlx5_core/crdump/<pci_address>文件内容进行判断。 |
|
|
VLAN |
VLAN使能状态 |
ip addr show ethX.VID |
|
|
VLAN ID |
cat /proc/net/vlan/config |
||
|
VLAN是否支持优先级 |
cat /proc/net/vlan/ethX.VLAN_ID |
||
|
统计信息 |
错包数统计 |
cat /sys/class/net/ethX/statistics/tx_errors cat /sys/class/net/ethX/statistics/rx_errors |
|
|
丢包数统计 |
cat /sys/class/net/ethX/statistics/ tx_dropped cat /sys/class/net/ethX/statistics/ rx_dropped |
||
|
发送包统计 |
cat /sys/class/net/ethX/statistics/tx_packets |
||
|
接收包统计 |
cat /sys/class/net/ethX/statistics/rx_packets |
||
|
frame错包数 |
cat /sys/class/net/ethX/statistics/rx_frame_errors |
||
|
missed错包数 |
cat /sys/class/net/ethX/statistics/rx_missed_errors |
||
|
CRC错包数 |
cat /sys/class/net/ethX/statistics/rx_crc_errors |
||
|
OAM |
OAM状态 |
OS跟交换板间根据OAM协议交互。 |
|
|
FC/FCoE |
基本信息 |
BDF编号 |
调用基类self.getBdfInfo()函数 ( ll /sys/class/fc_host ) |
|
厂家 |
lspci -D | grep BDF |
||
|
描述 |
lspci -D | grep BDF |
||
|
固件版本 |
cat /sys/bus/pci/devices/BDF/hostX/fc_host/hostX/symbolic_name 说明 只有安装驱动之后才会存在该路径。 |
||
|
驱动名称及版本 |
驱动名称： ls -l /sys/bus/pci/devices/BDF/driver 驱动版本：cat /sys/bus/pci/devices/BDF/driver/module/version |
||
|
WWPN和WWNN号 |
WWPN: cat /sys/bus/pci/devices/BDF/hostX/fc_host/hostX/port_name WWNN: cat /sys/bus/pci/devices/BDF/hostX/fc_host/hostX/node_name |
||
|
FC ID信息，24位 |
cat /sys/bus/pci/devices/BDF/hostX/fc_host/hostX/port_id |
||
|
连接的switch的WWN号 |
cat /sys/bus/pci/devices/BDF/hostX/fc_host/hostX/fabric_name |
||
|
端口类型 |
cat /sys/bus/pci/devices/BDF/hostX/fc_host/hostX/port_type |
||
|
端口名称 |
ls -l /sys/bus/pci/devices/BDF |
||
|
端口链接速率，单位Gb |
cat /sys/bus/pci/devices/BDF/hostX/fc_host/hostX/speed |
||
|
端口链接状态 |
cat /sys/bus/pci/devices/BDF/hostX/fc_host/hostX/port_state |
||
|
iSCSI |
基本信息 |
BDF编号 |
调用基类self.getBdfInfo()函数 ( ll /sys/class/fc_host ) |
|
厂家 |
lspci|grep BDF |
||
|
描述 |
lspci|grep BDF |
||
|
Firmware版本 |
cat /sys/bus/pci/devices/BDF/hostX/scsi_host/hostX/beiscsi_fw_ver or cat /sys/bus/pci/devices/BDF/hostX/scsi_host/hostX/fw_version |
||
|
驱动名称及版本 |
驱动名称： ls -l /sys/bus/pci/devices/BDF/driver 驱动版本： cat /sys/bus/pci/devices/BDF/driver/module/version |
||
|
MAC地址信息 |
cat /sys/bus/pci/devices/BDF/hostX/scsi_host/hostX/hwaddress |
||
|
IPV4地址信息 |
cat /sys/bus/pci/devices/BDF/hostX/iscsi_iface/ipv4-iface-X-0/ipaddress or subnet or gateway |
||
|
端口链接速率 |
cat /sys/bus/pci/devices/BDF/hostX/iscsi_host/hostX/port_speed |
||
|
端口链接状态 |
cat /sys/bus/pci/devices/BDF/hostX/iscsi_host/hostX/port_state |
||
|
initiatorname信息 |
cat /sys/bus/pci/devices/BDF/hostX/iscsi_host/hostX/initiatorname |
||
|
VLAN信息 |
cat /sys/bus/pci/devices/BDF/hostX/iscsi_iface/ipv4-iface-X-0/vlan_enabled or vlan_id or vlan_priority |
||
|
NVMe |
基本信息 |
BDF编号 |
ls /sys/bus/pci/devices/ |
|
厂家 |
cat /sys/bus/pci/devices/BDF/vendor |
||
|
驱动名称 |
ls -l /sys/bus/pci/devices/BDF/driver |
||
|
驱动版本 |
cat /sys/bus/pci/devices/BDF/driver/module/version |
||
|
接口协议类型 |
NVMe |
||
|
介质类型 |
SSD |
||
|
支持的最大速率 |
lspci -s BDF -vvv |
||
|
协商速率 |
lspci -s BDF -vvv |
||
|
型号 |
l Huawei NVMe通过hioadm工具获取 l Intel NVMe通过isdct工具获取 l Samsung NVMe通过nvme-cli工具获取 说明 ES3000 V2 hio_info工具、ES3000 V3 hioadm工具、ES3000 V5 hioadm工具、isdct工具和nvme-cli工具源码的下载方法请联系技术支持获取。 |
||
|
固件版本 |
|||
|
序列号 |
|||
|
硬盘状态 |
|||
|
容量，单位字节 |
|||
|
上电时长 |
|||
|
已使用寿命 |
|||
|
温度，单位摄氏度 |
|||
|
数据错误次数 |
|||
|
紧急告警 |
|||
|
冗余空间比例 |
|||
|
冗余空间告警比例 |
|||
|
读数据总量，单位为MB |
|||
|
写数据总量，单位为MB |
|||
|
主机总读次数 |
|||
|
主机总写次数 |
|||
|
控制器忙时间统计，单位为min |
|||
|
上电次数 |
|||
|
非安全关机次数 |
|||
|
错误日志条数 |
|||
|
RAID控制器 |
基本信息 |
厂家 |
使用storelib库获取 |
|
型号 |
使用storelib库获取 |
||
|
固件版本 |
使用storelib库获取 |
||
|
BDF编号 |
ls /sys/bus/pci/devices/ |
||
|
驱动名称信息 |
ls -l /sys/bus/pci/devices/BDF/driver |
||
|
驱动版本信息 |
cat /sys/bus/pci/devices/BDF/driver/module/version |
||
|
产品名称 |
使用storelib库获取 |
||
|
序列号 |
使用storelib库获取 |
||
|
DDR可纠正错误数 |
使用storelib库获取 |
||
|
DDR不可纠正错误数 |
使用storelib库获取 |
||
|
ECC错误计数 |
使用storelib库获取 |
||
|
可纠正错误的漏斗大小 |
使用storelib库获取 |
||
|
NVRAM错误计数 |
使用storelib库获取 |
||
|
可纠正错误的漏斗Leak Rate |
使用storelib库获取 |
||
|
NVDATA版本 |
使用storelib库获取 |
||
|
固件Build版本 |
使用storelib库获取 |
||
|
维护失败历史记录 |
使用storelib库获取 |
||
|
内存大小 |
使用storelib库获取 |
||
|
SAS地址 |
使用storelib库获取 |
||
|
Copy-Back使能 |
使用storelib库获取 |
||
|
Smarter-Copy-Back使能 |
使用storelib库获取 |
||
|
JBOD使能 |
使用storelib库获取 |
||
|
最小条带深度 |
使用storelib库获取 |
||
|
最大条带深度 |
使用storelib库获取 |
||
|
CachePinned状态 |
使用storelib库获取 |
||
|
设备接口 |
使用storelib库获取 |
||
|
是否带电池 |
使用storelib库获取 |
||
|
BBU（电容） |
设计容量 |
电容的属性参考BMC |
|
|
当前容量 |
使用storelib库获取 |
||
|
设计电压 |
使用storelib库获取 |
||
|
当前电压 |
使用storelib库获取 |
||
|
温度 |
使用storelib库获取 |
||
|
电流 |
使用storelib库获取 |
||
|
充放电次数 |
使用storelib库获取 |
||
|
状态 |
使用storelib库获取 |
||
|
逻辑盘 |
基本信息 |
RAID类型 |
使用storelib库获取 |
|
RAID组名称 |
使用storelib库获取 |
||
|
下挂物理盘个数 |
使用storelib库获取 |
||
|
RAID组状态 |
使用storelib库获取 |
||
|
下挂物理盘信息 |
使用storelib库获取 |
||
|
系统盘符 |
l RAID下的逻辑盘从storelib库获取 l 直通硬盘的逻辑盘从/sys/block获取 |
||
|
容量 |
使用storelib库获取 |
||
|
逻辑盘缓存状态 |
使用storelib库获取（只支持LSI SAS3108） |
||
|
重建进度 |
使用storelib库获取 |
||
|
启动盘 |
使用storelib库获取（不支持LSI SAS3008IR和LSI SAS2308） |
||
|
访问策略 |
使用storelib库获取 |
||
|
条带大小 |
使用storelib库获取 |
||
|
默认读策略 |
使用storelib库获取 |
||
|
默认写策略 |
使用storelib库获取 |
||
|
默认缓存策略 |
使用storelib库获取 |
||
|
当前读策略 |
使用storelib库获取 |
||
|
当前写策略 |
使用storelib库获取 |
||
|
当前缓存策略 |
使用storelib库获取 |
||
|
磁盘缓存状态 |
使用storelib库获取 |
||
|
初始化状态 |
使用storelib库获取 |
||
|
开启后台初始化 |
使用storelib库获取 |
||
|
用于二级缓存 |
使用storelib库获取（只支持LSI SAS3108） |
||
|
一致性校验 |
使用storelib库获取（LSI SAS3008IR上报事件有延迟） |
||
|
物理盘 |
基本信息 |
厂商 |
使用storelib库获取（目前支持的厂商包括Seagate、WDC、HGST、Sandisk、Toshiba、 Intel、Micron和Samsung） |
|
RAID卡槽位号 |
使用storelib库获取 |
||
|
分组编号 |
使用storelib库获取 |
||
|
型号 |
使用storelib库获取 |
||
|
位置 |
使用storelib库获取 |
||
|
介质类型 |
使用storelib库获取 |
||
|
序列号 |
使用storelib库获取 |
||
|
容量 |
使用storelib库获取 |
||
|
转速 |
使用storelib库获取（只支持HDD盘） |
||
|
硬盘状态 |
使用storelib库获取 |
||
|
盘符 |
使用storelib库获取（只支持LSI SAS3008IR/LSI SAS3008IT） |
||
|
固件版本 |
使用storelib库获取 |
||
|
接口速率 |
使用storelib库获取 |
||
|
最大速率 |
使用storelib库获取（不支持LSI SAS3008IR/LSI SAS3008IT） |
||
|
电源状态 |
使用storelib库获取 |
||
|
当前协商速率 |
使用storelib库获取 |
||
|
物理盘槽位ID |
使用storelib库获取 |
||
|
接口协议类型 |
使用storelib库获取 |
||
|
温度 |
从SMART信息中提取 |
||
|
上电时间 |
从SMART信息中提取（支持SATA硬盘、希捷公司的SAS硬盘） |
||
|
硬盘丝印 |
使用storelib库点灯，再通过IPMI命令获取 |
||
|
硬盘预判断 |
使用storelib库获取 |
||
|
SAS地址 |
使用storelib库获取 |
||
|
热备状态 |
使用storelib库获取 |
||
|
重建状态 |
使用storelib库获取 |
||
|
重建进度 |
使用storelib库获取 |
||
|
硬盘磨损率 |
从SMART信息中提取（只支持SSD盘） |
||
|
巡检状态 |
使用storelib库获取 |
||
|
自检状态 |
从SMART信息中提取 |
||
|
SMART信息 |
使用storelib库获取（不支持获取软RAID的阈值信息） |
||
|
RAID控制器 |
基本信息 |
厂家 |
使用storcli64工具查询 |
|
型号 |
使用storcli64工具查询 |
||
|
固件版本 |
使用storcli64工具查询 |
||
|
BDF编号 |
ls /sys/bus/pci/devices/ |
||
|
驱动名称信息 |
ls -l /sys/bus/pci/devices/BDF/driver |
||
|
驱动版本信息 |
cat /sys/bus/pci/devices/BDF/driver/module/version |
||
|
产品名称 |
使用storcli64工具查询 |
||
|
MD软RAID逻辑盘 |
基本信息 |
RAID类型 |
使用mdadm工具获取 |
|
RAID组名称 |
使用mdadm工具获取 |
||
|
下挂物理盘个数 |
使用mdadm工具获取 |
||
|
重建状态 |
使用mdadm工具获取 |
||
|
重建进度 |
使用mdadm工具获取 |
||
|
系统盘符 |
使用mdadm工具获取 |
||
|
容量 |
使用mdadm工具获取 |
||
|
RAID组状态 |
使用mdadm工具获取 |
||
|
下挂物理盘信息 |
使用系统ioctl接口获取 |
介绍Linux操作系统的iBMA软件包里的内部程序。
l 安装目录的“script”目录中的“log.sh”为iBMA内部调用脚本，不支持单独使用。
l 安装目录的“lib/Linux/upgrade”目录中的“CMSVerify”为iBMA升级功能用做校验文件的工具，也可以单独使用。
CMSVerify校验使用方法：
[root@localhost package]# /opt/ibma/lib/Linux/upgrade/CMSVerify iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.cms iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz iBMA-Linux-pkg-2.1.5.040-Kunpeng.tar.gz.crl
verify succeed.
[root@localhost package]#
l 安装目录的“bin”目录中的“storcli64”为查询Avago SAS3508 RAID卡信息的工具，可以单独使用， 具体方法请使用“help”参数。
简介
bob是一个帮助带内网络远端主机通过带内组网与本机BMC进行网络通信的转发工具，支持服务管理（启动/停止/重启bob服务），该工具集成在iBMA安装包中，并且依赖iBMA进程，不支持独立部署和工作。
bob提供了一个命令行bobCmd，用于启动/停止/重启bob服务以及其他相关配置，转发配置支持在线配置，无需重启服务。配置支持持久化，即重启系统后不会丢失。
文件位置
l bob主进程位置：/opt/ibma/bin/bob。
l bobCmd位置：/opt/ibma/tools/bob/bobCmd。
bobCmd命令说明
查询bobCmd命令的帮助信息。
[root@localhost bin]# ./bobCmd -h
usage: bobCmd [-h] {service,bmc-server,bmc-client} ...
positional arguments:
{service,bmc-server,bmc-client}
sub-command help
service service sub-command help
bmc-server bmc-server sub-command help
bmc-client bmc-client sub-command help
optional arguments:
-h, --help show this help message and exit
[root@localhost bin]#
表C-1 参数说明
|
参数 |
参数说明 |
|
service |
用于启动/停止/重启bob服务。 |
|
bmc-server |
用于配置BMC作为服务端的转发服务，例如BMC网页登录。 |
|
bmc-client |
用于配置BMC作为客户端的转发服务，例如BMC trap信息上报。 |
为保证bob转发功能正常使用，需要关闭系统防火墙，或者将要配置的bob转发端口添加到系统防火墙规则中，具体操作可参见D 系统防火墙的操作。
l service子命令。
bobCmd service {start,stop,restart}
表C-2 参数说明
|
参数 |
参数说明 |
|
start |
启动bob服务。 |
|
stop |
停止bob服务。 |
|
restart |
重启bob服务。 |
获取帮助信息。
[root@localhost bin]# ./bobCmd service
-h
usage: bobCmd service [-h] {start,stop,restart}
positional arguments:
{start,stop,restart}
optional arguments:
-h, --help show this help message and exit
[root@localhost bin]#
启动bob服务。
[root@localhost bin]# ./bobCmd service start
bob service start successfully.
l bmc-server子命令。
bobCmd bmc-server {show,set,del} [-b BMC_PORT] [-a ADDR [ADDR ...]] [-p PORT] [-t {TCP,UDP}] [-w WHITE_LIST [WHITE_LIST ...] | -aw ADD_WHITE_LIST [ADD_WHITE_LIST ...] | -dw DEL_WHITE_LIST [DEL_WHITE_LIST ...]] [-e {0,1}]
l 需要使能BMC相应的服务，配置的服务端口号（-b参数）要和BMC的一致。
l 配置的监听端口号（-p参数），不能和iBMA其他的服务冲突。
表C-3 参数说明
|
参数 |
参数说明 |
|
{show,set,del} |
必须选择其中一个参数。 l show：查询BMC作为服务端转发服务的配置情况，不需要配置其他参数。 l set：添加和修改一个端口转发配置，-b参数是必须的，其他参数可选填。 l del：删除一个端口转发配置，-b参数是必须的，不需要配置其他参数。 |
|
-b BMC_PORT |
BMC服务目标端口。 |
|
-a ADDR [ADDR ...] |
操作系统侧用于转发的IP地址，可输入多个IP地址。 |
|
-p PORT |
操作系统侧用于转发的端口。 |
|
-t {TCP,UDP} |
转发服务所用的传输协议。 |
|
-w WHITE_LIST [WHITE_LIST ...] |
IP地址在白名单的客户端才可以使用转发服务，覆盖性配置多个IP地址或IP网段，网段配置格式如192.168.0.0/16。若不配置白名单，则所有IP地址均能使用转发服务。 |
|
-aw ADD_WHITE_LIST [ADD_WHITE_LIST ...] |
增加白名单IP地址或IP网段，支持增加多个。 |
|
-dw DEL_WHITE_LIST [DEL_WHITE_LIST ...] |
删除白名单IP地址或IP网段，支持删除多个。 |
|
-e {0,1} |
该端口转发服务的使能标志，0是不使能，1是使能，添加端口服务时如果不填该参数，默认不使能。 |
获取帮助信息。
[root@localhost bin]# ./bobCmd bmc-server -h
usage: bobCmd bmc-server [-h] [-b BMC_PORT] [-a ADDR [ADDR ...]] [-p PORT]
[-t {TCP,UDP}] [-e {0,1}]
[-w WHITE_LIST [WHITE_LIST ...] | -aw ADD_WHITE_LIST
[ADD_WHITE_LIST ...] | -dw DEL_WHITE_LIST
[DEL_WHITE_LIST ...]]
{show,set,del}
positional arguments:
{show,set,del}
optional arguments:
-h, --help show this help message and exit
-b BMC_PORT, --bmc-port BMC_PORT
-a ADDR [ADDR ...], --addr ADDR [ADDR ...]
-p PORT, --port PORT
-t {TCP,UDP}, --trans-protocol {TCP,UDP}
-e {0,1}, --enable {0,1}
-w WHITE_LIST [WHITE_LIST ...], --white-list WHITE_LIST [WHITE_LIST ...]
-aw ADD_WHITE_LIST [ADD_WHITE_LIST ...], --add-white-list ADD_WHITE_LIST
[ADD_WHITE_LIST ...]
-dw DEL_WHITE_LIST [DEL_WHITE_LIST ...], --del-white-list DEL_WHITE_LIST
[DEL_WHITE_LIST ...]
[root@localhost bin]#
查询BMC作为服务端转发服务的配置情况。
[root@localhost bin]# ./bobCmd bmc-server show
BMC-SERVER-PORT: 22
ENABLE: False
OS-LISTEN-PORT: 1022
OS-LISTEN-IP: [u'******']
TRANS-PROTOCOL: None
WHITE-LIST: []
[root@localhost bin]#
l bmc-client子命令。
bobCmd bmc-client {show,enable,disable}
l 需要在BMC端使能带内转发。
l 需要在BMC端配置接收事件的服务器地址以及端口号。
l 如果被监听的端口范围中存在已被监听的端口，则需要通过BMC重新配置被监听的端口范围。
表C-4 参数说明
|
参数 |
参数说明 |
|
show |
显示BMC作为客户端的转发服务的配置情况，包括使能情况和具体端口的转发配置，如果转发服务不使能，不会显示具体端口的转发配置。 |
|
enable |
使能BMC作为客户端的转发服务，配置后会持久化，bob服务没启动时也可配置。 |
|
disable |
关闭BMC作为客户端的转发服务。 |
获取帮助信息。
[root@localhost bin]# ./bobCmd bmc-client -h
usage: bobCmd bmc-client [-h] {show,enable,disable}
positional arguments:
{show,enable,disable}
optional arguments:
-h, --help show this help message and exit
[root@localhost bin]#
显示BMC作为客户端的转发服务的配置情况。
[root@localhost bin]# ./bobCmd bmc-client show
ENABLE: True
BMC-CLIENT-PORT: 30003
SERVER-PORT: 162
SERVER-IP: ******
ACTIVE: False
TRANS-PROTOCOL: UDP
BMC-CLIENT-PORT: 30002
SERVER-PORT: 1234
SERVER-IP: ******
ACTIVE: False
TRANS-PROTOCOL: UDP
BMC-CLIENT-PORT: 30001
SERVER-PORT: 162
SERVER-IP: ******
ACTIVE: False
TRANS-PROTOCOL: UDP
BMC-CLIENT-PORT: 30000
SERVER-PORT: 162
SERVER-IP: ******
ACTIVE: False
TRANS-PROTOCOL: UDP
[root@localhost bin]#
关闭防火墙或者添加防火墙规则后均可正常使用iBMA，或者通过修改iBMA.ini文件，设置iBMA使用字符设备与BMC通信，具体请参见F.8 配置网络模式。
Linux
l 关闭防火墙，以下命令均只能临时关闭防火墙，重启操作系统后失效。
− SUSE 15版本：systemctl stop firewalld
l 永久性添加防火墙规则，重启操作系统生效。
本文以CentOS系统为例，指导用户永久性添加防火墙规则。
编辑“/etc/rc.d/rc.local”脚本，IPv6模式下添加如下规则：
ip6tables -I INPUT -i veth -p tcp --dport 8090 -j ACCEPT
ip6tables -I OUTPUT -o veth -p tcp --sport 8090 -j ACCEPT
ip6tables -I INPUT -i veth -p icmpv6 --icmpv6-type neighbour-solicitation -j ACCEPT
ip6tables -I INPUT -i veth -p icmpv6 --icmpv6-type neighbour-advertisement -j ACCEPT
IPv4模式下添加如下规则：
iptables -I INPUT -i veth -p tcp --dport 8090 -j ACCEPT
iptables -I OUTPUT -o veth -p tcp --sport 8090 -j ACCEPT
“veth”为虚拟网卡名称。
介绍iBMA运行时的环境要求。
iBMA运行时的环境要求如表E-1所示。
|
操作系统 |
硬件要求 |
软件要求 |
备注 |
|
Linux |
l 安装iBMA的磁盘剩余空间为2GB及以上。 l 系统内存剩余200M及以上。 |
l isdct、hio_info、hioadm和nvme-cli工具。 l 需用到的命令包括：teamnl，setfacl，ifconfig，cp，cat，ip，ls，lsof，lspci，date，domainname，ethtool，grep，hostname，kill，lsb_release，modprobe，mount，service，umount，uname，ipmitool，rpm。 |
备注 以下软件可以根据实际业务场景选择安装，未安装时则无法获取对应资源的属性，但不影响iBMA基本功能。 l 如需要获取Intel网卡的固件版本时，则需要安装Intel网卡对应的官方驱动。 l 如需要获取Huawei ES3000 V2属性，则需要安装hio_info工具。 l 如需要获取Huawei NVMe属性，则需要安装hioadm工具。 l 如需要获取Intel NVMe属性，则需要安装isdct工具。 l 如需要获取Samsung NVMe属性，则需要安装nvme-cli工具。 |
介绍iBMA的配置文件(“iBMA.ini”、“Monitor.ini”和“WatchDog.ini”等）修改，修改配置文件后需要重启iBMA和BOB生效。
配置文件修改不符合规范以及格式不正确可能会导致iBMA启动失败。
“config”目录下的“iBMA.ini”配置文件用于配置一些共用的iBMA配置信息，如图F-1和表F-1所示。
|
配置项 |
说明 |
默认值 |
修改规范 |
|
iBMA_user |
iBMA运行Redfish server时的用户名。 |
ibma |
可以更改为系统其他已存在的用户名。 说明 如果iBMA安装所在分区不支持设置ACL规则，则不支持修改此配置项。 |
|
iBMA_http_server_port |
iBMA运行Redfish server时使用的端口。 |
8090 |
可以更改为1024到65535之间的空闲端口。 |
|
iBMA_socket_port |
iBMA运行Socket server时使用的端口。 |
8091 |
可以更改为1024到65535之间的空闲端口。 |
|
iBMA_multi_command_number |
并行执行命令的数目。 |
-1 |
可以设置为任意正数或-1（-1表示不限制），建议设置为默认值。 |
|
BMC_ip |
BMC与iBMA通信的IP地址。 |
无 |
当iBMA为IPv6时可以为空值，否则必须为正确IPv4格式。 |
|
iBMA_netmask |
iBMA侧子网掩码。 |
无 |
当iBMA为IPv6时可以为空值，否则必须为正确子网掩码格式。 |
|
BMC_netmask |
BMC侧子网掩码。 |
无 |
当iBMA为IPv6时可以为空值，否则必须为正确子网掩码格式。 |
|
iBMA_version |
“iBMA.ini”配置文件的版本。 |
根据版本更新 |
不需要修改。 |
|
iBMA_support_service |
iBMA是否支持注册服务。 |
true |
|
|
iBMA_http_server_ip |
iBMA运行Redfish server时的IP地址。 |
fe80::9e7d:a3ff:fe28:6ff9 |
IPv4格式和IPv6格式。 |
|
iBMA_cdev |
iBMA用到的字符设备。 |
/dev/cdevbmc0 |
不需要修改。 |
|
iBMA_path |
iBMA的默认安装路径。 |
/opt |
|
|
iBMA_nic |
iBMA的虚拟网卡名称。 |
veth |
|
|
iBMA_syslog |
iBMA日志记录到syslog。 |
false |
可以更改为“true”。 |
|
BMC_event |
用于配置是否订阅BMC系统事件。 |
false |
可以更改为“true”。 |
|
iBMA_support_https |
用于配置iBMA的Redfish服务是否以HTTPS协议启动。 |
true |
可以更改为“true”。 |
|
actual_memory_usage |
用于配置内存占用率计算方式。 说明 为“true”时与procps工具包3.3.15版本计算方式一致，为“false”时与procps工具包3.3.9及之前版本计算方式一致。 |
l 安装iBMA时，默认属性值为true； l 升级iBMA时，如果旧版本iBMA已有此属性，以旧版本iBMA属性值为准；如果旧版本iBMA无此属性，默认属性值为false。 |
可以更改为“false”。 |
|
iBMA_release_date |
版本发布时间 |
根据版本更新 |
不需要修改。 |
|
iBMA_network_type |
用于设置iBMA与BMC通信网络模式 |
l 安装iBMA时，默认为veth； l 升级iBMA时，如果旧版本iBMA已有此属性，以旧版本iBMA属性值为准；如果旧版本iBMA无此属性，默认属性值为veth。 |
可以更改为“auto”、“cdev”或者“veth”，具体请参见F.8 配置网络模式。 |
“config”目录下的“Monitor.ini”用于配置Monitor（获取系统资源）的参数，包含各种定时器的配置，定时器主要包含获取系统资源的参数配置，各参数如表F-2所示，如下为用于检测资源变化事件的定时器：
"EventCheck" : {
"isLocal" : true,
"delay" : true,
"action" : {
"local_Adapter" : {
"hasList" : false
}
},
"description" : "Check the resource change events.",
"enabled" : true,
"intervalTime" : 60,
"runTimes" : 0,
"minIntervalTime" : 5,
"maxIntervalTime" : 86400
}
|
配置项 |
说明 |
修改规范 |
|
isLocal |
是否直接获取资源信息。 |
不建议修改。 |
|
delay |
是否延迟获取资源信息。 |
|
|
action |
定时器的内部处理方法。 |
|
|
description |
定时器描述。 |
|
|
enabled |
该定时器是否开启。 |
开/关：true/false。 |
|
intervalTime |
定时器监控时间间隔（单位：秒）。 |
取值在minIntervalTime和maxIntervalTime之间。 |
|
runTimes |
定时器运行的最大次数（0表示一直运行）。 |
不建议修改。 |
|
minIntervalTime |
定时器支持的最小监控时间间隔（单位：秒）。 |
不允许修改。 |
|
maxIntervalTime |
定时器支持的最大监控时间间隔（单位：秒）。 |
“lib/Linux/config”目录下的“WatchDog.ini”配置文件用于配置看门狗，配置文件内容如下，各参数说明如表F-3所示。
{"Enable": false, "TimeOut": 900, "FeedTime": 180}
|
配置项 |
说明 |
默认值 |
修改规范 |
|
Enable |
是否开启看门狗。 |
false |
开/关：true/false。 |
|
TimeOut |
看门狗超时时间（单位：秒）。 |
900 |
值大于0，超时时间（TimeOut）要大于喂狗时间（FeedTime）。 |
|
FeedTime |
喂狗时间（单位：秒）。 |
180 |
F.4 介绍syslog.ini配置文件
“config”目录下的“syslog.ini”配置文件如下所示：
# iBMA syslog config file
[iBMA_syslog]
port=514
type=user
表F-4 “syslog.ini”配置参数说明
|
配置项 |
说明 |
默认值 |
修改规范 |
|
port |
本机syslog监听端口 |
514 |
与当前系统syslog服务监听端口保存一致，取值范围是 1-65535。 |
|
type |
iBMA日志记录到syslog采用的日志类型 |
user |
可设置的值包括“auth”、“cron”、“daemon”、“kernel”、“mail”、“syslog”、“lpr”、“user”。 |
正确配置才能生效，如果配置错误，会采用默认值，在日志中有记录实际端口、日志类型。
iBMA日志记录到syslog，依赖当前系统的syslog服务，需要通过如下方式开启监听UDP连接：
/etc/rsyslog.conf
# 监听UDP连接
$ModLoad imudp
$UDPServerRun 514
F.5 介绍HarddiskIOAnalysis.ini配置文件
“config”目录下的“HarddiskIOAnalysis.ini”配置文件用于配置硬盘IO性能降低检测的相关参数，文件如下所示：
{
"SlowDisk" : {
"minorMillisecond" : 35,
"minMinorMillisecond" : 10,
"maxMinorMillisecond" : 100,
"minorWeight" : 1,
"minMinorWeight" : 0,
"maxMinorWeight" : 10,
"majorMillisecond" : 45,
"minMajorMillisecond" : 10,
"maxMajorMillisecond" : 300,
"majorWeight" : 2,
"minMajorWeight" : 0,
"maxMajorWeight" : 10,
"periodSecond" : 600,
"minPeriodSecond" : 60,
"maxPeriodSecond" : 86400,
"intervalSecond" : 1,
"minIntervalSecond" : 1,
"maxIntervalSecond" : 10,
"alarmPercent" : 15,
"minAlarmPercent" : 0,
"maxAlarmPercent" : 100,
"recoverAlarmPercent" : 13,
"minRecoverAlarmPercent" : 0,
"maxRecoverAlarmPercent" : 100
}
}
参数说明如表F-5所示。
表F-5 “HarddiskIOAnalysis.ini”配置参数说明
|
参数 |
说明 |
默认值 |
修改规范 |
|
minorMillisecond |
判定采样点IO性能轻微降低IO延时值。 |
35 |
单位1ms，取值为配置文件minMinorMillisecond-maxMinorMillisecond之间。 |
|
minMinorMillisecond |
判定采样点IO性能轻微降低IO延时值最小值。 |
10 |
不建议修改。 |
|
maxMinorMillisecond |
判定采样点IO性能轻微降低IO延时值最大值。 |
100 |
不建议修改。 |
|
minorWeight |
采样点IO性能轻微降低计算权重。 |
1 |
取值为配置文件minMinorWeight - maxMinorWeight之间。 |
|
minMinorWeight |
采样点IO性能轻微降低计算权重最小值。 |
0 |
不建议修改。 |
|
maxMinorWeight |
采样点IO性能轻微降低计算权重最大值。 |
10 |
不建议修改。 |
|
majorMillisecond |
判定采样点IO性能严重降低的IO延时值。 |
45 |
单位1ms，取值为配置文件minMajorMillisecond - maxMajorMillisecond之间。 |
|
minMajorMillisecond |
判定采样点IO性能严重降低IO延时值最小值。 |
10 |
不建议修改。 |
|
maxMajorMillisecond |
判定采样点IO性能严重降低IO延时值最大值。 |
300 |
不建议修改。 |
|
majorWeight |
采样点IO性能严重降低计算权重。 |
2 |
取值为配置文件minMajorWeight - maxMajorWeight之间。 |
|
minMajorWeight |
采样点IO性能严重降低计算权重最小值。 |
0 |
不建议修改。 |
|
maxMajorWeight |
采样点IO性能严重降低计算权重最大值。 |
10 |
不建议修改。 |
|
periodSecond |
检测周期。 |
600 |
单位1s，取值为配置文件minPeriodSecond - maxPeriodSecond之间。 |
|
minPeriodSecond |
检测周期最小值。 |
60 |
不建议修改。 |
|
maxPeriodSecond |
检测周期最大值。 |
86400 |
不建议修改。 |
|
intervalSecond |
硬盘IO采样间隔。 |
1 |
单位1s，取值为配置文件minIntervalSecond - maxIntervalSecond之间。 |
|
minIntervalSecond |
硬盘IO采样间隔最小值。 |
1 |
不建议修改。 |
|
maxIntervalSecond |
硬盘IO采样间隔最大值。 |
10 |
不建议修改。 |
|
alarmPercent |
判定硬盘IO性能降低权重比例。硬盘采样点权重比例大于该比例时，认为硬盘IO性能降低。 |
15 |
百分比值，取值为配置文件minAlarmPercent - maxAlarmPercent之间。 |
|
minAlarmPercent |
硬盘IO性能降低权重比例最小值。 |
0 |
不建议修改。 |
|
maxAlarmPercent |
硬盘IO性能降低权重比例最大值。 |
100 |
不建议修改。 |
|
recoverAlarmPercent |
判定硬盘IO性能恢复正常权重比例。硬盘采样点权重比例小于该比例时，认为硬盘IO性能恢复正常。 |
13 |
百分比值，取值为配置文件minRecoverAlarmPercent - maxRecoverAlarmPercent之间。 |
|
minRecoverAlarmPercent |
硬盘IO性能恢复正常权重比例最小值。 |
0 |
不建议修改。 |
|
maxRecoverAlarmPercent |
硬盘IO性能恢复正常权重比例最大值。 |
100 |
不建议修改。 |
“config”目录下的“SenseCode.ini”配置文件用于配置硬盘Sense Code检测的相关参数，文件如下所示：
{
"No Sense":[["No sense, PFA threshold reached",
"0,5D,0"]],
"Medium Error":[["Medium Error, unrecovered read error, auto re-alloc failed", "3,11,4"],
["Medium Error, unrecovered read error",
"3,11,0"],
["Medium Error, Data Sync Mark error",
"3,16,0"]
],
"Hardware Error":[["Hardware Error, Data Sync Mark error in reserved area", "4,16,0"],
["Hardware Error, self-test failed",
"4,3E,3"]
],
"Other":[["Miscompare, during verify byte check operation", "E,1D,0"]]
}
配置文件主要包含{"Category":[ ["Error Condition","Sense Code"],… ]} 三个参数，参数的修改请依据t10规范。参数说明如表F-6所示。
|
配置项 |
说明 |
默认值 |
修改规范 |
|
Category |
需要检测的硬盘的Sense Key错误类型。 |
- |
依据t10规范修改。 |
|
Error Condition |
需要检测的附加感知代码 (asc) 和附加感知代码限定符 (ascq)的描述。 |
- |
依据t10规范修改。 |
|
Sense Code |
由Sense Key、asc、ascq共同确定的硬盘感知代码。 |
- |
依据t10规范修改。 |
iBMA通过“iBMA.ini”配置文件判断iBMA与BMC通过IPv4还是IPv6方式进行HTTP通讯，配置文件有IPv4与IPv6两种情况。
l IPv6
IPv6情况下，BMC的IP地址以及iBMA与BMC的子网掩码可以不存在，配置文件如图F-2所示。
l IPv4
实现IPv4配置，需要对“iBMA.ini”配置文件中的“iBMA_http_server_ip”配置项进行修改，将其设置为IPv4地址，同时添加三个配置项，分别为“BMC_ip”、“iBMA_netmask”、“BMC_netmask”，配置项名称在配置文件中与字母大小写无关，具体如表F-7所示。修改“iBMA.ini”后，需要重启iBMA生效，不需要手动执行命令配置虚拟网口IP地址，iBMA在启动时会自动配置iBMA和BMC的虚拟网口IP地址。
l “iBMA_http_server_ip”和“BMC_ip”需要配置为同一网段，且不能和BMC管理IP地址以及业务IP地址在同一网段。
l 配置IPv4时，BMC的版本必须为2.62及以上。
|
配置项 |
说明 |
修改规范 |
|
iBMA_http_server_ip |
iBMA运行Redfish server时的IP地址。 |
IPv4格式和IPv6格式。 |
|
BMC_ip |
BMC与iBMA通信的IP地址。 |
当iBMA为IPv6时可以为空值，否则必须为正确IPv4格式。 |
|
iBMA_netmask |
iBMA侧子网掩码。 |
当iBMA为IPv6时可以为空值，否则必须为正确子网掩码格式。 |
|
BMC_netmask |
BMC侧子网掩码。 |
当iBMA为IPv6时可以为空值，否则必须为正确子网掩码格式。 |
配置IP地址过程中遇到的问题请参考4.1 常见问题处理解决。
iBMA通过“iBMA.ini”文件的“iBMA_network_type”配置项设置iBMA与BMC的通信模式。配置项可配置值如表F-8所示。
l 只支持虚拟网口通信模式。
l SUSE和EulerOS 2.0 SP8操作系统只支持虚拟网口通信模式。
|
可配置值 |
说明 |
|
auto |
自动模式，iBMA会自动检查BMC是否支持字符设备模式，优先使用更加安全的字符设备模式，避免因为防火墙因素导致iBMA与BMC通信异常。 |
|
cdev |
字符设备模式，iBMA与BMC使用单独的字符设备进行通信；x86架构配套BMC V3.70及以后版本，Arm架构配套BMC V5.50及以后版本。 |
|
veth |
虚拟网口模式，iBMA与BMC使用虚拟网口进行通信，需要配置防火墙规则打开通信端口，详细请参见D 系统防火墙的操作。 |
介绍在系统中使能IPv6。
以下命令中的“veth”是虚拟网卡的名称。
1. 查看是否禁用IPv6，“0”表示开启，“1”表示禁用。
[root@localhost iBMA2.0]# sysctl net.ipv6.conf.veth.disable_ipv6
net.ipv6.conf.veth.disable_ipv6 = 0
[root@localhost iBMA2.0]#
2. 设置启动IPv6，有以下两种方式。
− 直接设置IPv6（本次有效，重启OS或者重新加载网卡时需要重新配置）。
[root@localhost iBMA2.0]# sysctl net.ipv6.conf.veth.disable_ipv6=0
net.ipv6.conf.veth.disable_ipv6 = 0
[root@localhost iBMA2.0]# ifconfig veth inet6 add fe80::9e7d:a3ff:fe28:6ff9/64 up
[root@localhost iBMA2.0]#
− 通过编辑系统配置文件“sysctl.conf ”来设置IPv6（永久有效）。
[root@localhost iBMA2.0]# cat
/etc/sysctl.conf
# System default settings live in /usr/lib/sysctl.d/00-system.conf.
# To override those settings, enter new settings here, or in an
/etc/sysctl.d/<name>.conf file
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
net.ipv6.conf.veth.disable_ipv6=0
[root@localhost iBMA2.0]#
介绍在BMC Web的黑匣子界面中开启PCIe设备。
操作场景
本文以IE 11浏览器为例介绍在BMC Web界面中开启PCIe设备的操作步骤。
必备事项
数据
执行该任务前需准备以下数据：
l 服务器BMC管理网口IP地址和子网掩码。
l 服务器BMC用户名和密码。
操作步骤
步骤 1 配置登录环境。
1. 使用网线将PC机网口与服务器的BMC管理网口相连。
2. 设置PC的IP地址与服务器BMC管理网口的IP地址在同一网段。
例如：设置IP为“192.168.2.10”，子网掩码为“255.255.255.0”。
设置IE浏览器属性
3. 在IE浏览器的菜单栏中，选择“工具 > Internet选项”。
弹出“Internet选项”对话框。
4. 选择“连接”页签，单击“局域网设置”。
弹出“局域网（LAN）设置”对话框。
5. 在“代理服务器”区域框内，取消勾选“为LAN使用代理服务器”前面的复选框。
6. 单击“确认”。
关闭“局域网（LAN）设置”对话框。
7. 单击“确认”。
关闭“Internet选项”对话框。
步骤 2 登录BMC Web界面。
1. 重新打开IE浏览器，并在地址栏中输入BMC管理网口的IP地址，按“Enter”。
地址格式为“http://BMC管理网口的IP地址”。
弹出安全告警窗口。
2. 单击“继续浏览此网站（不推荐）”。
弹出登录界面。
3. 在BMC登录界面中，进行如下设置：
a. 选择界面语言。
b. 输入用户名。
c. 输入密码。
d. 选择登录到“这台BMC”。
e. 单击“登录”。
进入BMC Web界面。
步骤 3 开启PCIe设备。
1. 在BMC Web界面选择“诊断 > 黑匣子”。
进入黑匣子界面。
2. 单击“OFF”。
当“OFF”变为“ON”，表示已开启PCIe设备。
步骤 4 重启系统。
1. 在BMC Web界面中单击“系统管理 > 电源&功率”，在“服务器上下电”界面单击“下电”。
进入确认提示框。
2. 单击“确定”。
下电成功。
3. 单击“上电”。
进入确认提示框。
4. 单击“确定”。
上电成功。
----结束
黑匣子映像文件记录了系统发生异常宕机时的状态信息和调试信息，通过读取和解析黑匣子映像文件会生成一个txt文件，此txt文件可用于查找系统发生异常宕机的原因。
使用黑匣子功能，需要修改iBMA.ini配置文件的iBMA_kbox值为true，具体请参考F.1 介绍iBMA.ini配置文件。
使用黑匣子功能前需关闭系统kdump功能。
I.1 获取帮助信息（-h，--help）
介绍获取帮助信息（-h，--help）。
命令功能
获取hwkbox命令行使用的帮助信息。
命令格式
hwkbox -h
hwkbox --help
参数说明
无
使用指南
短指令与长指令可混合使用。
使用实例
[root@master ~]#cd /opt/ibma/bin/
[root@master bin]# ./hwkbox -h
Usage:
hwkbox <-r|-p|-v|-h>
-r,--read [output filename]: read data from kbox
-p,--parse <data filename> [parse filename]: parse kbox original data
-v,--version: display the software version information
-h,--help: display the help information
I.2 获取软件版本信息（-v，--version）
介绍获取软件版本信息（-v，--version）。
命令功能
获取hwkbox命令行软件版本信息。
命令格式
hwkbox -v
hwkbox --version
参数说明
无
使用指南
短指令与长指令可混合使用。
使用实例
[root@master bin]# ./hwkbox -v
The software version is:5.39
I.3 读取黑匣子映像文件（-r，--read）
介绍读取黑匣子映像文件（-r，--read）。
命令功能
读取黑匣子映像文件。
命令格式
hwkbox -r [output filename]
hwkbox --read [output filename]
参数说明
|
参数 |
参数说明 |
取值 |
|
output filename |
黑匣子映像文件 |
如果不输入则会在当前目录下生成以 “kbox_data”+“日期”命名的img文件，输入则使用自定义的文件名。 |
使用指南
短指令与长指令可混合使用。
使用实例
[root@master bin]# ./hwkbox -r
Read data from the kbox successfully.
I.4 解析黑匣子原始映像文件（-p，--parse）
介绍解析黑匣子原始映像文件（-p，--parse）。
命令功能
解析黑匣子原始映像文件。
命令格式
hwkbox -p <data filename> [parse filename]
hwkbox --parse <data filename> [parse filename]
参数说明
|
参数 |
参数说明 |
取值 |
|
data filename |
黑匣子原始映像文件 |
– |
|
parse filename |
解析完毕后可读的文件 |
如果不输入则文件名默认为“Result.txt”，输入则使用自定义的文件名。 |
使用指南
短指令与长指令可混合使用。
保证data filename存在，parse filename如果使用自定义输出文件名时保证其目录正确性。
使用实例
[root@master bin]# ./hwkbox -p kbox_data__2016-12-20_4-51-15.img
Parse kbox data succeed!
J.1 安装DKMS源码包
步骤 1 请联系技术支持获取DKMS源码包的最新版本的软件包，以及检验软件包完整性的方法。
步骤 2 确认已安装DKMS工具和内核开发包。
linux-nm7b:/ # rpm -qa | grep dkms
dkms-2.2.0.3_git20141020-5.1.noarch
步骤 3 解压源码包，得到rpm和deb安装包。
linux-nm7b:/home/dkmssrc # tar xzvf iBMA_Driver-dkms-0.2.7-src.aarch64.tar.gz
iBMA_Driver-dkms-0.2.7-src.aarch64.rpm
ibmasrc-dkms-0.2.7.amd64.deb
步骤 4 根据系统支持rpm或deb的情况来安装对应的安装包（以安装rpm包为例）。
linux-nm7b:/home/dkmssrc # rpm -ivh iBMA_Driver-dkms-0.2.7-src.aarch64.rpm
Preparing...
################################# [100%]
Updating / installing...
1:iBMA_Driver-dkms-0.2.7-src
################################# [100%]
Installing the DKMS...
Installation successful.
如果已经安装iBMA，则安装DKMS源码包会失败，需要先卸载iBMA再安装DKMS源码包。
----结束
J.2 卸载DKMS源码包
步骤 1 确认已安装DKMS源码包。
linux-nm7b:/ # rpm -qa | grep dkms
iBMA_Driver-dkms-0.2.7-src.aarch64
步骤 2 根据安装rpm或deb包来执行卸载（以卸载rpm包为例）。
linux-nm7b:/ # rpm -e iBMA_Driver-dkms-0.2.7-src.aarch64
Uninstalling... Please wait for a moment.
Uninstall the DKMS successfully.
----结束
J.3 升级DKMS源码包
步骤 1 请联系技术支持获取DKMS源码包的最新版本的软件包，以及检验软件包完整性的方法。
步骤 2 解压源码包，得到rpm和deb安装包。
步骤 3 根据系统支持rpm或deb的情况来安装对应的安装包。
----结束
以SUSE 15 SP1为例介绍编译iBMA驱动的操作步骤，并将编译好的iBMA驱动存放到驱动的相应操作系统对应的目录下，即可正常安装iBMA。
步骤 1 检查系统环境是否满足编译要求。
l Ubuntu系统可以通过以下方法查询系统中是否已安装gcc、make、dpkg工具和内核开发包。
root@ubuntu14:~# root@ubuntu14:~# dpkg
-l |grep gcc
ii gcc 4:4.8.2-1ubuntu6
amd64 GNU C
root@ubuntu14:~# dpkg -l |grep make
ii make 3.81-8.2ubuntu3
amd64 An utility for Directing compilation.
root@ubuntu14:~# dpkg -l |grep headers
ii linux-generic 3.13.0.24.28
amd64 Complete Generic Linux kernel and headers
ii linux-headers-3.13.0-24 3.13.0-24.46 all
Header files related to Linux kernel version 3.13.0
ii linux-headers-3.13.0-24-generic 3.13.0-24.46
amd64 Linux kernel headers for version 3.13.0 on 64 bit x86 SMP
ii linux-headers-generic 3.13.0.24.28
amd64 Generic Linux kernel headers
l 非Ubuntu系统可以通过以下方法查询系统中是否已安装gcc、make、rpm-build工具和内核开发包。
linux-ij6i:~ # rpm –qa |grep gcc
gcc-4.8-6.189.x86_64
linux-ij6i:~ # rpm -qa |grep make
make-4.0-4.1.x86_64
linux-ij6i:~ # rpm -qa |grep rpm-build
rpm-build-4.11.2-10.1.x86_64
linux-ij6i:~ # rpm -qa |grep kernel-devel
kernel-devel-3.12.49-11.1.noarch
步骤 2 （可选）在kernel-ml内核环境上检查目标主机是否使能retpoline，其他版本内核则跳过该步骤。
此处以4.14.15-1.el7.elrepo.x86_64内核版本为例进行说明。
通过如下命令判断待安装iBMA的环境上是否使能retpoline：
l 如果执行结果中含有retpoline则表明使能了retpoline。
[root@localhost /]# modinfo igb | grep vermagic
vermagic: 4.14.15-1.el7.elrepo.x86_64 SMP mod_unload modversions retpoline
l 如果执行结果中没有包含retpoline，则说明环境没有使能retpoline。
[root@localhost /]# modinfo igb | grep vermagic
vermagic: 4.14.15-1.el7.elrepo.x86_64 SMP mod_unload modversions
a. 进入编译环境的内核源码根目录所在位置。
[root@localhost /]# cd
/usr/src/kernels/4.14.15-1.el7.elrepo.x86_64
[root@localhost 4.14.15-1.el7.elrepo.x86_64]#
b. 执行命令make menuconfig（需要安装ncurses-devel组件）进入内核编译选项配置界面。
图K-1 内核编译选项配置界面
i. 找到“Processor type and features”选项，选择“<Select>”，单击“Enter”，进入子菜单。
图K-2 子菜单界面
ii. 找到“Avoid speculative indirect branches in kernel”选项，将其设置为和环境一致的配置，中括号内显示*表示使能，否则表示禁用。单击空格键可以修改配置，配置完成后，选择“<Save>”，后单击“Enter”，保存配置。
图K-3 修改配置参数
iii. 保存后，单击“Esc”退出配置。
iv. 执行命令make disclean使配置生效。
[root@localhost 4.14.15-1.el7.elrepo.x86_64]# make disclean
scripts/kconfig/conf --silentoldconfig Kconfig
make: *** No rule to make target `disclean'. Stop.
[root@localhost 4.14.15-1.el7.elrepo.x86_64]#
v. 驱动编译完成后，通过以下方式检查编译的驱动是否和环境一致。
[root@localhost Linux]#
modinfo host_edma_drv.ko | grep vermagic
vermagic: 4.14.15-1.el7.elrepo.x86_64 SMP mod_unload modversions
步骤 3 请联系技术支持获取DKMS源码包的最新版本的软件包，以及检验软件包完整性的方法。
步骤 4 将软件包上传至服务器操作系统的目录下，如“/home/dkmssrc/”目录。
步骤 5 登录服务器操作系统并进入软件包所在目录。
步骤 6 解压源码包，得到rpm和deb安装包。
linux-ij6i:/home/dkmssrc # tar xzvf iBMA_Driver-dkms-0.2.7-src.aarch64.tar.gz
iBMA_Driver-dkms-0.2.7-src.aarch64.rpm
ibmasrc-dkms-0.2.7.amd64.deb
步骤 7 执行以下命令，解压“iBMA_Driver-dkms-0.2.7-src.aarch64.rpm”。
rpm2cpio iBMA_Driver-dkms-0.2.7-src.aarch64.rpm | cpio -di
Ubuntu系统中只有deb包，所以在Ubuntu系统中需执行以下命令解压“ibmasrc-dkms-0.2.7.amd64.deb”。
dpkg-deb --fsys-tarfile ibmasrc-dkms-0.2.7.amd64.deb | tar xf -
步骤 8 执行以下命令，进入“usr/src/iBMA_Driver-0.2.7/”目录。
cd usr/src/iBMA_Driver-0.2.7/
步骤 9 执行以下命令，增加build_manual.sh命令的可执行权限。
chmod +x build_manual.sh
linux-ij6i:/home/dkmssrc/usr/src/iBMA_Driver-0.2.7
# chmod +x build_manual.sh
linux-ij6i:/home/dkmssrc/usr/src/iBMA_Driver-0.2.7 #
步骤 10 执行以下命令，编译iBMA驱动并打包。
./build_manual.sh sles-12sp1
此命令中的参数sles-12sp1在不同操作系统中的取值示例如表K-1所示。
|
操作系统 |
示例版本 |
示例参数 |
|
SUSE |
SUSE 12.1 |
sles-12sp1 |
|
CentOS |
CentOS 6.7 |
centos-6.7 |
|
EulerOS |
EulerOS 2.0 |
euleros-2.0 |
|
Ubuntu |
Ubuntu 14.04.0 |
ubuntu-14.04.0 |
ij6i:/home/dkmssrc/usr/src/iBMA_Driver-0.2.7
# ./build_manual.sh sles-12sp1
Start build driver...
Build driver ko successfully.
Start build rpm...
Start build 3.12.49-11-default
Build rpm successfully.
Build driver successfully.
linux-ij6i:/home/dkmssrc/usr/src/iBMA_Driver-0.2.7 #
步骤 11 将打包生成的驱动包“kmod-iBMA_driver-3.12.49-11-default-0.2.7-sles12sp1.aarch64.rpm”拷贝到iBMA安装包的“iBMA2.0/drivers/SUSE”目录下，驱动包存放的路径与操作系统种类的对应关系如表K-2所示。
在Ubuntu系统中打包生成的驱动包为“ibmadriver-3.13.0-24-generic-0.2.7-ubuntu14.04.0.amd64.deb”。
|
操作系统 |
驱动包存放路径 |
|
SUSE |
iBMA2.0/drivers/SUSE/ |
|
CentOS |
iBMA2.0/drivers/CentOS/ |
|
EulerOS |
iBMA2.0/drivers/EulerOS/ |
|
Ubuntu |
iBMA2.0/drivers/Ubuntu/ |
步骤 12 参考2.1.1 安装iBMA即可正常安装iBMA。
----结束
本章节介绍在操作系统下的iBMA命令行操作。
命令行帮助信息输出（以支持systemctl的Linux系统为例）
[root@localhost iBMA2.0]# ibmacli –h
usage: ibmacli [-h] {version,service} …
positional arguments:
{version,service} sub-command help
version show iBMA version information
service service sub-command help
optional arguments:
-h, --help show this help message and exit
[root@localhost iBMA2.0]# ibmacli –help
usage: ibmacli [-h] {version,service} …
positional arguments:
{version,service} sub-command
help
version show iBMA version information
service service sub-command help
optional arguments:
-h, --help show this help message and exit
[root@localhost iBMA2.0]# ibmacli service –h
usage: ibmacli [-h] {status,start,stop,restart} …
positional arguments:
{status,start,stop,restart}
optional arguments:
-h, --help show this help message and exit
表L-1 参数说明
|
参数 |
参数说明 |
|
version |
用于查询iBMA版本信息 |
|
service |
用于查询/启动/停止/重启iBMA |
l service子命令。
service {status,start,stop,restart}
表L-2 参数说明
|
参数 |
参数说明 |
|
status |
查询iBMA运行状态 |
|
start |
启动iBMA服务 |
|
stop |
停止iBMA服务 |
|
restart |
重启iBMA服务 |
查询iBMA版本信息（以支持systemctl的Linux系统为例）
[root@localhost ~]# ibmacli version
iBMA version :
2.0.0.011
iBMA driver version : 0.2.9
查询iBMA运行状态（以支持systemctl的Linux系统为例）
[root@localhost ~]# ibmacli service status
● iBMA.service - iBMA: iBMA service
Loaded: loaded (/usr/lib/systemd/system/iBMA.service; enabled; vendor preset: disabled)
Active: active (running) since Tue 2019-07-02 16:26:41 CST; 1min 23s ago
Process: 25943 ExecStop=/opt/ibma/iBMA.sh stop (code=exited,
status=0/SUCCESS)
Process: 26104 ExecStart=/opt/ibma/iBMA.sh start (code=exited,
status=0/SUCCESS)
CGroup: /system.slice/iBMA.service
├─26215 /opt/ibma/bin/Manager
├─26217 /opt/ibma/bin/Manager
├─26225 /opt/ibma/bin/Monitor
├─26226 /opt/ibma/bin/Monitor
├─26251 /opt/ibma/bin/iBMA_RedfishMain
└─26252 /opt/ibma/bin/iBMA_RedfishMain
Jul 02 16:26:33 localhost.localdomain systemd[1]: Starting iBMA: iBMA service...
Jul 02 16:26:41 localhost.localdomain iBMA.sh[26104]: iBMA service started successfully.
Jul 02 16:26:41 localhost.localdomain systemd[1]: Started iBMA: iBMA service.
启动iBMA服务（以支持systemctl的Linux系统为例）
[root@localhost ~]# ibmacli service start
iBMA service started successfully
如果iBMA服务已经在运行，start命令将显示“iBMA service is already running”。
停止iBMA服务（以支持systemctl的Linux系统为例）
[root@localhost ~0]# ibmacli service stop
iBMA service stopped successfully.
重启iBMA服务（以支持systemctl的Linux系统为例）
[root@localhost ~]# ibmacli service restart
iBMA service stopped successfully.
iBMA service started successfully.
Restart iBMA service successfully.
iBMA没有在内部集成Storcli64工具，用户在安装iBMA时，如果同时需要安装该工具，可依照以下步骤安装：
1. 进入工具软件界面下载Storcli64工具软件包（如007.0709.0000.0000_Unified_StorCLI.zip）。
2. 按照以下路径获取到storcli64.zip软件包：Unified_storcli_all_os.zip > Linux-PPC\ > BigEndian\LittleEndian\ > storcli64.zip
3. iBMA压缩包解压后，将storcli64文件放入iBMA2.0/tools目录下。
4. 按照iBMA安装步骤执行install.sh继续进行安装。
介绍本指南中用到的术语。
|
B |
|
|
|
black box（黑匣子） |
Used to store system status and debugging information before system resets. |
|
|
|
|
|
|
D |
|
|
|
digital signature（数字签名） |
A message signed with a sender's private key that can be verified by anyone who has access to the sender's public key. Digital signature gives the receiver the reason to believe the message was sent by the claimed sender. A proper implementation of digital signature is computing a message digest for the message sent from the sender to the receiver, and then signing the message digest. The result is called digital signature and is sent to the receiver together with the original message. |
|
|
|
|
|
|
F |
|
|
|
firewall（防火墙） |
A combination of components set between different networks or network security domains. The firewall monitors, restricts, and changes the data traffic across the firewall to shield the internal information, structure, and running status from external network users, ensuring network security. |
|
|
|
|
|
|
I |
|
|
|
IP address（IP地址） |
A 32-bit (four-byte) binary number that uniquely identifies a host (a computer) on a computer network that uses the Internet Protocol for communication, which enables transmitting data in form of packets. An IP address consists of four decimal numbers, which are separated by dots (.). For example, 127.0.0.1. The first one to three bytes of an IP address indicate the network to which the host is connected and the remaining bits indicate the host. |
|
|
|
|
|
|
L |
|
|
|
log（日志） |
A file that records information about system events generated during the system running. System event information includes system running information, input/output (I/O) operations, abnormal operations, and security information. Log information helps system O&M and troubleshooting. |
|
|
|
|
|
|
N |
|
|
|
network interface card（网卡） |
A computer circuit board or card installed in a computer so that it can be connected to a network. |
|
|
|
|
|
|
P |
|
|
|
port（接口） |
A boundary used for data exchange and interworking between a server and other devices on the network, for example, a virtual local area network (VLAN) port. |
|
|
|
|
|
|
S |
|
|
|
script（脚本） |
A set of database statements used to perform an operation. |
|
|
serial number（序列号） |
A number used to identify a data block, an operation, or part of an operation. |
|
|
server（服务器） |
A special computer that provides services for clients in the network environment. |
|
|
silent installation（静默安装） |
A method of installing software that requires no user interaction, including user information. |
|
|
slot（槽位） |
A position defined by a pair of upper and lower guide rails in a chassis for holding a board. |
|
介绍本指南中用到的缩略语。
|
B |
|
|
BMC |
Baseboard Management Controller（基板管理控制器） |
|
|
|
|
C |
|
|
CNA |
Converged Network Adapter（融合网络适配器） |
|
CPU |
Central Processing Unit（中央处理器） |
|
|
|
|
F |
|
|
FC |
Fibre Channel（光纤通道） |
|
|
|
|
H |
|
|
HTTP |
Hypertext Transfer Protocol（超文本传输协议） |
|
|
|
|
I |
|
|
iBMA |
Intelligent Baseboard Management Agent（基板管理代理） |
|
IP |
Internet Protocol（互联网协议） |
|
IPv4 |
Internet Protocol version 4（第四版互联网协议） |
|
IPv6 |
Internet Protocol version 6（第六版互联网协议） |
|
|
|
|
M |
|
|
MAC |
Media Access Control（媒体接入控制） |
|
MTU |
Maximum Transmission Unit（最大传输单元） |
|
|
|
|
O |
|
|
OS |
Operating System（操作系统） |
|
|
|
|
P |
|
|
PCIe |
Peripheral Component Interconnect Express（快捷外围部件互连标准） |
|
|
|
|
R |
|
|
RAID |
Redundant Arrays of Independent Disks（独立磁盘冗余阵列） |
|
|
|
|
T |
|
|
TCP |
Transmission Control Protocol（传输控制协议） |
|
|
|
|
V |
|
|
VLAN |
Virtual Local Area Network（虚拟局域网） |
|
|
|
|
W |
|
|
WWPN |
World Wide Port Name（全球端口名称） |
|
WWNN |
World Wide Node Name（全球惟一节点名字） |
不同款型规格的资料略有差异, 详细信息请向具体销售和400咨询。H3C保留在没有任何通知或提示的情况下对资料内容进行修改的权利!
支持
