目  录

1 概述

1.1 文档目的

1.2 常用词

2 使能平台部署流程

3 安装前的准备工作

3.1 软硬件适配列表

3.2 服务器配置检查

3.3 客户端配置检查

3.4 规划IP地址

3.5 准备应用安装包

4 安装NingOS操作系统

4.1 登录远程控制台

4.1.1 配置Java环境

4.1.2 登录HDM Web页面

4.1.3 连接远程控制台并挂载镜像

4.2 设置BIOS从CD/DVD启动

4.3 安装操作系统

4.3.1 基本设置

4.3.2 磁盘分区

4.3.3 用户及网络设置

4.3.4 操作系统安装

5 服务器基础配置

5.1 设置系统时区和时间

5.1.1 设置系统时区

5.1.2 设置系统时间

5.2 关闭防火墙

5.3 禁用selinux

5.4 配置本地YUM源

5.5 挂载数据盘

6 安装部署Matrix集群

6.1 安装Matrix依赖包

6.2 安装Matrix

6.3 创建Matrix集群

6.3.1 登录Matrix

6.3.2 配置集群参数

6.3.3 创建集群

7 安装GPU驱动及相应工具包

7.1 安装NVIDIA GPU驱动

7.1.1 确定显卡型号

7.1.2 下载显卡驱动

7.1.3 禁用Nouveau

7.1.4 安装显卡驱动

7.2 安装nvidia-container-runtime

7.3 安装nvidia-device-plugin

7.3.1 修改默认运行时

7.3.2 部署nivdia-device-plugin

7.3.3 确认GPU识别正常

7.4 安装天数智铠MR-V100驱动

7.4.1 驱动版本信息

7.4.2 安装显卡驱动

7.4.3 安装iluvatar-device-plugin

8 安装部署使能平台

8.1 上传知识库服务模型和依赖包

8.2 创建数据目录

8.3 添加节点标签

8.3.1 查看Matrix节点详细信息

8.3.2 查看Matrix节点标签信息

8.3.3 添加节点标签

8.3.4 删除节点标签

8.4 登录Matrix

8.5 上传安装包

8.6 部署安装包

8.6.1 基本应用参数介绍

8.6.2 部署安装包

8.7 登录使能平台

9 软件授权

10 卸载使能平台

1 概述

1.1  文档目的

本文档主要介绍H3C百业灵犀大模型使能平台（简称使能平台）的安装、部署、卸载等功能。

 

1.2  常用词

·     NingOS 1.0.2403：NingOS 的1.0.2403版本操作系统。

·     Matrix：基于Kubernetes，实现了对Docker容器的编排调度。主要用于Kubernetes集群的搭建，微服务的部署，以及系统、Docker容器、微服务等的运维监控。

·     Kubernetes：简称K8s，是一个开源的容器编排引擎，用于对容器化应用进行自动化部署、扩缩和管理。

·     Docker：是一个开源的容器编排引擎，用于对容器化应用进行自动化部署、扩缩和管理。

·     GPU：图形处理器（Graphics Processing Unit），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备上进行图像和图形相关运算工作的微处理器。

·     GUI：图形用户界面（Graphical User Interface），是指采用图形方式显示的计算机操作用户界面。

·     Master节点：集群主节点。一个集群必须包含3个Master节点（单机模式下仅需一个Master节点），集群将从3个Master节点中自动选举出一台作为主用Master节点，其它Master节点为备用Master节点。当集群的主用Master节点故障时，将在备用Master节点中重新选出新的主用Master节点，接管原主用Master节点的业务，避免业务中断。主用Master 和备用Master的作用如下：

¡     主用Master节点：负责管理和监控集群中的所有节点，北向业务虚IP会下发至主用Master节点上，所有Master节点共同承担业务的运行。

¡     备用Master节点：仅承担业务的运行，不负责管理和监控其它节点。

·     Pod：Kubernetes最小的调度和管理单位。Pod是一组运行在同一节点上的容器集合，它们共享相同的网络命名空间、存储资源和其他资源。

·     Worker节点：集群业务节点。Worker节点仅承担业务，不参与主用Master节点的选举。Worker节点为可选节点，当Master上的业务已经达到资源和性能瓶颈，如CPU和内存使用率居高不下，业务响应慢，节点上Pod 个数达到或接近300个限制等，可通过增加Worker 节点提升集群的性能和业务处理能力。

·     YUM源：Linux操作系统中的软件包管理器YUM（Yellowdog Updater, Modified）所使用的软件仓库。YUM源是包含一系列软件包的在线仓库，提供各种软件和工具的安装包。通过配置YUM源，用户可以方便地使用YUM命令来管理软件包，从在线仓库中下载并安装需要的软件包。

·     nvidia-container-runtime（NVIDIA运行时工具）：在容器化环境中提供GPU加速和管理功能的运行时工具，它的主要作用是提供对NVIDIA GPU的容器级别的访问和管理。

·     nvidia-device-plugin（NVIDIA设备插件）：Kubernetes容器编排系统的一个插件，用于在Kubernetes集群中管理和调度NVIDIA GPU设备。

·     cuDNN（CUDA Deep Neural Network library，NVIDIA开发的深度神经网络库）：一种针对GPU加速的深度学习的软件库，提供高性能、低延迟的深度神经网络操作。

2 使能平台部署流程

使能平台基于Matrix安装，支持一个Master节点的单机部署模式和三个Master节点+N个Worker节点（N≥0）的集群部署模式，集群部署模式下支持Worker节点扩容。

Matrix节点包括Master节点和Worker节点，每台服务器部署为一个Matrix节点。

使能平台安装部署注意事项如下：

·     推荐将服务器的下一次启动模式配置为UEFI模式。

·     安装操作系统时，请勿同时使用KVM给多个服务器安装同一镜像。

·     H5 KVM性能不稳定，可能出现加载镜像停止或缓慢等问题，建议使用Java KVM挂载镜像安装操作系统，即NingOS 1.0.2403操作系统。

·     安装过程中禁止输入Scroll Lock键，否则可能会导致安装失败。

·     安装过程中异常断电会导致部分服务安装失败，请重新安装以保证功能完整性。

·     Matrix安装部署过程中，请勿进行开启或关闭防火墙的操作。

·     集群部署完成后，请勿修改系统时间，否则可能导致集群异常。

使能平台安装部署流程如表2-1所示。

表2-1 使能平台部署流程

步骤	具体操作	备注
准备服务器	单机部署模式准备1台服务器 集群部署模式准备至少3台服务器	必选，对于单台服务器的配置要求，请参见“3.2  服务器配置检查”
安装操作系统	在服务器上安装NingOS 1.0.2403操作系统	必选
服务器基础配置	在服务器上进行安装部署前的基础配置	必选
部署Matrix集群	在服务器上安装Matrix并创建Matrix集群	必选
安装GPU驱动及相应工具包	安装适配的GPU驱动程序及工具包	必选
安装使能平台组件包	登录Matrix界面部署使能平台组件安装包	必选
软件授权	在服务器部署License Server、安装授权	必选

 

3 安装前的准备工作

请确认安装部署环境，确保安装部署使能平台的条件已经具备。

3.1  软硬件适配列表

资源类型	适配型号
服务器	R4900G3、R4900G5、R5300G6
存储设备	服务器磁盘
操作系统	NingOS 1.0.2403
Matrix	D014SP03
GPU	Nvidia T4 (R4900G3、R4900G5)或天数 V100 (R5300G6)

 

3.2  服务器配置检查

1. 硬件检查

使能平台对单台服务器的配置要求如表3-1和表3-2所示。

表3-1 服务器配置要求（单节点模式）

硬件资源	配置要求
服务器类型	64位x86架构服务器。建议使用如下H3C自研服务器：R4900G3、R4900G5、R5300G6
CPU	32核2.2Ghz主频及以上
内存	256GB以上
网卡	2端口25G OCP网卡*1
存储	·     系统盘：1TB SSD*2，配置RAID 1 ·     数据盘：3.84TB本地SSD硬盘*2，配置RAID 1
GPU	天数V100或Nvidia T4，至少两块

 

表3-2 服务器配置要求（3+N机集群模式）

节点类型	硬件资源	配置要求
管理节点（3个）	服务器类型	64位x86架构服务器。建议使用如下H3C自研服务器：R4900G3、R4900G5、R5300G6
	CPU	32核2.2Ghz主频及以上
	内存	256GB以上
	网卡	2端口25G OCP网卡*1
	存储	·     系统盘：1TB SSD*2，配置RAID 1 ·     数据盘：3.84TB本地SSD硬盘*2，配置RAID 1
业务节点（N个）	CPU	32核2.2Ghz主频及以上
	内存	256GB以上
	网卡	2端口25G OCP网卡*1
	存储	·     1TB SSD *2，配置RAID 1 ·     数据盘：3.84TB本地SSD硬盘*2，配置RAID 1
	GPU	天数V100或Nvidia T4，至少两块

 

2. 软件检查

请检查待安装的操作系统版本是否正确。本文均以NingOS 1.0.2403为例介绍安装部署步骤。

请检查系统时间已配置完成。

3.3  客户端配置检查

用户不需要安装客户端软件，使用浏览器即可访问使能平台。推荐使用的浏览器为Google Chrome 98、Firefox 78及以上版本，最低分辨率显示宽度为1600。

3.4  规划IP地址

安装部署使能平台的IP地址，规则如表3-3所示。

表3-3 IP地址明细

IP地址规划	用途	备注
Master节点1IP地址	为安装了操作系统的Master节点分配的IP地址	必选 加入同一集群的所有Master节点的IP地址必须处于同一网段 单机部署模式只需要部署一个Master节点
Master节点2IP地址	为安装了操作系统的Master节点分配的IP地址
Master节点3IP地址	为安装了操作系统的Master节点分配的IP地址
北向业务虚IP地址	通过Matrix页面部署的应用的统一外部访问地址	必选 北向业务虚IP必须在Master节点所处的网段内
Worker节点IP地址	为Worker节点分配的IP地址	可选 Worker节点的IP地址必须与加入同一集群的Master节点的IP地址处于同一网段

 

3.5  准备应用安装包

需要准备的安装包如表3-4所示。其中version为版本号，platform为CPU架构类型。

 

表3-4 应用安装包说明

安装包名称		功能说明	说明
NingOS-version.iso		H3C自研的NingOS操作系统的安装包	必选
Matrix_version_platform.zip		Matrix集群安装包	必选
LICENSE_SERVER-version.zip		License server服务安装包	必选
H3C_Linseer_Hub-Service.zip （本压缩包不能直接上传到Matrix平台安装部署，需要先解压缩获取各组件安装包后，再逐个上传及部署）	linseer-hub-base-version.zip	基础组件安装包，用于部署Elasticsearch数据检索服务、Mysql数据库服务、Redis数据库服务、Milvus向量数据库服务、Rocketmq消息中间件服务	必选
	linseer-hub-service-version.zip	使能平台服务安装包，用于部署使能平台管理端Web前端服务、管理端后端服务、API服务、License Client服务、服务编排前端和后端服务	必选
	linseer-hub-embedding-nvidia-version.zip	使能平台知识库服务安装包（Nvidia GPU）	使用Nvidia GPU资源时，必选
	linseer-hub-embedding-iluvatar-version.zip	使能平台知识库服务安装包（天数GPU）	使用天数GPU资源时，必选
nvidia.zip		nvidia-container-runtime.zip 为nvidia-container-runtime安装包	使用Nvidia GPU资源时，必选
		nvidia-device-plugin.zip 为nvidia-device-plugin安装包	使用Nvidia GPU资源时，必选
		NVIDIA-Linux-x86_64-525.147.05.run 为Tesla T4显卡驱动安装包	使用GPU资源时，必须安装显卡驱动安装包 请参见安装GPU驱动及相应工具包查看并下载适配版本的显卡驱动
embedding-packages.zip		models.zip为知识库服务模型依赖包，包括bge-large-zh-v1.5、bge-reranker-large两个模型文件	必选
		site-packages- iluvatar.zip为使能平台知识库服务（天数GPU）依赖包	使用天数GPU时，必选
		site-packages-nvidia.zip为使能平台知识库服务（Nvidia GPU）依赖包	使用Nvidia GPU时，必选
		sync_models_packages.sh，执行该脚本，将知识库服务模型和知识库服务依赖包同步至Matrix集群各个节点的/home/h3c/linseer-hub目录下	必选
iluvatar.zip		天数GPU插件包	使用天数GPU时，必选 需安装iluvatar.zip解压缩后目录下的k8s插件
init_scripts.zip		linseer_hub_data_dir_create.sh为使能平台创建本地数据目录脚本	挂载数据盘之后，执行该脚本，创建使能平台本地数据目录

 

4 安装NingOS操作系统

4.1  登录远程控制台

4.1.1  配置Java环境

(1)     在本地PC机上安装JDK，推荐版本为8u181。

(2)     如图4-1所示，单击[开始]菜单选择“配置Java”，进入JAVA控制面板。

图4-1 配置Java

 

(3)     把HDM的URL加入“例外站点”列表。如图4-2所示。

a.     选择“安全”页签，单击<编辑站点列表>按钮进入“例外站点”列表。

b.     在“例外站点”列表对话框中单击<添加>按钮，。

c.     输入HDM的URL，单击<确定>按钮完成添加。

d.     单击JAVA控制面板上的<确定>按钮完成设置。

图4-2 更新例外站点列表

 

4.1.2  登录HDM Web页面

HDM（Hardware Device Management，设备管理系统）用于远程管理服务器。

登录HDM操作步骤如下：

(1)     将网线连接到服务器的HDM专用网口，确保本地PC与服务器之间网络可达。

(2)     在本地PC浏览器地址栏中输入“https://HDM专用网口IP地址”，按<Enter>键打开登录页面。输入用户名和密码，单击<登录>按钮登录服务器HDM Web页面，如图4-3所示。

图4-3 登录服务器HDM Web页面示意图

 

 

4.1.3  连接远程控制台并挂载镜像

本步骤用于使用Java集成远程控制台连接服务器。通过JViewer或KVM远程连接软件，您可以在远程进行配置管理服务器、安装操作系统等操作。

对于R5300 G5/R5500 G5/R5500 G6/R5350 G6服务器，连接远程控制台的操作步骤如下：

(1)     在HDM Web页面单击顶部[远程服务]菜单项，再单击左侧导航树中的[远程控制台]进入远程控制台页签。单击<启动KVM>按钮下载KVM软件，如图4-4所示。

图4-4 下载远程连接软件

 

(2)     如图4-5所示，在弹出的提示框中单击<保留>按钮，开始下载KVM软件。

图4-5 远程连接软件下载提示信息

 

(3)     将已下载的KVM.Jnlp文件拷贝至JDK的安装目录“C:\Program Files\Java\jdk1.8.0_181\bin”下。

(4)     按键盘<Shift>键，同时鼠标右键单击文件夹空白处，在下拉菜单中选择“在此处打开Powershell窗口”，如图4-6所示。

图4-6 打开命令窗口

 

(5)     在命令窗口执行命令javaws KVM.jnlp并按回车键，如图4-7所示。

图4-7 执行命令

 

(6)     在安全警告窗口中点击<继续>按钮。如图4-8所示。

图4-8 安全警告窗口

 

(7)     成功连接远程控制台，可显示远程控制台窗口，如图4-9所示。

图4-9 连接远程控制台

 

(8)     在远程控制台窗口单击[虚拟介质 -> 虚拟介质向导]菜单项，弹出虚拟介质对话框，如图4-10所示，单击<浏览>按钮。

图4-10 虚拟介质对话框

 

(9)     选择本地的操作系统镜像文件（.iso格式），单击<打开>按钮。如图4-11所示。

图4-11 打开对话框

 

(10)     在弹出的提示信息对话框内单击<确定>按钮，即可成功挂载镜像文件，如图4-12所示。

图4-12 确认提示信息

 

4.2  设置BIOS从CD/DVD启动

 

(1)     单击选择[电源 -> 立即重启]菜单项，重启服务器，如图4-13所示。

图4-13 重启服务器

 

(2)     服务器重启后，按键盘<DEL>键或<ESC>键进入BIOS设置界面，如图4-14所示。

图4-14 进入BIOS设置界面

 

(3)     通过按键盘<←><→>键移动选择[Boot]菜单项，按<Enter>键设置BIOS，如图4-15所示。

图4-15 设置BIOS

 

(4)     设置Boot启动模式。

a.     通过按键盘<↑><↓>键移动选择“Boot mode select”配置项，按<Enter>键设置Boot启动模式，如图4-16所示。

图4-16 设置Boot启动模式（1）

 

b.     在弹出的“Boot mode select”对话框中，按<Enter>键选择“UEFI”。如图4-17所示。

图4-17 设置启动Boot 模式（2）

 

(5)     设置Boot启动项。

a.     通过按键盘<↑><↓>键移动选择“Boot Option #1”配置项，按<Enter>键设置Boot启动项，如图4-18所示。

图4-18 设置Boot启动项（1）

 

b.     在弹出的“Boot Option #1”对话框中，按<Enter>键选择“CD/DVD”，如图4-19所示。

图4-19 设置Boot启动项（2）

 

(6)     通过键盘<←><→>键选择[Exit]菜单项，按<Enter>键保存设置，如图4-20所示。

图4-20 保存设置

 

(7)     在弹窗的对话框中选择“YES”，保存设置并退出，如图4-21所示。

图4-21 保存设置并退出

 

4.3  安装操作系统

本节以从未安装过任何操作系统的服务器为例，请使用LinSeer RT配套的NingOS-v3-1.0.2403 ISO文件安装操作系统。

4.3.1  基本设置

(1)     ISO镜像文件加载完成后，进入语言选择界面。

(2)     选择安装语言，此处以“中文”为例，单击<继续(C)>按钮，进入安装信息摘要界面，如图4-22所示。

图4-22 语言选择界面

 

(3)     在安装信息摘要界面的本地化区域单击“日期和时间(T)”链接，进入日期和时间界面，如图4-23所示。

图4-23 安装信息摘要界面

 

(4)     设置系统的日期和时间，如图4-24所示。选择地区为“亚洲”，城市为“上海”，单击<完成>按钮，返回安装信息摘要界面。

图4-24 设置系统的日期和时间

 

(5)     在安装信息摘要界面的本地化区域单击“键盘(K)”链接，进入键盘布局界面，如图4-25所示。

图4-25 设置键盘布局

 

(6)     安装信息摘要界面的软件区域“软件选择(S)”选择基本环境为“最小安装”，如图4-26所示。

图4-26 选择基本环境为“最小安装”

 

(7)     在安装信息摘要界面的系统区域，单击“安装目的地(D)”链接，进入安装目标位置界面。设置安装目标位置，如图4-27所示。在本地标准磁盘区域选择目标磁盘。在存储配置区域选择“自定义(C)”，单击<完成>按钮，进入手动分区界面。

图4-27 安装目标位置界面

 

4.3.2  磁盘分区

在“新挂载点将使用以下分区方案(N)”下拉列表中选择分区方案，支持选择“标准分区”和“LVM”，建议选择“标准分区”。

·     使用“LVM”分区。

在“设备类型”下拉列表中选择“LVM”，并依次创建各分区。

·     使用“标准分区”。

手动创建磁盘分区，如图4-28所示。磁盘分区的具体信息如表4-1所示，支持手动修改配置信息。

¡     设备类型：选择“标准分区”，并单击图标，在弹出窗口中进行如下配置后，单击<添加挂载点>按钮。

¡     挂载点：输入挂载点目录名称。

¡     期望容量：输入磁盘容量并指定容量单位，例如“GiB”、“MiB”。

¡     文件系统(Y)：在下拉列表中选择推荐的文件系统。

¡     设备：单击<修改(M)…>按钮，在弹出的配置挂载点窗口中，选择分区所挂载的磁盘后，单击<选择>按钮。

 

图4-28 手动进行磁盘分区（标准分区）

 

表4-1 磁盘分区要求

分区名称	预设容量	适用模式	文件系统	备注
/	1 TB	BIOS模式/UEFI模式	ext4	磁盘空间充足时，可适当增大
/var/lib/docker	350 GiB	BIOS模式/UEFI模式	ext4	磁盘空间充足时，可适当增大
/var/lib/ssdata	200 GiB	BIOS模式/UEFI模式	ext4	磁盘空间充足时，可适当增大
/var/lib/etcd	50 GiB	BIOS模式/UEFI模式	ext4	磁盘空间充足时，可适当增大
/boot	1024 MiB	BIOS模式/UEFI模式	ext4
swap	1024 MiB	BIOS模式/UEFI模式	swap
/boot/efi	200 MiB	UEFI模式	EFI System Partition	根据服务器的BIOS启动模型选择创建对应分区，Legacy：/biosboot UEFI：/boot/efi
/linseerFileShare（默认名称）	1 TB	BIOS模式/UEFI模式	ext4	单机环境需要创建该分区，磁盘空间充足时，可适当增大 集群环境使用NFS存储，不需要划分该分区

 

各主要分区的作用如下：

¡     /：Matrix使用，包括K8s、Harbor和各组件上传的安装包，该分区的容量和各组件上传的镜像大小有关，需要确定各组件占用的磁盘容量大小，在此基础上扩缩容。

¡     /var/lib/docker/：与Docker的运行相关，需要根据实际运行情况确定容量大小。

¡     /var/lib/ssdata/：供Kafka、ZooKeeper使用。

¡     /linseerFileShare（默认名称）：推荐预设容量为1TB。

-     单机部署模式下，/linseerFileShare供推理组件使用，作为模型仓库的共享目录。

-     3机集群部署模式、3+N机集群部署模式下，使用外置的NFS存储空间供推理组件使用。

各部署模式下的“/linseerFileShare”磁盘空间分配详情，如表4-2所示。

表4-2 “/linseerFileShare”磁盘空间分配

组件	目录名	存储空间大小计算方式	默认大小
模型仓库	/$(sharePath)/model_preset，默认名称为“/linseerFileShare”	·     LinSeer_Model文件：132 GiB ·     LinSeer_Model_Lite文件：15 GiB	300 GiB

 

在弹出的更改摘要窗口中，单击<接受更改>按钮，返回安装信息摘要界面，如图4-29所示。

图4-29 更改摘要窗口

 

4.3.3  用户及网络设置

(1)     选择管理员帐户设置。使用root用户作为管理员帐户，无需创建新用户。

a.     在安装信息摘要界面用户设置区域单击“Root账户”配置项设置root用户作为管理员帐户，如图4-23所示。

该功能用于选择安装Matrix并创建集群时使用的用户名，如需部署Matrix集群，需为集群中的所有节点选择相同的用户名。

b.     选择”启用root账户”并设置root用户密码，单击<完成>按钮，返回安装信息摘要界面，如图4-30所示。

图4-30 设置root用户密码

 

c.     在安装信息摘要界面可查看root用户已作为管理员帐户，该用户拥有所有功能的操作权限，如图4-31所示。

图4-31 使用root用户作为管理员帐户

 

(2)     在系统区域单击“网络和主机名(N)”链接，进入网络和主机名界面。

(3)     在主机名文本框中输入主机名后，单击<应用>按钮，如图4-32所示。

图4-32 网络和主机名配置界面

 

 

(4)     在网络和主机名配置界面可配置网卡。单击<配置>按钮，在弹出的网络配置窗口中进行网卡配置。单击“常规”页签，勾选“自动以优先级连接(A)”项，“所有用户都可以连接这个网络(U)”项保持默认勾选，如图4-33所示。

图4-33 常规页签

 

(5)     配置Matrix节点的IPv4地址。

单击“IPv4设置”页签，在“方法(M)”下拉框中选择“手动”，在地址区域单击<添加(A)>按钮，配置服务器的IPv4地址（规划的Matrix节点IP），配置完成后，单击<保存>按钮保存配置，如图4-34所示。

图4-34 配置服务器的IPv4地址

 

 

(6)     网络配置完成后，手动启用指定物理网卡，如图4-35所示。单击<完成>按钮，返回安装信息摘要界面。

图4-35 配置服务器的IPv4地址

 

4.3.4  操作系统安装

(1)     在本地电脑控制端窗口执行命令ping ip_address，检查配置的IP地址是否连通。其中，ip_address为IPv4设置页签下配置的IP地址。若可ping通，则继续进行后续步骤，否则返回IPv4设置页签，检查掩码网关等信息是否配置正确。

(2)     在图4-36所示的安装信息摘要界面中单击<开始安装>按钮，开始安装操作系统。

图4-36 安装操作系统

 

(3)     安装完成后，单击<重启系统(R)>按钮。进入BIOS设置界面，设置BIOS从Hard Disk启动，即设置Boot启动项时，在弹出的“Boot Option #1”对话框中，按<Enter>键选择“Hard Disk”，如图4-37所示。具体步骤与设置BIOS从CD/DVD启动类似，请参见“4.2  设置BIOS从CD/DVD启动”。

图4-37 设置Boot启动项

 

(4)     保存退出后，服务器再次自动重启，重启后的界面如图4-38所示。

图4-38 安装完成界面

 

5 服务器基础配置

5.1  设置系统时区和时间

5.1.1  设置系统时区

(1)     在服务器上执行timedatectl命令，查看服务器的时区是否为“Shanghai”或“Beijing”。

[root@matrix ~]# timedatectl

               Local time: 四 2023-12-07 16:56:52 CST

           Universal time: 四 2023-12-07 08:56:52 UTC

                 RTC time: 四 2023-12-07 16:56:52

                Time zone: Asia/Shanghai (CST, +0800)

System clock synchronized: yes

              NTP service: active

          RTC in local TZ: yes

 

Warning: The system is configured to read the RTC time in the local time zone.

         This mode cannot be fully supported. It will create various problems

         with time zone changes and daylight saving time adjustments. The RTC

         time is never updated, it relies on external facilities to maintain it.

         If at all possible, use RTC in UTC by calling

         'timedatectl set-local-rtc 0'.

(2)     如果时区不正确，请执行timedatectl set-timezone Asia/Shanghai命令重新设置时区为“Shanghai”或“Beijing”。

[root@matrix ~]# timedatectl set-timezone Asia/Shanghai//以将时区设置为shanghai为例

5.1.2  设置系统时间

(1)     执行date命令，查看系统时间。

[root@matrix ~]# date

2023年 11月 16日 星期四 14:46:24 CST

(2)     如果系统时间与当前网络时间不同，请执行date -s命令将系统时间修改为与当前网络时间一致。

[root@matrix ~]# date -s "2023-11-17 11:00:00"

(3)     再次执行date命令，查看校准后的系统时间，确保与当前网络时间保持一致。

[root@matrix ~]# date

2023年 11月 17日 星期五 11:00:00 CST

5.2  关闭防火墙

(1)     在服务器上执行systemctl stop firewalld.service命令关闭防火墙。

[root@matrix ~]# systemctl stop firewalld.service

(2)     执行systemctl status firewalld.service命令查看防火墙状态，确保防火墙已关闭。

[root@matrix ~]# systemctl status firewalld.service

○ firewalld.service - firewalld - dynamic firewall daemon

     Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)

     Active: inactive (dead)//防火墙已关闭

       Docs: man:firewalld(1)

(3)     执行systemctl disable firewalld.service命令设置防火墙开机不启动。

[root@matrix ~]# systemctl disable firewalld.service

5.3  禁用selinux

(1)     执行sestatus命令查看selinux状态（默认为开启状态）。

[root@matrix ~]# sestatus

(2)     关闭selinux。

a.     执行vi命令分别创建etc/sysconfig/selinux文件。

[root@matrix ~]# vi /etc/sysconfig/selinux

b.     通过键盘输入“i”进入编辑界面，将配置“SELINUX=enforcing”改为“SELINUX=disabled”。

# This file controls the state of SELinux on the system.

# SELINUX= can take one of these three values:

#     enforcing - SELinux security policy is enforced.

#     permissive - SELinux prints warnings instead of enforcing.

#     disabled - No SELinux policy is loaded.

SELINUX=disabled

# SELINUXTYPE= can take one of these three values:

#     targeted - Targeted processes are protected,

#     minimum - Modification of targeted policy. Only selected processes are protected.

#     mls - Multi Level Security protection.

SELINUXTYPE=targeted

c.     按键盘上的<ESC>键，再输入“:wq”，退出配置并保存文件。

:wq

(3)     执行reboot命令重新启动系统。

reboot

(4)     系统重启后，再次执行sestatus命令，确保selinux状态为关闭。

sestatus

5.4  配置本地YUM源

通过挂载操作系统ISO镜像的方式来配置本地YUM源。

(1)     执行mkdir命令，创建ISO镜像文件存放与挂载目录。

[root@matrix01 ~]# mkdir /media/{iso,cdrom}

(2)     通过FTP工具，将ISO镜像文件上传至服务器/media/iso目录下

(3)     在服务器上执行mount命令将ISO镜像挂载至/media/cdrom 目录。

[root@matrix01 iso]# mount /media/iso/NingOS-v3-1.0.2403-x86_64-dvd.iso /media/cdrom

mount: /media/cdrom: WARNING: source write-protected, mounted read-only.

 

(4)     执行如下命令，将默认提供的配置文件移动位置

[root@matrix01 ~]# cd /etc/yum.repos.d

[root@matrix01 ~]# mkdir bakup

[root@matrix01 ~]# mv *.repo bakup

(5)     在服务器/etc/yum.repos.d/路径下新建NingOS.repo文件。

a.     进入服务器的目录/etc/yum.repos.d/。

[root@matrix ~]# cd /etc/yum.repos.d/

[root@matrix ~]# vi NingOS.repo

b.     通过键盘输入“i”进入编辑界面，增加以下内容：

[NingOS_repo]

name=NingOS_repo

baseurl=file:///media/cdrom/

gpgcheck=0

enabled=1

[NingOS_repo_updates]

name=NingOS_repo

baseurl=file:///media/cdrom/

gpgcheck=0

enabled=1

c.     按键盘上的<ESC>键，再输入“:wq”，退出配置并保存文件。

:wq

(6)     执行yum clean all && yum makecache命令清空YUM源缓存。

[root@matrix ~]# yum clean all && yum makecache

6 files removed

NingOS   369 MB/s | 3.4 MB     00:00

Metadata cache created.

5.5  挂载数据盘

执行以下步骤，创建使能平台/linseer_hub_data数据目录，并将数据盘挂载到该目录下。

(1)     执行lsblk命令查看系统中可用的磁盘。磁盘vdb与vdc尚未挂载目录，均为可用的磁盘。

 

[root@matrix ~]# lsblk

NAME                            MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS

sr0                              11:0    1     5G  0 rom

vda                             252:0    0   500G  0 disk

├─vda1                          252:1    0     1G  0 part /boot

└─vda2                          252:2    0 498.7G  0 part

  ├─h3linux-root                253:0    0   253G  0 lvm  /

  ├─h3linux-swap                253:1    0  15.7G  0 lvm

  └─h3linux-home                253:2    0   230G  0 lvm  /home

vdb                             252:16   0   1.0T  0 disk

vdc                             252:32   0   1.0T  0 disk

(2)     创建物理卷。执行pvcreate命令将磁盘创建为物理卷。

[root@matrix ~]# pvcreate /dev/vdb

(3)     创建卷组。执行vgcreate命令创建一个名为linseer_hub_vg的卷组，并将物理卷添加到该卷组中。

[root@matrix ~]# vgcreate linseer_hub_vg  /dev/vdb

(4)     创建逻辑卷。执行lvcreate命令创建一个名为linseer_hub_lv的逻辑卷，指定该逻辑卷所属的卷组。

[root@matrix ~]# lvcreate -l 100%FREE -n linseer_hub_lv linseer_hub_vg

(5)     格式化逻辑卷。使用mkfs命令格式化新创建的逻辑卷。

[root@matrix ~]# mkfs.xfs /dev/linseer_hub_vg/linseer_hub_lv

注意：文件系统类型必须要为xfs

(6)     挂载逻辑卷。

[root@matrix ~]# mkdir /linseer_hub_data

[root@matrix ~]# mount /dev/linseer_hub_vg/linseer_hub_lv  /linseer_hub_data

(7)     设置开机自动挂载逻辑卷。将逻辑卷添加到/etc/fstab 文件中，从而实现逻辑卷在系统启动时自动挂载。

[root@matrix ~]# echo "/dev/linseer_hub_vg/linseer_hub_lv  /linseer_hub_data xfs defaults 0 0" >> /etc/fstab

(8)     查看挂载结果。完成上述操作后，执行reboot命令重启服务器，待重启完成后，执行lsblk命令查看挂载结果，数据盘vdb已成功挂载到指定目录/linseer_hub_data下。

[root@matrix ~]# lsblk

NAME               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS

sr0                 11:0    1     5G  0 rom

vda                252:0    0   500G  0 disk

├─vda1             252:1    0     1G  0 part /boot

└─vda2             252:2    0 498.7G  0 part

  ├─h3linux-root   253:0    0   253G  0 lvm  /var/lib/kubelet/pods/dd010433-c2f6-4687-a1ad-dd78330ff2c8/volume-subpaths/config/helm-wrapper/0

  │                                          /var/lib/kubelet/pods/49c2a7bf-6e5b-4397-8f95-4970025c6d39/volume-subpaths/multus-cfg/kube-multus/2

  │                                          /

  ├─h3linux-swap   253:1    0  15.7G  0 lvm

  └─h3linux-home   253:2    0   230G  0 lvm  /home

vdb                252:16   0   1.0T  0 disk

└─linseer_hub_vg-linseer_hub_lv

                      253:3    0   1.0T  0 lvm  /linseer_hub_data

vdc                252:32   0   1.0T  0 disk

6 安装部署Matrix集群

6.1  安装Matrix依赖包

安装Matrix依赖包。

[root@matrix ~]# yum install -y java

[root@matrix ~]# yum install -y ntp

[root@matrix ~]# yum install -y docker

[root@matrix ~]# yum install -y chrony

6.2  安装Matrix

(1)     获取Matrix软件安装包，并将软件包通过FTP工具上传至服务器的待安装目录（例如/root）下。

(2)     进入Matrix软件包（.zip文件）的存放路径，解压缩并安装Matrix。软件包的名称格式为Matrix_version-platform.zip，其中version为版本号，platform为CPU架构类型。下面以x86_64版本为例进行安装。

[root@matrix ~]# unzip Matrix_V900R001B07D008_x86_64.zip

[root@matrix ~]# cd Matrix-V900R001B07D008-x86_64

[root@matrix Matrix-V900R001B07D008_x86_64]# ./install.sh

Installing...

[install] -----------------------------------

[install] Matrix-V900R001B07D008_x86_64

[install]

[install] Linux 5.10.0-136.12.0.86.4.hl202.x86_64

[install] -----------------------------------

[install] CAUTION: Installation failed for OS incompatibility.

Matrix can be installed only on a device running :

H3Linux Release 1.1.2 and 1.3.0,

Linux Release 1.1.2 and 1.3.1,

Red Hat Enterprise Linux Server release 7.6, 7.7(Maipo) and 8.4, 8.6 (Ootpa),

Kylin Linux Advanced Server release V10 (Azalea and Sword),

CentOS Linux release 7.6.1810 and 7.7.1908(Core),

BigCloud Enterprise Linux release 7.7.2005 (Core and AltArch),

Linux 2.0.2 LTS

[INFO] Continue anyway? (Y/N) : Y

…略…

Complete!

(3)     通过命令systemctl status matrix验证Matrix服务是否安装成功。若安装成功，则将在Active 字段后显示运行信息为active (running)。剩余节点执行同样操作即可。

[root@matrix ~]# systemctl status matrix

● matrix.service - Matrix Server

     Loaded: loaded (/usr/lib/systemd/system/matrix.service; enabled; vendor preset: disabled)

     Active: active (running) since Tue 2023-10-24 08:01:46 CST; 2 weeks 5 days ago

   Main PID: 702359 (karaf)

      Tasks: 549 (limit: 3355442)

     Memory: 2.3G

     CGroup: /system.slice/matrix.service

             ├─ 702359 /bin/sh /opt/matrix/bin/karaf server

             └─ 703187 /usr/bin/java -XX:+UnlockDiagnosticVMOptions -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/opt/matrix/heapdumps/ -XX:OnOutOfMemoryError=/opt/matrix/k8s/disaster-reco>

 

Nov 13 02:56:35 matrix sudo[916772]: pam_unix(sudo:session): session closed for user root

Nov 13 02:56:39 matrix sudo[917311]:     root : PWD=/opt/matrix ; USER=root ; COMMAND=/bin/bash -c source /etc/profile; /opt/matrix/k8s/monitorscript/check_node_service_2m.sh

Nov 13 02:56:39 matrix sudo[917311]: pam_unix(sudo:session): session opened for user root(uid=0) by (uid=0)

Nov 13 02:56:39 matrix sudo[917311]: pam_unix(sudo:session): session closed for user root

Nov 13 02:57:14 matrix sudo[920771]:     root : PWD=/opt/matrix ; USER=root ; COMMAND=/bin/bash -c source /etc/profile; /opt/matrix/k8s/monitorscript/check_config_dir_file_3m.sh

Nov 13 02:57:14 matrix sudo[920771]: pam_unix(sudo:session): session opened for user root(uid=0) by (uid=0)

Nov 13 02:57:14 matrix sudo[920771]: pam_unix(sudo:session): session closed for user root

Nov 13 02:57:15 matrix sudo[920998]:     root : PWD=/opt/matrix ; USER=root ; COMMAND=/bin/bash -c source /etc/profile; /opt/matrix/k8s/monitorscript/check_docker_config.sh

Nov 13 02:57:15 matrix sudo[920998]: pam_unix(sudo:session): session opened for user root(uid=0) by (uid=0)

Nov 13 02:57:15 matrix sudo[920998]: pam_unix(sudo:session): session closed for user root

 

6.3  创建Matrix集群

 

6.3.1  登录Matrix

(1)     在浏览器中输入Matrix的登录地址，进入如图6-1所示的登录页面。登录地址格式为：https://ip_address:8443/matrix/ui/。其中ip_address为Master节点IP地址，8443为缺省端口号。

 

图6-1 Matrix登录界面

 

(2)     输入用户名和密码（默认用户名为admin，密码为Pwd@12345，若安装操作系统设置过密码，则按设置的填写）后，单击<登录>按钮，默认进入Matrix的集群部署向导页面。

6.3.2  配置集群参数

在Matrix的集群部署向导页面中配置Matrix集群参数，如图6-2和图6-3所示，集群参数详细介绍如表6-1所示。完成集群参数的配置后，单击<应用>按钮。

图6-2 Matrix集群设置（一）

 

图6-3 Matrix集群设置（二）

 

表6-1 集群参数说明

参数	说明
集群内部虚IP	用于集群内各节点之间通信的IP地址，该地址必须在Master节点所处的网段内
北向业务虚IP	集群对外提供服务的IP地址，该地址必须在Master节点所处的网段内
Service IP地址池	用于为Service分配IP地址，不能与部署环境中的其它网段冲突。默认地址为10.96.0.0/16，一般保持默认值
容器IP地址池	用于为容器分配IP地址，不能与部署环境中的其它网段冲突。默认地址为177.177.0.0/16，一般保持默认值
集群网络模式	集群网络模式有两种： ·     单子网：集群内所有节点、虚IP必须在相同网段内，否则将无法互相通信。如果使用本地环境部署LinSeer，请选择本模式 ·     单子网-VXLAN：集群内所有节点、虚IP必须在相同网段内，否则将无法互相通信。如果使用云上环境部署LinSeer，请选择本模式，否则Pod之间可能无法通信，会导致部署失败
NTP服务器	用于保证集群内各节点系统时间的一致性，支持选择内置服务器和外置服务器。选择外置服务器时，需要配置NTP服务器地址，且该地址不可与集群内各节点的IP地址冲突 本文档使用内置服务器作为NTP服务器，则部署集群时会首先进行时间同步，集群部署完成后，三台Master节点会定时同步时间，从而保证集群内各节点的系统时间保持一致
外置DNS服务器	用于解析K8s集群外部的域名，格式为IP:Port，可根据实际需要配置外置DNS服务器。本文档中不配置此项 容器解析域名时，集群外部的域名无法被内置DNS服务器解析，本系统将把需要解析的外部域名随机转发给一台外置DNS 服务器来解析 外置DNS服务器最多可以配置10个，各外置DNS服务器要求具有相同的DNS解析能力，并可以独立满足外部域名解析需求、无主备之分、无先后顺序之分 建议所有的DNS服务器都能够访问根域，可使用命令行nslookup -port={port}-q=ns . {ip}查看是否可以访问
自定义虚IP	（暂不支持）在南北向业务隔离的情况下，设备需要使用固定的IP和集群通信

 

6.3.3  创建集群

单机部署模式下，仅需增加一个Master节点即可部署集群。集群部署模式下，需要增加三个Master节点后，再部署集群。

(1)     配置集群参数后，单击<下一步>按钮，进入创建集群页面，如图6-4所示。

图6-4 集群部署界面

 

(2)     单击Master节点区域的增加图标，弹出增加节点窗口。

(3)     在弹出的节点窗口中，配置节点参数，如图6-5所示。配置参数后，单击<应用>按钮，完成增加Master节点操作。

¡     类型：显示为“Master”不可修改。

¡     IP地址：规划的Master节点的IP地址。

¡     用户名：节点操作系统的用户名，为安装NingOS系统时设置的root用户名。

¡     密码：节点操作系统的用户密码，为安装NingOS系统时设置的root用户密码。

图6-5 单机部署模式配置参数示意图

 

(4)     单击<开始部署>按钮，开始部署集群，如图6-6所示。

图6-6 集群部署

 

(5)     部署成功后，会显示各Master节点。

¡     单机部署成功页面如图6-7所示，Master节点左上角显示标记。

图6-7 单机部署成功页面

 

¡     集群中所有节点的进度达到100%时，表示集群部署成功，如图6-8所示。

集群部署成功后，主Master节点左上角显示标记，其余未被标记的Master节点为备用Master节点。

图6-8 集群部署成功页面

 

7 安装GPU驱动及相应工具包

在使用知识库服务时，需要用到服务器的GPU资源。因此，必须安装GPU驱动程序及相关依赖包。如果这些驱动程序和依赖包已经安装，可以跳过本节步骤。

安装适配的GPU驱动程序及工具包能确保显卡在操作系统中被正确识别，并能提供多任务并行处理、大规模数据处理等功能。

7.1  安装NVIDIA GPU驱动

安装适配的GPU驱动程序能确保显卡在操作系统中被正确识别，并能提供多任务并行处理、大规模数据处理等功能。Matrix集群中存在NVIDIA显卡的节点都需要安装对应的显卡驱动。

7.1.1  确定显卡型号

在服务器上执行lspci -k | grep -A 2 -E "(VGA|3D)"命令查看显卡型号。

[root@matrix ~]# lspci -k | grep -A 2 -E "(VGA|3D)"

00:02.0 VGA compatible controller: Cirrus Logic GD 5446

        Subsystem: Red Hat, Inc QEMU Virtual Machine

        Kernel driver in use: cirrus

7.1.2  下载显卡驱动

登录NVIDIA官网，并进入“驱动程序下载”栏目下载显卡驱动。

(1)     登录NVIDIA官网：https://www.nvidia.cn/Download/index.aspx?lang=cn

(2)     请设置驱动参数。

a.     参见图7-1设置NVIDIA驱动程序下载参数。

b.     请根据实际环境设置操作系统参数，H3Linux 2.0.2操作系统选择“Linux 64-bit”。

c.     单击<搜索>按钮。

 

图7-1 设置驱动参数

 

表7-1 显卡与CUDA Toolkit版本对应关系表

产品类型	产品系列	产品家族（含显卡型号）	驱动版本	CUDA Toolkit版本
Tesla	T-Series	Tesla T4	NVIDIA-Linux-x86_64-525.147.05.run	CUDA 12.0

 

(3)     如图7-2所示，搜索到目标显卡驱动后，单击<下载>按钮下载显卡驱动。

图7-2 下载显卡驱动

 

7.1.3  禁用Nouveau

Nouveau是Linux自带的显卡驱动，需要禁用，否则安装NVIDIA显卡驱动时会提示冲突。

(1)     输入lsmod | grep nouveau命令，若显示如下信息则表示Nouveau已被启用，需要禁用Nouveau。

[root@matrix ~]# lsmod | grep nouveau

nouveau          1869689  0

mxm wmi          13021    l nouveau

wmi              21636    2 mxm_wmi,nouveau

video            24538    l nouveau

i2c_algo_bit     13413    l nouveau

ttm              114635   2 cirrus,nouveau

drm_kms_helper   179394   2 cirrus,nouveau

drm              429744   5 ttm,drm_kms_helper,cirrus,nouveau

(2)     禁用Nouveau。

a.     执行vi命令分别创建如下两个文件。

[root@matrix ~]# vi /etc/modprobe.d/nvidia-installer-disable-nouveau.conf

[root@matrix ~]# vi /lib/modprobe.d/nvidia-installer-disable-nouveau.conf

b.     通过键盘输入“i”进入编辑界面，输入如下内容：

blacklist nouveau//屏蔽 nouveau

options nouveau modeset=0//如果不加本行配置，字符界面下，可能导致显示器黑屏，无法安装驱动

c.     按键盘上的<ESC>键，再输入“:wq”，退出配置并保存文件。

:wq

(3)     更新initramfs镜像（img格式）文件

a.     通过mv命令重命名镜像文件（作为备份）。

[root@matrix ~]# mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak

b.     通过dracut命令更新镜像文件信息。

[root@matrix ~]# dracut /boot/initramfs-$(uname -r).img $(uname -r)

(4)     通过reboot命令重启设备后，再次输入lsmod | grep nouveau命令，显示信息为空，则表示Nouveau已被禁用。

[root@matrix ~]# lsmod | grep nouveau

[root@matrix ~]#

7.1.4  安装显卡驱动

(1)     配置本地YUM源，分别执行如下命令安装相关依赖包。

[root@matrix ~]# yum install -y gcc

[root@matrix ~]# yum install -y kernel-devel

[root@matrix ~]# yum install -y make

(2)     将显卡驱动安装包通过FTP工具上传至服务器的待安装目录（例如/root）下。

(3)     在服务器上执行chmod +x NVIDIA-Linux-x86_64-525.147.05.run命令将显卡驱动安装包的权限改为可执行。

[root@matrix ~]# chmod +x NVIDIA-Linux-x86_64-525.147.05.run

(4)     安装显卡驱动

a.     执行./NVIDIA-Linux-x86_64-525.147.05.run命令安装显卡驱动。

[root@matrix ~]# ./NVIDIA-Linux-x86_64-525.147.05.run

b.     安装过程中各步骤均点击<YES>或者<OK>按钮，直到显卡驱动安装完成。

(5)     执行nvidia-smi命令，若显示信息如下说明显卡驱动安装成功。

[root@matrix ~]# nvidia-smi

Mon Nov 13 03:39:19 2023

+-----------------------------------------------------------------------------+

| NVIDIA-SMI 525.85.12    Driver Version: 525.85.12    CUDA Version: 12.0    |

|-------------------------------+----------------------+----------------------+

| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |

| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |

|                               |                      |               MIG M. |

|===============================+======================+======================|

|   0  NVIDIA A100-SXM...  On   | 00000000:25:00.0 Off |                    0 |

| N/A   31C    P0    62W / 400W |      0MiB / 81920MiB |      0%      Default |

|                               |                      |             Disabled |

+-------------------------------+----------------------+----------------------+

|   1  NVIDIA A100-SXM...  On   | 00000000:2B:00.0 Off |                    0 |

| N/A   34C    P0    61W / 400W |      0MiB / 81920MiB |      0%      Default |

|                               |                      |             Disabled |

+-------------------------------+----------------------+----------------------+

|   2  NVIDIA A100-SXM...  On   | 00000000:63:00.0 Off |                    0 |

| N/A   34C    P0    63W / 400W |      0MiB / 81920MiB |      0%      Default |

|                               |                      |             Disabled |

+-------------------------------+----------------------+----------------------+

|   3  NVIDIA A100-SXM...  On   | 00000000:68:00.0 Off |                    0 |

| N/A   32C    P0    62W / 400W |      0MiB / 81920MiB |      0%      Default |

|                               |                      |             Disabled |

+-------------------------------+----------------------+----------------------+

|   4  NVIDIA A100-SXM...  On   | 00000000:9F:00.0 Off |                    0 |

| N/A   32C    P0    62W / 400W |      0MiB / 81920MiB |      0%      Default |

|                               |                      |             Disabled |

+-------------------------------+----------------------+----------------------+

|   5  NVIDIA A100-SXM...  On   | 00000000:A4:00.0 Off |                    0 |

| N/A   35C    P0    65W / 400W |      0MiB / 81920MiB |      0%      Default |

|                               |                      |             Disabled |

+-------------------------------+----------------------+----------------------+

|   6  NVIDIA A100-SXM...  On   | 00000000:E2:00.0 Off |                    0 |

| N/A   35C    P0    64W / 400W |      0MiB / 81920MiB |      0%      Default |

|                               |                      |             Disabled |

+-------------------------------+----------------------+----------------------+

|   7  NVIDIA A100-SXM...  On   | 00000000:E8:00.0 Off |                    0 |

| N/A   33C    P0    62W / 400W |      0MiB / 81920MiB |      0%      Default |

|                               |                      |             Disabled |

+-------------------------------+----------------------+----------------------+

7.2  安装nvidia-container-runtime

Matrix集群中存在显卡的节点都需要安装nvidia-container-runtime。

(1)     将NVIDIA运行时工具离线安装包nvidia-container-runtime.zip ，通过FTP工具上传至服务器的待安装目录（例如/root）下。

(2)     执行unzip命令解压缩离线安装包。

[root@matrix ~]# unzip nvidia-container-runtime.zip

Archive:  nvidia-container-runtime.zip

  inflating: nvidia-container-runtime/libnvidia-container-tools-1.13.5-1.x86_64.rpm 

  inflating: nvidia-container-runtime/libnvidia-container1-1.13.5-1.x86_64.rpm 

  inflating: nvidia-container-runtime/nvidia-container-runtime-3.13.0-1.noarch.rpm 

  inflating: nvidia-container-runtime/nvidia-container-toolkit-1.13.5-1.x86_64.rpm 

  inflating: nvidia-container-runtime/nvidia-container-toolkit-base-1.13.5-1.x86_64.rpm

(3)     执行cd命令进入离线安装包文件夹。

[root@matrix ~]# cd nvidia-container-runtime

(4)     执行rpm -Uvh --force --nodeps *.rpm命令安装软件包。

[root@matrix rpm ~]# rpm -Uvh --force --nodeps *.rpm

警告：libnvidia-container1-1.13.5-1.x86_64.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID f796ecb0: NOKEY

Verifying...                          ################################# [100%]

准备中...                          ################################# [100%]

正在升级/安装...

   1:nvidia-container-toolkit-base-1.1################################# [ 20%]

   2:libnvidia-container1-1.13.5-1    ################################# [ 40%]

   3:libnvidia-container-tools-1.13.5-################################# [ 60%]

   4:nvidia-container-toolkit-1.13.5-1################################# [ 80%]

   5:nvidia-container-runtime-3.13.0-1################################# [100%]

(5)     分别执行如下命令检查NVIDIA运行时工具安装情况。如显示如下信息，则表示该工具安装成功。

[root@matrix ~]# whereis nvidia-container-runtime

nvidia-container-runtime: /usr/bin/nvidia-container-runtime /etc/nvidia-container-runtime

7.3  安装nvidia-device-plugin

7.3.1  修改默认运行时

Matrix集群中存在显卡的节点都需要将容器默认运行时修改为NVIDIA运行时。

(1)     修改/etc/docker/daemon.json文件。

a.     执行vi命令修改文件。

[root@matrix ~]# vi /etc/docker/daemon.json

b.     通过键盘输入“i”进入编辑界面，在文件开头增加配置（见灰显信息）。

{

  "default-runtime": "nvidia",

  "runtimes": {

      "nvidia": {

          "path": "/usr/bin/nvidia-container-runtime",

          "runtimeArgs": []

      }

  },

  "live-restore": true,

  "exec-opts": ["native.cgroupdriver=systemd"],

  "insecure-registries": ["matrix-registry.h3c.com:8088", "matrix-registry-master1.h3c.com:8088"],

  "bridge": "none",

  "log-driver": "json-file",

  "log-opts": {"max-size": "50m", "max-file": "3"}

}

c.     按键盘上的<ESC>键，再输入“:wq”，退出配置并保存文件。

:wq

(2)     执行systemctl restart docker命令重启docker服务，使NVIDIA设备插件生效。

[root@matrix ~]# systemctl restart docker

7.3.2  部署nivdia-device-plugin

(1)     通过FTP等工具将nvidia-device-plugin.zip安装包上传到服务器（例如/root目录）。

(2)     进入目录并执行unzip命令解压缩安装包。

[root@matrix ~]# unzip nvidia-device-plugin.zip

(3)     执行cd命令进入安装包解压缩后的目录。

[root@matrix ~]# cd nvidia-device-plugin

(4)     执行命令加载镜像文件。

[root@matrix ~]# docker load -i k8s-device-plugin.tar

 

(5)     根据集群部署环境的实际情况选择合适的方式部署nvidia-device-plugin.yml。

¡     如果集群所有服务器都支持GPU，按照步骤(6)部署。

¡     如果集群只有部分服务器支持GPU，按照步骤(7)部署。

(6)     集群所有服务器都支持GPU时，请在任一个Master节点上执行kubectl apply –f命令部署nvidia-device-plugin.yml文件，其他节点无需重复部署。例如：

[root@matrix ~]# kubectl apply -f nvidia-device-plugin.yml

(7)     如果集群只有部分服务器支持GPU时，请为每个GPU服务器节点创建yml文件，通过yml文件内的name字段区分。

a.     在任一个Master节点上，为各个GPU服务器节点创建nvidia-device-plugin.yml文件，文件名称不能重复。

b.     执行kubectl get node --show-labels命令查看集群GPU服务器节点的nodeid（灰显信息）。

[root@matrix ~]# kubectl get node --show-labels

NAME       STATUS   ROLES                  AGE     VERSION    LABELS

matrix01       Ready    control-plane,master   47d     v1.21.14   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=matrix01,kubernetes.io/os=linux,master=master1,node-role.kubernetes.io/control-plane=,node-role.kubernetes.io/master=,node.kubernetes.io/exclude-from-external-load-balancers=,node=node1,platform=plat,role=master

matrix02       Ready    control-plane,master   48d     v1.21.14   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=matrix02,kubernetes.io/os=linux,master=master2,node-role.kubernetes.io/control-plane=,node-role.kubernetes.io/master=,node.kubernetes.io/exclude-from-external-load-balancers=,node=node2,platform=plat,role=master

matrix03       Ready    control-plane,master   48d     v1.21.14   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=matrix03,kubernetes.io/os=linux,master=master3,node-role.kubernetes.io/control-plane=,node-role.kubernetes.io/master=,node.kubernetes.io/exclude-from-external-load-balancers=,node=node3,platform=plat,role=master

matrix04   Ready    <none>                 4d22h   v1.21.14   beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=matrix04,kubernetes.io/os=linux,node=node4,role=worker,worker=worker1

c.     修改各个yml文件的name字段，修改后的文件示例如下（灰显信息为修改后的内容），确认无误后保存。

apiVersion: apps/v1

kind: DaemonSet

metadata:

  name: nvidia-device-plugin-daemonset-node1 //各GPU服务器节点名称不要重复

  namespace: kube-system

spec:

  selector:

    matchLabels:

      name: nvidia-device-plugin-ds

  updateStrategy:

    type: RollingUpdate

  template:

    metadata:

      labels:

        name: nvidia-device-plugin-ds

    spec:

      nodeSelector:

        node: node1 //GPU服务器节点的nodeid,通过上一步骤可查询

      tolerations:

      - key: nvidia.com/gpu

        operator: Exists

        effect: NoSchedule

      # Mark this pod as a critical add-on; when enabled, the critical add-on

      # scheduler reserves resources for critical add-on pods so that they can

      # be rescheduled after a failure.

      # See https://kubernetes.io/docs/tasks/administer-cluster/guaranteed-scheduling-critical-addon-pods/

      priorityClassName: "system-node-critical"

      containers:

      - image: nvcr.io/nvidia/k8s-device-plugin:v0.14.0

        name: nvidia-device-plugin-ctr

        env:

          - name: FAIL_ON_INIT_ERROR

            value: "false"

        securityContext:

          allowPrivilegeEscalation: false

          capabilities:

            drop: ["ALL"]

        volumeMounts:

        - name: device-plugin

          mountPath: /var/lib/kubelet/device-plugins

      volumes:

      - name: device-plugin

        hostPath:

          path: /var/lib/kubelet/device-plugins

d.     在任意一个Master节点上执行kubectl apply –f命令部署各个GPU服务器节点的yml文件。例如：

[root@matrix ~]# kubectl apply -f nvidia-device-plugin-node2.yml

(8)     执行kubectl get pod -n kube-system -o wide | grep plugin命令查询Pod运行状态，如果各GPU服务节点的Pod均为running状态，则表示nvidia-device-plugin插件安装成功。

[root@matrix ~]# kubectl get pod -n kube-system -o wide | grep plugin

nvidia-device-plugin-daemonset-9jrb8       1/1     Running   2          47d     177.177.173.14    matrix       <none>           <none>

7.3.3  确认GPU识别正常

在服务器上执行kubectl describe node命令，查看nvidia.com/gpu字段可以显示GPU数量，则表示GPU识别正常。如GPU识别异常，请尝试重启服务器后，再次执行命令查看GPU识别情况。

[root@matrix ~]# kubectl describe node matrix //matrix为服务器主机名称

Name:               matrix

Roles:              control-plane,master

...

Capacity:

  cpu:                                 255

  ephemeral-storage:                   3748905484Ki

  hugepages-1Gi:                       0

  hugepages-2Mi:                       0

  memory:                              1055870908Ki

  nvidia.com/gpu:                      8

  pods:                                300

  rdma/hpc_shared_devices_ens11f1np1:  1k

  rdma/hpc_shared_devices_ens12f1np1:  1k

  rdma/hpc_shared_devices_ens13f1np1:  1k

  rdma/hpc_shared_devices_ens14f1np1:  1k

  rdma/hpc_shared_devices_ens15f1np1:  1k

  rdma/hpc_shared_devices_ens16f1np1:  1k

  rdma/hpc_shared_devices_ens17f1np1:  1k

  rdma/hpc_shared_devices_ens18f1np1:  1k

Allocatable:

  cpu:                                 240

  ephemeral-storage:                   3454991288335

  hugepages-1Gi:                       0

  hugepages-2Mi:                       0

  memory:                              1045282748Ki

  nvidia.com/gpu:                      8

  pods:                                300

  rdma/hpc_shared_devices_ens11f1np1:  1k

  rdma/hpc_shared_devices_ens12f1np1:  1k

  rdma/hpc_shared_devices_ens13f1np1:  1k

  rdma/hpc_shared_devices_ens14f1np1:  1k

  rdma/hpc_shared_devices_ens15f1np1:  1k

  rdma/hpc_shared_devices_ens16f1np1:  1k

  rdma/hpc_shared_devices_ens17f1np1:  1k

  rdma/hpc_shared_devices_ens18f1np1:  1k

...

7.4  安装天数智铠MR-V100驱动

7.4.1  驱动版本信息

请按需向技术支持获取对应版本的天数智铠驱动组件安装包，详细版本信息请参见表7-2。

表7-2 天数智铠显卡驱动版本信息

产品类型	产品家族（显卡型号）	IX-ML版本	驱动版本	CUDA版本
天数智铠	Iluvatar MR-V100	4.0.0	4.0.0	CUDA 10.2

 

7.4.2  安装显卡驱动

(1)     配置本地YUM源，依次执行如下命令安装相关依赖包。

[root@localhost ~]# yum install -y elfutils-libelf-devel

[root@localhost ~]# yum install kernel-devel

[root@localhost ~]# yum install make

[root@localhost ~]# yum install -y python3-pip

[root@localhost ~]# yum install -y kmod

[root@localhost ~]# yum install -y make

[root@localhost ~]# yum install -y ncurses-libs

(2)     通过FTP工具上传partial_install_cuda_header.tar，并执行如下命令解压缩。

[root@localhost ~]# tar -zvxf partial_install_cuda_header.tar.gz

partial_install_cuda_header/

partial_install_cuda_header/README.MD

partial_install_cuda_header/.git/

partial_install_cuda_header/.git/description

partial_install_cuda_header/.git/index

partial_install_cuda_header/.git/branches/

partial_install_cuda_header/.git/objects/

partial_install_cuda_header/.git/objects/pack/

partial_install_cuda_header/.git/objects/pack/pack-41ad15857b08769635c68468207e266f951706e1.pack

partial_install_cuda_header/.git/objects/pack/pack-41ad15857b08769635c68468207e266f951706e1.idx

partial_install_cuda_header/.git/objects/info/

partial_install_cuda_header/.git/hooks/

...

(3)     进入解压目录，执行sh install_cuda_header.sh命令，完成部署CUDA工具。

[root@localhost ~]# cd partial_install_cuda_header/

[[root@localhost partial_install_cuda_header]# ll

总用量 12

drwxr-xr-x 5 root root 4096 12月 28  2022 cuda

-rwxr-xr-x 1 root root  901 12月 28  2022 install-cuda-header.sh

-rw-r--r-- 1 root root 1084 12月 28  2022 README.MD

[root@localhost  partial_install_cuda_header]# sh install_cuda-header.sh

(4)     创建并编辑/etc/yum.conf配置文件，在文件中最后一行添加“exclude=kernel*”，禁用系统自动更新。

a.     执行vi命令创建文件。

[root@localhost ~]# vi /etc/yum.conf

b.     通过键盘输入字符“i”进入编辑界面，输入如下内容：

[main]

gpgcheck=1

installonly_limit=3

clean_requirements_on_remove=True

best=True

skip_if_unavailable=False

multilib_policy=all

exclude=kernel*

c.     按键盘上的<ESC>键，再输入“:wq”，退出配置并保存文件。

:wq

(5)     安装软件栈（Docker安装⽅式）。

a.     通过FTP工具上传文件corex-docker-installer-4.0.0-10.2-ubuntu20.04-py3.10-x86_64.run。

b.     进入文件目录，执行bash命令部署天数智铠驱动。

[root@localhost ~]# bash corex-docker-installer-4.0.0-10.2-ubuntu20.04-py3.10-x86_64.run

...

五、软件的所有权与著作权

5.1 本软件，包括与其中包含的所有知识产权，除5.2条所述外，均为天类

本软件的复制。本软件及其所有复制品(全部或部分，以任何形式)的所

秘密信息向您授予任何明确或暗含的权利。

Do you accept the EULA?

accept/decline/quit: _

c.     输入“accept”完成确认。

Do you accept the EULA?

accept/decline/quit: accept

(6)     安装Core X：进入安装界面后，按键盘<Space>键勾选“Install driver”，按<↑><↓>键移动选择选择“Install”，最后按<Enter>键确认操作。

Corex v3.2.1 Docker Instal

[ * ]  Install driver

[  ]  Disable dkms  Disable use of dkms

Module Secret Key   Private Key File to sign driver module

Module Public Key   Public Key File to sign driver module

Set Cuda Path

Set Image Name

Install

(7)     执行ll /usr/local命令查看Core X的版本号。

[root@localhost ~]# ll /usr/local

总用量 52

drwxr-xr-x. 2 root root 4096  3月 20 14:31 bin

drwxr-xr-x  5 root root 4096  2月  4 08:40 corex-4.0.0

lrwxrwxrwx  1 root root   20  2月  4 08:30 cuda -> /usr/local/cuda-10.2

drwxrwxrwx  5 root root 4096  6月 24  2022 cuda-10.2

drwxr-xr-x. 2 root root 4096  8月  8  2022 etc

drwxr-xr-x. 2 root root 4096  8月  8  2022 games

drwxr-xr-x. 5 root root 4096  1月 22 16:43 h3diag

drwxr-xr-x. 2 root root 4096  8月  8  2022 include

drwxr-xr-x. 3 root root 4096  3月 20 14:30 lib

drwxr-xr-x. 4 root root 4096  3月 20 14:30 lib64

drwxr-xr-x. 2 root root 4096  8月  8  2022 libexec

drwxr-xr-x. 2 root root 4096  8月  8  2022 sbin

drwxr-xr-x. 5 root root 4096  1月 22 16:43 share

drwxr-xr-x. 2 root root 4096  8月  8  2022 src

(8)     增加环境变量：

a.     执行vi ~/.bashrc命令进入.bashrc文件，根据查到的版本号“corex-4.0.0”在最后一行增加灰显内容：

# .bashrc

# User specific aliases and functions

 

alias rm='rm -i'

alias cp='cp -i'

alias mv='mv -i'

 

# Source global definitions

if [ -f /etc/bashrc ]; then

        . /etc/bashrc

fi

export OS_TYPE=1

export PATH=$PATH:/usr/local/corex-4.0.0/bin

export LD_LIBRARY_PATH=/usr/local/corex-4.0.0/lib

export KUBECONFIG=/etc/kubernetes/admin.conf

b.     执行source ~/.bashrc命令，完成环境变量配置。

[root@localhost ~]# source ~/.bashrc

(9)     安装完成后执行ixsmi命令，若有如下显示信息则表示说显卡驱动安装成功。

[root@localhost ~]# ixsmi

Timestamp    Wed Mar 27 08:02:20 2024

+-----------------------------------------------------------------------------+

|  IX-ML: 4.0.0     Driver Version: 4.0.0       CUDA Version: 10.2          |

|-------------------------------+----------------------+----------------------|

| GPU  Name                     | Bus-Id               | Clock-SM  Clock-Mem  |

| Fan  Temp  Perf  Pwr:Usage/Cap|      Memory-Usage    | GPU-Util  Compute M. |

|===============================+======================+======================|

| 0    Iluvatar MR-V100         | 00000000:1B:00.0     | 1500MHz   1600MHz    |

| 0%   34C   P0    34W / 150W   | 25486MiB / 32768MiB  | 0%        Default    |

+-------------------------------+----------------------+----------------------+

| 1    Iluvatar MR-V100         | 00000000:1C:00.0     | 1500MHz   1600MHz    |

| 0%   34C   P0    35W / 150W   | 25486MiB / 32768MiB  | 0%        Default    |

+-------------------------------+----------------------+----------------------+

| 2    Iluvatar MR-V100         | 00000000:1F:00.0     | 1500MHz   1600MHz    |

| 0%   33C   P0    34W / 150W   | 114MiB / 32768MiB    | 0%        Default    |

+-------------------------------+----------------------+----------------------+

| 3    Iluvatar MR-V100         | 00000000:23:00.0     | 1500MHz   1600MHz    |

| 0%   35C   P0    35W / 150W   | 114MiB / 32768MiB    | 0%        Default    |

+-------------------------------+----------------------+----------------------+

| 4    Iluvatar MR-V100         | 00000000:35:00.0     | 1500MHz   1600MHz    |

| 0%   35C   P0    34W / 150W   | 114MiB / 32768MiB    | 0%        Default    |

+-------------------------------+----------------------+----------------------+

| 5    Iluvatar MR-V100         | 00000000:36:00.0     | 1500MHz   1600MHz    |

| 0%   36C   P0    34W / 150W   | 114MiB / 32768MiB    | 0%        Default    |

+-------------------------------+----------------------+----------------------+

| 6    Iluvatar MR-V100         | 00000000:39:00.0     | 1500MHz   1600MHz    |

| 0%   34C   P0    34W / 150W   | 114MiB / 32768MiB    | 0%        Default    |

+-------------------------------+----------------------+----------------------+

| 7    Iluvatar MR-V100         | 00000000:3D:00.0     | 1500MHz   1600MHz    |

| 0%   34C   P0    34W / 150W   | 114MiB / 32768MiB    | 0%        Default    |

+-------------------------------+----------------------+----------------------+

 

+-----------------------------------------------------------------------------+

| Processes:                                                       GPU Memory |

|  GPU        PID      Process name                                Usage(MiB) |

 

7.4.3  安装iluvatar-device-plugin

(1)     通过FTP等工具将iluvatar.zip上传到Matrix集群任一Master节点上（例如/root目录）。

(2)     进入目录并执行unzip命令解压缩安装包。

[root@matrix ~]# unzip iluvatar.zip

(3)     执行cd命令进入安装包解压缩后的目录。

[root@matrix ~]# cd iluvatar

(4)     执行docker load -i命令加载镜像文件。

[root@matrix ~]# docker load -i k8s-device-plugin.tar

(5)     执行kubectl apply –f命令部署iluvatar-device-plugin文件。只需在一个节点上部署，其他节点无需重复操作。

[root@matrix ~]# kubectl apply -f iluvatar-device-plugin.yml

(6)     执行以下命令查看插件部署状态，如果运行状态为Running，则表示插件部署成功。

[root@matrix ~]# kubectl get pod -n kube-system -o wide | grep iluvatar

iluvatar-device-plugin-jhcx7               1/1     Running   16         12d     177.177.224.232   matrix159   <none>           <none>

(7)     确认GPU识别正常。在服务器上执行kubectl describe node命令，查看“iluvatar.ai/gpu”字段。如果可以正常显示GPU数量，则表示GPU识别正常。如未显示GPU数量，则表示GPU识别异常，请尝试重启服务器后，再次执行本命令查看GPU识别情况。

[root@matrix11 ~]# kubectl describe node

Name:               matrix11

Roles:              control-plane,master

Labels:             beta.kubernetes.io/arch=amd64

                    beta.kubernetes.io/os=linux

                    kubernetes.io/arch=amd64

                    kubernetes.io/hostname=matrix11

                    kubernetes.io/os=linux

                    master=master1

                    node=node1

                    node-role.kubernetes.io/control-plane=

                    node-role.kubernetes.io/master=

                    node.kubernetes.io/exclude-from-external-load-balancers=

                    platform=plat

                    role=master

Annotations:        kubeadm.alpha.kubernetes.io/cri-socket: /var/run/dockershim.sock

                    node.alpha.kubernetes.io/ttl: 0

                    volumes.kubernetes.io/controller-managed-attach-detach: true

CreationTimestamp:  Fri, 12 Jul 2024 12:06:50 +0800

Taints:             <none>

Unschedulable:      false

Lease:

  HolderIdentity:  matrix11

  AcquireTime:     <unset>

  RenewTime:       Thu, 18 Jul 2024 10:42:04 +0800

Conditions:

  Type                 Status  LastHeartbeatTime                 LastTransitionTime                Reason                       Message

  ----                 ------  -----------------                 ------------------                ------                       -------

  NetworkUnavailable   False   Tue, 16 Jul 2024 15:58:30 +0800   Tue, 16 Jul 2024 15:58:30 +0800   CalicoIsUp                   Calico is running on this node

  MemoryPressure       False   Thu, 18 Jul 2024 10:41:24 +0800   Fri, 12 Jul 2024 12:06:49 +0800   KubeletHasSufficientMemory   kubelet has sufficient memory available

  DiskPressure         False   Thu, 18 Jul 2024 10:41:24 +0800   Fri, 12 Jul 2024 12:06:49 +0800   KubeletHasNoDiskPressure     kubelet has no disk pressure

  PIDPressure          False   Thu, 18 Jul 2024 10:41:24 +0800   Fri, 12 Jul 2024 12:06:49 +0800   KubeletHasSufficientPID      kubelet has sufficient PID available

  Ready                True    Thu, 18 Jul 2024 10:41:24 +0800   Fri, 12 Jul 2024 21:40:44 +0800   KubeletReady                 kubelet is posting ready status

Addresses:

  InternalIP:  10.114.164.14

  Hostname:    matrix11

Capacity:

  cpu:                112

  ephemeral-storage:  1055762868Ki

  hugepages-1Gi:      0

  hugepages-2Mi:      0

  iluvatar.ai/gpu:    3

  memory:             1055845592Ki

  pods:               300

Allocatable:

  cpu:                105

  ephemeral-storage:  972991057538

  hugepages-1Gi:      0

  hugepages-2Mi:      0

  iluvatar.ai/gpu:    3

  memory:             1045257432Ki

  pods:               300

...