- 产品与解决方案
- 行业解决方案
- 服务
- 支持
- 合作伙伴
- 关于我们
手册下载
H3C UniServer R4900 G3服务器部署VMware vSAN的最佳实践
Copyright © 2020 新华三技术有限公司 版权所有，保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
除新华三技术有限公司的商标外，本手册中出现的其它公司的商标、产品标识及商品名称，由各自权利人拥有。
本文档中的信息可能变动，恕不另行通知。
本文图片仅供参考，具体以实际情况为准。
H3C UniServer R4900 G3（下文简称R4900 G3）是新华三技术有限公司（下文简称H3C）基于Intel新一代Purley平台所开发的新一代2U双路机架式服务器。可广泛应用于互联网、云计算、IDC(Internet DataCenter，互联网数据中心)、企业市场、电信等。
R4900 G3具有低功耗、高可靠、灵活扩展性强、易管理，易部署等优点。单台服务器支持双路CPU，最多可以提供56个内核和112个线程，支持Intel超线程技术，每个处理器内核并发运行多个线程，最大限度的提高了多线程应用和并行处理能力。
图1-1 R4900 G3服务器
VMware vSAN（Virtual SAN，虚拟存储局域网）是VMware公司提出的软件定义存储架构的企业存储解决方案，支持HCI（Hyper-Converged Infrastructure，超融合基础架构）系统，把多台服务器上的计算、存储和网络加以整合利用，避免连接外部环境产生的网络延迟，实现服务器资源的有效利用。
VMware vSAN使用软件定义的方法为虚拟机创建共享存储，将多台安装有VMware ESXi系统的x86服务器上的本地磁盘加以整合，组成磁盘组，在这之上使用vSphere和vCenter管理，通过内部的网络相连，形成一个大容量的存储，然后可根据虚拟机和应用程序的服务质量要求划分这些存储池并分配给这些虚拟机和应用程序。
VMware vSAN集群包括混合群集和全闪存群集。在混合群集中，闪存设备用于缓存层，磁盘用于存储容量层。在全闪存群集中，闪存设备同时用作缓存和容量设备。VMware vSAN目前广泛应用在如VDI云桌面服务、开发测试系统云服务、Cloud私有云服务等场景。
随着科技的迅速发展，企业的业务量不断增加，为提升服务质量和效率，企业对于vSAN集群存储空间、吞吐量和时延的要求也不断提高，因此混合群集和全闪存群集的vSAN集群需求量不断增加。
vSAN群集如图2-1所示，本文选择配置全闪存（SSD）集群，NVMe硬盘作为缓存设备，SSD硬盘作为存储设备。
本手册中，所有部件的型号都做了简化（比如删除前缀和后缀）。比如内存型号DDR4-2933P-16G-1Rx4-R-x，代表用户可能看到的以下型号：UN-DDR4-2933P-16G-1Rx4-R-x、UN-DDR4-2933P-16G-1Rx4-R-x-F、UN-DDR4-2933P-16G-1Rx4-R-x-S。
硬件配置如下：
· 4台R4900 G3服务器用于搭建vSAN群集，4台服务器硬件配置完全相同，如表2-1所示。
· 交换机配置如表2-2所示。
· 为避免占用集群资源，还需准备一台管理服务器，并在管理服务器上安装Windows Server 2019操作系统和vCenter。
表2-1 单台R4900 G3硬件配置
|
部件类型 |
部件型号 |
安装位置 |
数量 |
|
CPU |
CPU-6240-2U |
满配CPU槽位 |
2 |
|
内存 |
DDR4-2933P-16G-1Rx4-R-x |
满配白色内存插槽 |
12 |
|
（可选）管理网卡 |
NIC-GE-4P-360T-L3 |
slot 9 |
1 |
|
存储网卡 |
NIC-620F-B2-25Gb-2P-1-X |
slot 2或slot 3 |
1 |
|
存储控制卡 |
HBA-LSI-9311-8i |
slot 1 |
1 |
|
RAID-LSI-9460-16i(4G) |
slot 6 |
1 |
|
|
NVMe SSD扩展卡 |
EX-4NVMe-A |
slot 5 |
1 |
|
SAS硬盘 |
HDD-600G-SAS-12G-10K-SFF-1 |
后部2SFF硬盘笼 |
1 |
|
SATA硬盘 |
SSD-960G-SATA-6G-EV-SCL-i |
前部硬盘编号0～7 |
8 |
|
NVMe硬盘 |
SSD-375G-NVMe-LFF-i |
前部硬盘编号8、9 |
2 |
|
硬盘背板 |
BP-12LFF-4UniBay-2U |
前部硬盘背板 |
1 |
|
BP-2SFF-R4900 |
后部2SFF硬盘背板 |
1 |
|
交换机类型 |
业务场景 |
交换机数量 |
|
1G以太网交换机 （本文中为H3C S5120V2-52P-SI交换机） |
管理网 |
1 |
|
25G以太网交换机 （本文中为H3C S6820-56HF交换机） |
存储网 |
1 |
硬件拓扑关系如图2-2所示，4台R4900 G3通过1G交换机连接到管理网，用于批量管理多台服务器，通过25G交换机连接到存储网，用于vSAN群集的搭建和运行。
图2-2 vSAN群集硬件拓扑图
每台R4900 G3的配置完全相同，详细配置如图2-3所示：
图2-3 R4900 G3设备配置图
本文使用的软件及版本如表2-3所示。
|
组件类型 |
组件 |
软件及版本 |
|
操作系统 |
虚拟机 |
VMware vSphere Hypervisor(ESXi) 6.7 U3 |
|
管理软件 |
vCenter |
VMware vCenter Server v6.7 u3a |
|
测试工具 |
HCIBench |
HCIBench_2.3.1 |
vSAN群集的搭建流程图如图2-4所示，主要包含以下内容：
· 交换机
· vSAN群集搭建
图2-4 vSAN群集搭建流程图
vSAN群集的测试结果及优化思路主要包含以下内容：
· 性能优化思路
通过telnet管理IP地址登录25G存储交换机，开启PFC功能。
(1) 进入系统视图。
system-view
(2) 进入以太网接口视图。
interface interface-type interface-number
(3) 配置PFC功能的开启模式。
priority-flow-control { auto | enable }
# 打开接口GigabitEthernet1/0/9～GigabitEthernet1/0/16的PFC功能。
<H3C> system-view
[H3C] interface range gigabitethernet 1/0/9 to gigabitethernet 1/0/16
[H3C-if-range] priority-flow-control enable
准备镜像文件均在管理服务器上操作，管理服务器在拓扑中的位置请参见图2-2。
服务器需安装Microsoft Windows Server 2019，用户可从微软官网获取该操作系统，操作系统的安装方式请参见《H3C服务器 操作系统安装指导》。
(1) 打开运行框（windows键+R）。
(2) 如图4-1所示，输入命令powershell并单击确定。
配置过程中服务器需要连上外网，需在powershell中通过以下命令设置代理（根据实际环境进行设置）。
set http_proxy=IP:端口号
设置powershell执行策略：允许本地的脚本执行。
Set-ExecutionPolicy -ExecutionPolicy RemoteSigned（有问题可以执行Set-ExecutionPolicy Unrestricted）
Get-ExecutionPolicy查询，如图4-2所示，显示RemoteSigned即可。
安装VMware PowerCLI模块，本文采用以下命令在线安装（需连接外网），也可以在VMware官网下载安装包进行安装。
Install-Module -Name VMware.PowerCLI
· VMware 6.7的镜像，可在VMware官网获取。
· 需要集成到镜像里的存储控制卡和网卡的驱动，可在H3C官网获取。
· 本文中需要驱动的部件有：NIC-GE-4P-360T-L3、HBA-LSI-9311-8i、RAID-LSI-9460-16i(4G)。
· 制作工具ESXi-Customizer-PS-v2.6.0.ps1，可在VMware官网获取。
· OS镜像版本：目前推荐安装VMware ESXi 6.7 U3 (64 bit)。
· 制作镜像目的：将服务器各主要部件的驱动程序放进OS镜像，部件包括网卡、存储控制卡等。
可参考4.1.1 2. 打开powershell章节。
加入VMware CEIP，避免驱动集成工具执行过程中出现异常报错信息。
Set-PowerCLIConfiguration -Scope User -ParticipateInCeip $true
图4-3 加入VMware CEIP
将VMware ESXi 6.7 U3 (64 bit) Offline buddle包、存储控制卡驱动Offline buddle包及驱动集成工具ESXi-Customizer-PS-v2.6.0保存在相同目录下。
图4-4 保存所需文件到相同目录
图4-5 切换powershell控制台目录
制作ISO安装镜像命令如下：
.\ESXi-Customizer-PS-v2.6.0.ps1 -iZip .\update-from-esxi6.7-6.7_update03.zip -dpt .\XXX -load YYY
· ESXi-Customizer-PS-v2.6.0.ps1：驱动集成工具
· update-from-esxi6.7-6.7_update03.zip：VMware ESXi 6.7 U3 (64 bit) Offline buddle包
· XXX：需要集成的驱动程序offline buddle包,如aacraid-6.0.6.2.1.57013-offline_bundle-11959565.zip。
· YYY：VMware系统下的驱动名称，如scsi-aacraid。
如需要集成多个驱动，可以在-dpt和-load后面追加多个参数，使用逗号隔开，如以下示例命令：
PS D:\vmware> .\ESXi-Customizer-PS-v2.6.0.ps1 -iZip .\update-from-esxi6.7-6.7_update02.zip -dpt .\aacraid-6.0.6.2.1.57013-offline_bundle-11959565.zip,.\VMW-ESX-6.7.0-lpfc-12.0.193.14-offline_bundle-8983045.zip -load scsi-aacraid,lpfc
也可以将需要集成的驱动放在一个文件夹下，zip与vib格式均可，使用如下命令自动查找并集成到系统：
.\ESXi-Customizer-PS-v2.6.0.ps1 -izip .\update-from-esxi6.7-6.7_update02.zip -pkgDir .\驱动存放文件夹
命令执行结束后会生成一个OS安装镜像，ISO镜像的存放位置可以参照运行结果，如图4-6所示，镜像文件存放于D:\vmware。
4台R4900 G3服务器均需按照本章节内容正确安装操作系统。
(1) 登录到服务器的远程控制台，通过HDM Web界面上的控件对服务器进行远程操作。
登录远程控制台前，请用户先获取HDM的IP地址和用户名密码，并确认客户端（如本地PC）的运行环境满足要求。
表4-1 登录前准备项目
|
准备项目 |
说明 |
|
HDM IP地址 |
服务器缺省HDM IP地址： · HDM共享网口：通过网络中的DHCP服务器分配IP地址 · HDM专用网口：192.168.1.2/24 |
|
HDM用户名 |
缺省用户名（区分大小写）：admin |
|
HDM密码 |
缺省密码（区分大小写）：Password@_ |
|
客户端浏览器版本 |
· Google Chrome 48.0及以上 · Mozilla Firefox 50.0及以上 · Internet Explorer 11及以上 |
|
客户端分辨率 |
要求不低于1366*768，推荐设置为1600*900或更高 |
(2) 请将网线连接到服务器的HDM共享网口，确保网络可达。
(3) 通过浏览器登录HDM Web界面，单击[远程控制/远程控制台]菜单项，进入远程控制台界面，如图4-7所示。
(4) 单击远程控制台按钮，启动远程控制台，登录到计算节点。
(5) 选择CDROM启动项进行启动；
图4-8 选择启动介质
(6) 系统进入自动加载界面，请耐心等待，如图4-9所示。
(7) 加载系统信息，验证硬件驱动
(8) 完成加载后进入如图4-11所示界面，根据界面提示信息，按“Enter”确认继续安装。
(9) 进入如图4-12所示界面，按“F11”接受License授权。
图4-12 License授权界面
(10) 进入如图4-13所示界面，选择待安装操作系统的硬盘，完成选择后按“Enter”继续安装；按“F1”查看硬盘详细信息。
图4-13 选定OS安装所在硬盘
(11) 选择键盘布局，默认为“US Default”，完成选择后按“Enter”继续安装。
图4-14 选择键盘布局
(12) 进入图4-15所示界面，设置root用户的密码后，按“Enter”继续安装。
(13) 进入图4-16所示界面，按“F11”确认安装，此步骤硬盘将会被重新分区。
(14) 安装完成后，进入图4-17所示界面，按“Enter”重启。
(15) 重启完毕，进入图4-18所示界面，此时VMware ESXi操作系统已安装完成。
图4-18 服务器完成重启
(16) 按“F2”进入图4-19所示界面，输入root用户名的密码，按“Enter”登录服务器。
(17) 进入图4-20所示界面，完成VMware ESXi操作系统登录。
4台R4900 G3服务器均需按照本章节内容正确设置网络。
(1) 为方便远程调试，服务器需打开SSH使能，选择Troubleshooting Options，按“Enter”进入详细信息。
图4-21 选择Troubleshooting Options
(2) 如图4-22所示使能Shell和SSH，enable ESXi Shell & SSH，然后按“Esc”返回即可
(3) 选择管理网口Configure Management Network --> Network Adapters，可按“Enter”查看或设置网络配置，本文中IP地址为自动获取，现场可根据实际情况配置静态IP地址。
图4-23 选择管理网口
图4-24 网络配置
vCenter用于统一管理集群主机，部署操作步骤如下：
(1) 虚拟机准备：vCenter为避免占用集群资源，需在4台服务器外，选择一台现有服务器搭建独立虚拟机（操作系统Windows Server 2019），可与上文中制作镜像的服务器共用。
(2) 从VMware官网下载VMware vCenter Server v6.7 u3a镜像文件，将镜像文件拷贝到系统。
(3) 解压镜像，双击autorun.exe进行安装（也可以进入vCenter-Server双击VMware-vCenter-Server.exe）。
图5-1 运行安装程序
(4) 接受协议并单击<下一步>按钮。
图5-2 开始安装
图5-3 接受协议条款
(5) 选择嵌入式部署，并单击<下一步>按钮。
图5-4 选择嵌入式部署
(6) 根据现场IP地址规划，设置系统名称为固定IP地址。本文使用的系统名称为172.16.103.172。
图5-5 设置系统名称为固定IP地址
(7) 设置域名及密码，用户名默认不变，密码自定义，完成设置后单击<下一步>按钮。
图5-6 设置域名及密码
(8) 选择数据库，默认使用嵌入式数据库，单击<下一步>按钮。
图5-7 数据库设置
(9) 端口号选择，默认不变，单击<下一步>按钮。
图5-8 配置端口
(10) 安装位置选择，默认不变，单击<下一步>按钮，并等待安装完成。
图5-9 目标目录
图5-10 安装完成
(11) 网页输入vCenter的IP地址，如https://IP，然后单击<启动vsphere client>按钮。
图5-11 输入IP地址
(12) 登录vCenter，输入用户名和密码，单击<登录>按钮。
图5-12 输入用户名和密码
(13) 点击上方提示的“MANAGE YOUR LICENSES”后，来到“许可证”界面。接着单击<Add New Licenses>按钮添加license，添加成功后选择刚刚添加的license，单击<Synchronize Licenses>按钮同步licenses。
图5-13 添加并同步license
完成vCenter搭建后，需基于vCenter进行vSAN群集的搭建。
IP地址可选择自定义静态IP地址也可以选择DHCP模式自动获取。本文中IP地址均采用DHCP模式自动获取，获取后的管理网IP地址如表6-1所示。
表6-1 IP地址规划表
|
服务器 |
管理网IP地址 |
存储网IP地址 |
|
R4900 G3服务器1 |
172.16.10.222 |
如图6-11所示，选择自动获取IP地址 |
|
R4900 G3服务器2 |
172.16.12.51 |
|
|
R4900 G3服务器3 |
172.16.13.211 |
|
|
R4900 G3服务器4 |
172.16.17.232 |
(1) （可选）创建数据中心Datacenter。vCenter IP地址选项卡下默认会有一个Datacenter，可以使用默认的，也可以自行创建。本文使用默认的Datacenter。
图6-1 创建数据中心Datacenter
(2) 创建群组Cluster，右键数据中心Datacenter选择新建Cluster，默认已有一个Cluster。本文选择新建群组vSAN，使能vSphere DRS和vSAN服务，单击<OK>按钮。
图6-2 创建群组Cluster
(3) 创建集群主机，右键vSAN群组，选择“Add Hosts”依次添加4台主机，即要创建的集群ESXi主机，等待校验完成即可。
图6-3 添加主机
(4) 如图6-4所示，在弹出的对话框中输入主机的管理口IP地址，用户名及密码。
(5) 网络设置，请依次设置4台主机网络。单击host主机IP地址，单击“Configure”，找到“Networking”，单击“Virtual switches”，单击“ADD NETWORKING”新增网络。
图6-5 网络设置
(6) 选择VMkernel Network Adapter，单击<NEXT>按钮进入下一步。
图6-6 选择连接类型
(7) 选择新建标准交换机，修改MTU值为9000，单击<NEXT>按钮进入下一步。
图6-7 选择新建标准交换机
(8) 选择物理网口，单击“+”，选择vSAN存储的网卡端口，本文配置选择25G的网口，单击<NEXT>按钮进入下一步。
图6-8 添加物理网口
图6-9 选择物理网口
(9) 勾选vSAN服务，单击<NEXT>按钮进入下一步。
图6-10 勾选vSAN服务
(10) 选择“Obtain IPv4 settings automatically”自动获取IP地址，注意管理网和存储网都要接在局域网中，存储网可以在交换机上做vlan隔开，避免大流量数据形成网络风暴影响业务，单击<NEXT>按钮进入下一步。
(11) 设置磁盘组，单击vSAN群集，选择“Configure”，找到“Disk Managemeng”，单击host主机，单击“CREATE DISK GROUP”创建磁盘组。
图6-12 设置磁盘组
(12) 选择一个盘做为磁盘组的cache，选择其他盘作为数据盘，每个磁盘组分配的盘数量根据需求自定义，每个磁盘组盘数相同。本文每组磁盘组中选择1块NVMe硬盘作为缓存盘，4块SATA硬盘作为数据盘，每个节点配置2组磁盘组。
图6-13 配置磁盘组
· HCIBench_2.3.1仅在管理服务器部署，用于对vSAN群集性能的测试。
· 实际应用场景可选择是否部署HCIBench_2.3.1，部署与否不影响vSAN群集的使用。
(1) 下载OVA模板。官网地址：https://flings.vmware.com/hcibench#comments
(2) 导入OVA模板，单击<NEXT>按钮进入下一步。
图7-1 选择模板路径
(3) 设置设备名称并选择本地路径，单击<NEXT>按钮进入下一步。
图7-2 设置设备名称并选择本地路径
(4) 选择vSAN资源，单击<NEXT>按钮进入下一步。
图7-3 选择资源
(5) 检查细节参数，确认参数是否设置正确，单击<NEXT>按钮进入下一步。
图7-4 检查细节参数
(6) 勾选“I accept all license agreements”并单击<NEXT>按钮进入下一步。
图7-5 接受协议
(7) 选择vSAN存储，单击<NEXT>按钮进入下一步。
图7-6 选择vSAN存储
(8) 选择网络（确认目标网络可用，导入后也可更改目标网络），单击<NEXT>按钮进入下一步。
图7-7 选择网络
(9) 配置网络IP地址和root的密码，单击<NEXT>按钮进入下一步。
图7-8 配置网络及密码
(10) 完成OVA导入，单击<FINISH>按钮完成导入。
图7-9 完成导入
(11) 检查HCIBench的网络适配器（推荐与VC&主机为同一网段，且能正常通信），示例图片中IP地址为172.16.13.95，现场可根据需要进行修改。
图7-10 硬件信息
图7-11 OS下网卡信息
(12) 登陆HCIBench界面，https://172.16.13.95:8443/，→"Configuration"页面，配置对应信息（所有信息需要与VC信息一致）。
(13) 单击图7-13中“Select a Workload Parameter File”选项中<ADD>按钮进行配置文件的配置，调整测试参数，如Block Size、Read Percentage等。
图7-14 参考配置文件选项
(14) 配置完成后单击图7-13中“SAVE CONFIG”后，单击<START TEST>按钮开始测试。
图7-15 开始测试
(15) 运行一段时间后可登录https://hcibench_ip:3000查看HCIBench界面及各项参数，如图7-16所示。
本文使用HCIBench_2.3.1测试工具，得到不同的Block Size和Read Pencentage配置下集群的IO吞吐量和延时结果如表8-1所示，参数的配置请参见7.1 (13)章节。
|
Block Size |
Read Percentage(%) |
IOPS |
Latency(ms) |
|
4K |
0 |
249,893 |
4.2 |
|
4K |
30 |
282,831 |
3.6 |
|
4K |
70 |
368,238 |
2.8 |
|
4K |
100 |
522,839 |
2 |
|
8K |
0 |
271,260 |
4.5 |
|
8K |
30 |
354,702 |
3.9 |
|
8K |
70 |
352,051 |
2.9 |
|
8K |
100 |
510,184 |
2 |
|
64K |
0 |
69,125 |
14.8 |
|
64K |
30 |
94,586 |
10.9 |
|
128K |
0 |
35,714 |
28.7 |
|
128K |
30 |
47,108 |
21.7 |
硬件配置确认后，对于每台机器内部的连接，需要根据应用模型去分析，本文是存储相关应用，数据流读写，涉及到缓存盘和数据盘。比较两种配置，如图8-1所示配置一的数据盘和缓存盘分属不同CPU，如图8-2所示配置二的数据盘和缓存盘是在同一个CPU下。经过测试验证，配置二相比配置一性能有近8%的提升。故最终选择配置二。
本文选择SSD-375G-NVMe-LFF-i和SSD-1.6T-NVMe-EM-SCL-i作为缓存设备进行比较测试并最终选用了SSD-375G-NVMe-LFF-i，目的是对比Intel上一代NVMe和新的敖腾系列NVMe作为缓存设备在vSAN群集中的性能差异，同时对集群的IO吞吐量和延时进行优化。
SSD-375G-NVMe-LFF-i相较SSD-1.6T-NVMe-EM-SCL-i，IOPS上涨15%的同时Latency下降10%，性能有较大提升。
SSD-375G-NVMe-LFF-i相比SSD-1.6T-NVMe-EM-SCL-i耐用性提升68%。
|
/ |
SSD-960G-SATA-6G-EV-SCL-i *4 |
SSD-1.6T-NVMe-EM-SCL-i*1 |
SSD-375G-NVMe-LFF-i*1 |
|
Capacity |
960G |
1.6T |
375G |
|
DWPD (5yrs） |
2 |
4.19 |
30 |
|
PBW |
14 |
12.3 |
20.5 |
· Capacity，硬盘容量。
· DWPD,（Diskful Writes Per Day），每日整盘写入次数，指在预期寿命内可每日完整写入SSD固态硬盘所有容量的次数。
· PBW，硬盘理论寿命所对应的总写入数据量。根据PBW比较，会出现作为缓存设备的PSSD-1.6T-NVMe-EM-SCL-i比作为存储设备的SSD-960G-SATA-6G-EV-SCL-i先损坏。
在本文的配置中，使用如表8-3所示配置，IOPS性能可获得较大提升，如4K 70% Read IOPS性能较优化前可提升15%。
|
序号 |
优化项目 |
项目描述 |
优化措施 |
|
1 |
vSAN版本 |
vSAN 6.7 U3之前的版本存在限速问题，每个磁盘组在120MB/Sec左右 |
使用vSAN 6.7 Update3 |
|
2 |
VMD驱动 |
对比于ESXi自带驱动，VMD驱动能提供更高的性能 |
· 在BIOS启用VMD（默认开启） · 在vSAN6.7更新VMD驱动，本文使用的驱动版本为：intel-nvme-vmd-1.8.0.1001-1OEM.670.0.0.8169922.x86_64.vib |
|
3 |
存储网网卡 |
vSAN性能受网络影响较大，避免网络成为性能瓶颈 |
本文中使用的驱动和固件版本：MEL_bootbank_nmlx5-core_4.17.15.16-1OEM.670.0.0.8169922.vib和14.20.1010 |
在本文的配置中，测试验证交换机PFC enabled状态相比disabled状态IOPS有最多7%的提升，配置方法详见3 交换机。
vSAN最适合在具有统一配置（包括存储配置）的主机上运行，即平衡的集群配置，本文中的4台机器配置完全一样。
如果vSAN群集使用具有不同配置的主机，即不平衡的集群配置，则会存在以下劣势：
· 存储性能的可预测性将会降低，因为vSAN不会在各个主机上存储相同数量的组件。
· 维护步骤不同，给维护造成不便。
· 对于集群中拥有类型不同的缓存设备的主机，性能将会降低。
支持
