H3C UniServer B16000刀箱上部署VMware的最佳实践-6W101

非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。

除新华三技术有限公司的商标外，本手册中出现的其它公司的商标、产品标识及商品名称，由各自权利人拥有。

本文档中的信息可能变动，恕不另行通知。

1 简介

1.1 产品概述

H3C UniServer B16000刀片服务器（以下简称B16000刀箱）一体机是新华三技术有限公司自主研发的新一代融合IT基础设施平台，集计算、存储、交换、管理、多业务扩展功能于一体，专为数据中心、云计算、虚拟化、高性能计算HPC等场景而设计。

图1-1 H3C UniServer B16000刀片服务器外观

H3C B16000的可组合基础架构与VMware®vSphere相结合，可实现较佳的虚拟化体验。

· 融合架构

集计算、网络、存储、电源、风扇、多种管理于一体；提供了简化的管理、强大的处理能力、超强的网络带宽，高效的供电和散热。

· 优秀的技术规格

支持多资源池化；多交换平面，丰富的交换模块，提供多业务应用。

· 丰富的可管理特性

支持集中式设备管理，管理模块可以统一监管系统中的所有部件，相比传统机架服务器，可大大降低管理组网的复杂度和成本，同时支持多框级联集中管理，方便客户运维。

· 高可靠性

所有核心模块均支持N+1或N+N备份，支持故障无缝切换。

无缘背板优化设计，减少了走线密度，提高背板可靠性，提升了背板信号质量，优化背板性能。

采用超高能效电源，支持智能供电。

支持链路聚合及系统级设备堆叠，提供多种模式的可靠性保证及应用模式选项。

· 快速部署及自动化运维

支持丰富的快速部署特性和智能运维。

1.2 配套硬件

H3C UniServer B16000刀箱包含各种功能的部件，形状和大小，提供多种选项满足从通用目的到关键任务的各种工作负载需求。下文介绍H3C UniServer B16000刀箱中的核心部件。

1.2.1 刀片服务器

表1-1 刀片服务器规格

型号	支持安装数量	服务器类型	描述
H3C UniServer B5700 G3	16个	2路半宽单高	· 应用型刀片服务器，适用于高密度，云计算，虚拟化等一般企业应用工作负载 · 支持2颗Intel skylake至强系列处理器，支持单路CPU配置 · 支持DDR4 2666MT/s内存，24个DIMM插槽 · 前面板3个硬盘槽位，较大支持4个存储设备，支持SATA/SAS/Nvme硬盘，M.2适配盒 · 1个x16 PCIe3.0 Riser扩展插槽 · 最多3个MEZZ（PCIe3.0 x16）扩展槽位 · 一个存储控制卡扩展槽位（支持Raid卡、HBA卡、4port SATA 直通卡） · 板载支持2个Micro SD卡槽位
H3C UniServer B5800 G3	8个	2路全宽单高	· 应用型刀片服务器，适用于高密度，存储优化，云计算，虚拟化等一般企业应用工作负载 · 支持2颗Intel skylake至强系列处理器，支持2路CPU配置 · 支持DDR4 2666MT/s内存，24个DIMM插槽 · 14个硬盘槽位，较大支持15个存储设备(slot0支持双M.2适配盒)。 · 最多3个MEZZ（PCIe3.0 x16）扩展插槽 · 1个存储控制卡扩展连接器 · 主板板载2个SATA M.2 槽位
H3C UniServer B7800 G3	8个	4路全宽单高	· 高性能刀片服务器，适用于高密度计算，关键业务和OLTP等企业应用工作负载 · 最高支持4颗Intel skylake至强系列处理器（5系及以上），支持2路CPU配置 · 支持DDR4 2666MT/s内存，48个DIMM插槽 · 前面板5个硬盘槽位，较大支持6个存储设备。支持SATA/SAS/Nvme/M.2 · 2个x16 PCIe3.0 Riser扩展插槽（支持LP或者P6 GPU扩展） · 最多6个MEZZ（PCIe3.0 x16）扩展插槽 · 1个存储控制卡扩展连接器 · 主板板载两个SATA M.2 槽位（支持直通、Raid卡、HBA卡） · 板载支持2个Micro SD卡槽位

1.2.2 管理模块

管理模块的型号为H3C Unisever OM100。刀箱最多支持安装2个管理模块，互为备份。管理模块主要实现2个功能：

· 刀箱的集中式设备管理（管理平面）

管理模块提供2个GE管理口，实现刀箱各设备的集中管理和监控，包括刀片服务器、互联模块、AE引擎模块、LCD液晶显示模块、电源模块、风扇模块，同时可以对整机框实现智能功耗管理和系统级智能调速。管理模块至少需要配置1块，选配两块可以实现冗余，提高设备可靠性。

· 集成GE Switch（业务）

除了做刀箱的集中式设备管理，管理模块集成的GE switch同时也兼做一个GE的业务交换平面，刀片服务器板载双端口GE网卡，管理模块集成GE的交换机，从这个角度讲刀箱可以说是3+1=4交换平面，6+2=8互联模块（管理模块集成2个GE的互联模块）。

管理模块面板的业务口（2*10G+2*Ge）和管理口（2*Ge）相互隔离。

1.2.3 互联模块

1. 互联模块规格

表1-2 互联模块规格

型号	支持安装数量	描述
H3C UniServer BX720E	6个	1610GE+440GE以太网交换机（支持16个万兆光口+4个40G光口)
H3C UniServer BX720EF	6个	1610GE+440GE融合网络交换机（支持8个FC端口+8个万兆光口+4个40G光口）
H3C UniServer BX608FE	6个	8*16G FC网络交换机（支持8个FC端口）

· H3C UniServer BX720E

BX720E交换模块，作为机箱内部交换控制模块，支持安装在机箱后部1～6的互联模块槽位中，为机箱整体系统内部各个相关模块提供数据交换功能，并集中对外提供数据接口用于连接外部设备。

· H3C UniServer BX720EF

BX720EF融合交换模块，作为机箱内部融合交换控制模块，支持安装在机箱后部1～6的互联模块槽位中，为机箱整体系统内部各个相关模块提供数据交换功能，并集中对外提供数据接口用于连接外部设备。外部接口类型同时包括：以太网接口及FC接口。

· H3C UniServer BX608FE

BX608FE FC交换模块，作为机箱内部FC交换控制模块，支持安装在机箱后部1～6的互联模块槽位中，为机箱整体系统内部各个相关模块提供数据交换功能，并集中对外提供数据接口用于连接外部设备。

2. 互联模块可靠性

· 设备冗余

机箱支持满配6个互联模块。其中，1和4，2和5，3和6槽位的互联模块，通过互联模块内部端口两两互联，形成三对，每对可作为一个交换平面，用户可根据业务需求，将成对的互联模块配置成主备。

图1-2 互联模块槽位图

机箱_17

· 链路冗余

互联模块通过中置背板，实现与各个刀片服务器的内部互联，同时通过互联模块的面板接口，为各个刀片服务器提供上行互联接口。每个互联模块用两个内部接口连接1个刀片服务器，这两个内部端口可互为主备，确保机箱内部网络的可靠性。

3. 互联模块内部连接关系

互联模块与刀片服务器机箱Mezz卡内部连接方式一，如图1-3所示。其中：

· 板载网卡连接到主用和备用OM模块。

· Mezz卡1连接1、4槽位的互联模块。

· Mezz卡2连接2、5槽位的互联模块。

· Mezz卡3连接3、6槽位的互联模块。

图1-3 互联模块与刀片服务器机箱Mezz卡内部连接方式（1）

互联模块与刀片服务器机箱Mezz卡内部连接方式二，如图1-4所示。其中：

· 板载网卡连接到主用和备用OM模块。

· Mezz卡1和Mezz卡4连接1、4槽位的互联模块。

· Mezz卡2和Mezz卡5连接2、5槽位的互联模块。

· Mezz卡3和Mezz卡6连接3、6槽位的互联模块。

图1-4 互联模块与刀片服务器机箱Mezz卡内部连接方式（2）

2 VMware方案推荐

2.1 VMware vSphere

VMware vSphere 是一套由ESXi、vSphere 客户端和 vCenter 等组成的软件。ESXi是基于VMkernel、独立于OS的管理程序，也是 VMware vSphere 6.X许可的独有管理程序。VMware®vCenter Server™是一个集中式管理应用程序，可让您集中管理虚拟机和ESXi主机。

本文推荐2种配置方式满足如下需求：

· 每个刀片服务器上的2个硬盘通过存储控制卡组成RAID1，并安装VMware ESXi 6.X操作系统。

· 在每个刀片服务器上创建若干个虚拟机，并在其中一个刀片服务器上安装VMware vCenter Server Application管理软件，统一管理所有刀片服务器上虚拟机。

· 管理网、业务网、存储网均可正常工作和访问，并实现冗余备份。

2.1.1 以FC方式连接存储的配置方式

如图2-1所示，图中H3C B16000机箱安装多个刀片服务器作为计算节点，每个刀片服务器上安装多个硬盘和1张存储控制卡，使用2个硬盘组建RAID作为系统盘；其他硬盘可做数据盘。

计算节点通过板载千兆网卡和OM模块相连，2个OM模块通过内部系统组建IRF提升可靠性，并连接到外部管理网；

计算节点通过FC网卡的2个端口分别和2个FC互联模块相连，计算节点上通过多链路形成可靠性配置，并连接到存储网。

计算节点通过以太网卡的2个端口分别和2个以太互联模块相连，端口采用主备模式聚合功能与以太互联模块进行连接，2个以太互联模块通过内部端口组建IRF提升可靠性，并通过外部端口连接到业务网。

图2-1 FC方式架构图

2.1.2 以FCOE方式连接存储的配置方式

如图2-2所示，图中H3C B16000机箱安装多个刀片服务器作为计算节点，每个刀片服务器上安装多个硬盘和1张存储控制卡，使用2个硬盘组建RAID作为系统盘；其他硬盘可做数据盘。

计算节点通过板载千兆网卡和OM模块相连，2个OM模块通过内部系统组建IRF提升可靠性，并连接到外部管理网；

计算节点通过融合网卡的2个端口分别和2个融合互联模块相连，计算节点使用FCoE技术，通过多链路形成可靠性配置，并连接到存储网。

计算节点通过融合网卡的另外2个端口分别和2个融合互联模块相连，端口采用主备模式的聚合功能与融合互联模块进行连接，2个融合互联模块通过内部端口组建IRF提升可靠性，并连接到业务网。

图2-2 FCoE方式架构图

2.2 部署虚拟化

2.2.1 硬件可选配置

表2-1 硬件可选配置

项目	硬件可选型号
刀片服务器	· H3C UniServer B5700 G3 · H3C UniServer B5800 G3 · H3C UniServer B7800 G3
OM模块	OM100
互联模块	以太/融合互联模块： · H3C UniServer BX720E · H3C UniServer BX720EF
互联模块	FC互联模块： · H3C UniServer BX608FE
Mezz网卡	CNA/以太（融合）网卡： · NIC-ETH521i-Mb-410G（融合网卡） · NIC-ETH522i-Mb-210G（融合网卡） · NIC-ETH561i-Mb-4*10G（以太网卡）
Mezz网卡	FC网卡： · NIC-FC680i-Mb-2*16G
存储控制卡	· RAID-P5408-Mf-8i-4GB · HBA-H5408-Mf-8i · RAID-P2404-Mf-4i（仅适用B5700 G3） · RAID-P4408-Mf-8i（仅适用B5800G3和B7800G3） · PSTH-PT104r-4L-F · PSTH-PT108r-8L-F
硬盘	产品配套硬盘即可

2.2.2 配置BIOS

H3C服务器在出厂时，已设置为最优的配置，我们强烈推荐您使用默认的BIOS设置。

如果您之前对BIOS设置做过修改，或者您不确认BIOS是否是默认配置。可以在服务器

BIOS POST过程中按下ESC/DEL键，进入BIOS SETUP菜单，按下F3加载默认配置。

下图是使用VMware系统时的BIOS推荐设置，您可以进入BIOS SETUP菜单中检查您的

配置是否已设置为推荐值。

图2-3 BIOS选项推荐值

BIOS选项	推荐值
Hyper-Threading[ALL]	Enabled
Monitor/Mwait	Enabled
VMX	Enabled
Intel VT for Direct I/O(VT-d)	Enabled
Interrupt Remapping	Enabled
Hardware Prefetcher	Enabled
Ajacent Cache Prefetch	Enabled
DCU Stramer Prefetcher	Enabled
DCU IP Prefetcher	Enabled