国家 / 地区

H3C UniServer B16000刀箱上部署VMware的最佳实践-6W100

Copyright © 2019 新华三技术有限公司 版权所有,保留一切权利。

非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。

除新华三技术有限公司的商标外,本手册中出现的其它公司的商标、产品标识及商品名称,由各自权利人拥有。

本文档中的信息可能变动,恕不另行通知。



1 简介

1.1  产品概述

H3C UniServer B16000刀片服务器(以下简称B16000刀箱)一体机是新华三技术有限公司自主研发的新一代融合IT基础设施平台,集计算、存储、交换、管理、多业务扩展功能于一体,专为数据中心、云计算、虚拟化、高性能计算HPC等场景而设计。

图1-1 H3C UniServer B16000刀片服务器外观

 

H3C B16000的可组合基础架构与VMware®vSphere相结合,可实现最佳的虚拟化体验。

·   融合架构

集计算、网络、存储、电源、风扇、多种管理于一体;提供了简化的管理、强大的处理能力、超强的网络带宽,高效的供电和散热。

·   领先的技术规格

支持多资源池化;多交换平面,丰富的交换模块,提供多业务应用。

·   丰富的可管理特性

支持集中式设备管理,管理模块可以统一监管系统中的所有部件,相比传统机架服务器,可大大降低管理组网的复杂度和成本,同时支持多框级联集中管理,方便客户运维。

·   高可靠性

所有核心模块均支持N+1N+N备份,支持故障无缝切换。

无缘背板优化设计,减少了走线密度,提高背板可靠性,提升了背板信号质量,优化背板性能。

采用超高能效电源,支持智能供电。

支持链路聚合及系统级设备堆叠,提供多种模式的可靠性保证及应用模式选项。

·   快速部署及自动化运维

支持丰富的快速部署特性和智能运维。

1.2  配套硬件

H3C UniServer B16000刀箱包含各种功能的部件形状和大小提供多种选项满足从通用目的到关键任务的各种工作负载需求。下文介绍H3C UniServer B16000刀箱中的核心部件。

1.2.1  刀片服务器

表1-1 刀片服务器规格

型号

支持安装数量

服务器类型

描述

H3C UniServer B5700 G3

16

2路半宽单高

·  应用型刀片服务器,适用于高密度,云计算,虚拟化等一般企业应用工作负载

·  支持2Intel skylake至强系列处理器,支持单路CPU配置

·  支持DDR4 2666MT/s内存,24DIMM插槽

·  前面板3个硬盘槽位,最大支持4个存储设备,支持SATA/SAS/Nvme硬盘,M.2适配盒

·  1x16 PCIe3.0 Riser扩展插槽

·  最多3MEZZPCIe3.0 x16)扩展槽位

·  一个存储控制卡扩展槽位(支持Raid卡、HBA卡、4port SATA 直通卡)

·  板载支持2Micro SD卡槽位

H3C UniServer B5800 G3

8

2路全宽单高

·  应用型刀片服务器,适用于高密度,存储优化,云计算,虚拟化等一般企业应用工作负载

·  支持2Intel skylake至强系列处理器,支持2CPU配置

·  支持DDR4 2666MT/s内存,24DIMM插槽

·  14个硬盘槽位,最大支持15个存储设备(slot0支持双M.2适配盒)

·  最多3MEZZPCIe3.0 x16)扩展插槽

·  1个存储控制卡扩展连接器

·  主板板载2SATA  M.2 槽位

H3C UniServer B7800 G3

8

4路全宽单高

·  高性能刀片服务器,适用于高密度计算,关键业务和OLTP等企业应用工作负载

·  最高支持4Intel skylake至强系列处理器(5系及以上),支持2CPU配置

·  支持DDR4 2666MT/s内存,48DIMM插槽

·  前面板5个硬盘槽位,最大支持6个存储设备。支持SATA/SAS/Nvme/M.2

·  2x16 PCIe3.0 Riser扩展插槽(支持LP或者P6 GPU扩展)

·  最多6MEZZPCIe3.0 x16)扩展插槽

·  1个存储控制卡扩展连接器

·  主板板载两个SATA M.2 槽位(支持直通、Raid卡、HBA卡)

·  板载支持2Micro SD卡槽位

 

1.2.2  管理模块

管理模块的型号为H3C Unisever OM100。刀箱最多支持安装2个管理模块,互为备份。管理模块主要实现2个功能:

·   刀箱的集中式设备管理(管理平面)

管理模块提供2GE管理口,实现刀箱各设备的集中管理和监控,包括刀片服务器、互联模块、AE引擎模块、LCD液晶显示模块、电源模块、风扇模块,同时可以对整机框实现智能功耗管理和系统级智能调速。管理模块至少需要配置1块,选配两块可以实现冗余,提高设备可靠性。

·   集成GE Switch(业务)

除了做刀箱的集中式设备管理,管理模块集成的GE switch同时也兼做一个GE的业务交换平面,刀片服务器板载双端口GE网卡,管理模块集成GE的交换机,从这个角度讲刀箱可以说是3+1=4交换平面,6+2=8互联模块(管理模块集成2GE的互联模块)。

管理模块面板的业务口(2*10G+2*Ge)和管理口(2*Ge)相互隔离。

1.2.3  互联模块

1. 互联模块规格

表1-2 互联模块规格

型号

支持安装数量

描述

H3C UniServer BX720E

6

16*10GE+4*40GE以太网交换机(支持16个万兆光口+440G光口)

H3C UniServer BX720EF

6

16*10GE+4*40GE融合网络交换机(支持8FC端口+8个万兆光口+440G光口)

H3C UniServer BX608FE

6

8*16G FC网络交换机(支持8FC端口)

 

·   H3C UniServer BX720E

BX720E交换模块,作为机箱内部交换控制模块,支持安装在机箱后部16的互联模块槽位中,为机箱整体系统内部各个相关模块提供数据交换功能,并集中对外提供数据接口用于连接外部设备。

·   H3C UniServer BX720EF

BX720EF融合交换模块,作为机箱内部融合交换控制模块,支持安装在机箱后部16的互联模块槽位中,为机箱整体系统内部各个相关模块提供数据交换功能,并集中对外提供数据接口用于连接外部设备。外部接口类型同时包括:以太网接口及FC接口。

·   H3C UniServer BX608FE

BX608FE FC交换模块,作为机箱内部FC交换控制模块,支持安装在机箱后部16的互联模块槽位中,为机箱整体系统内部各个相关模块提供数据交换功能,并集中对外提供数据接口用于连接外部设备。

2. 互联模块可靠性

·   设备冗余

机箱支持满配6个互联模块。其中,142536槽位的互联模块,通过互联模块内部端口两两互联,形成三对,每对可作为一个交换平面,用户可根据业务需求,将成对的互联模块配置成主备。

图1-2 互联模块槽位图

机箱_17

 

·   链路冗余

互联模块通过中置背板,实现与各个刀片服务器的内部互联,同时通过互联模块的面板接口,为各个刀片服务器提供上行互联接口。每个互联模块用两个内部接口连接1个刀片服务器,这两个内部端口可互为主备,确保机箱内部网络的可靠性。

3. 互联模块内部连接关系

互联模块与刀片服务器机箱Mezz卡内部连接方式一,如1-3所示。其中:

·   板载网卡连接到主用和备用OM模块。

·   Mezz1连接14槽位的互联模块。

·   Mezz2连接25槽位的互联模块。

·   Mezz3连接36槽位的互联模块。

图1-3 互联模块与刀片服务器机箱Mezz卡内部连接方式1

 

互联模块与刀片服务器机箱Mezz卡内部连接方式二,如1-4所示。其中:

·   板载网卡连接到主用和备用OM模块。

·   Mezz1Mezz4连接14槽位的互联模块。

·   Mezz2Mezz5连接25槽位的互联模块。

·   Mezz3Mezz6连接36槽位的互联模块。

图1-4 互联模块与刀片服务器机箱Mezz卡内部连接方式2

 


2 VMware方案推荐

2.1  VMware vSphere

VMware vSphere 是一套由ESXivSphere 客户端和 vCenter 等组成的软件。ESXi是基于VMkernel独立于OS的管理程序,也是 VMware vSphere 6.X许可的独有管理程序。VMware®vCenter Server™是一个集中式管理应用程序,可让您集中管理虚拟机和ESXi主机。

本文推荐2种配置方式满足如下需求:

·   每个刀片服务器上的2个硬盘通过存储控制卡组成RAID1,并安装VMware ESXi 6.X操作系统。

·   在每个刀片服务器上创建若干个虚拟机,并在其中一个刀片服务器上安装VMware vCenter Server Application管理软件,统一管理所有刀片服务器上虚拟机。

·   管理网、业务网、存储网均可正常工作和访问,并实现冗余备份。

2.1.1  FC方式连接存储的配置方式

2-1所示,图中H3C B16000机箱安装多个刀片服务器作为计算节点,每个刀片服务器上安装多个硬盘和1张存储控制卡,使用2个硬盘组建RAID作为系统盘;其他硬盘可做数据盘。

计算节点通过板载千兆网卡和管理网板相连,2个管理网板通过内部系统组建IRF提升可靠性,并连接到外部管理网;

计算节点通过FC网卡的2个端口分别和2FC互联模块相连,计算节点上通过多链路形成可靠性配置,并连接到存储网。

计算节点通过以太网卡的2个端口分别和2个以太互联模块相连,端口采用主备模式聚合功能与以太互联模块进行连接,2个以太互联模块通过内部端口组建IRF提升可靠性,并通过外部端口连接到业务网。

图2-1 FC方式架构图

 

2.1.2  FCOE方式连接存储的配置方式

2-2所示,图中H3C B16000机箱安装多个刀片服务器作为计算节点,每个刀片服务器上安装多个硬盘和1张存储控制卡,使用2个硬盘组建RAID作为系统盘;其他硬盘可做数据盘。

计算节点通过板载千兆网卡和管理网板相连,2个管理网板通过内部系统组建IRF提升可靠性,并连接到外部管理网;

计算节点通过融合网卡的2个端口分别和2个融合互联模块相连,计算节点使用FCoE技术,通过多链路形成可靠性配置,并连接到存储网。

计算节点通过融合网卡的另外2个端口分别和2个融合互联模块相连,端口采用主备模式的聚合功能与融合互联模块进行连接,2个融合互联模块通过内部端口组建IRF提升可靠性,并连接到业务网。

图2-2 FCoE方式架构图

 

2.2  部署虚拟化

2.2.1  硬件可选配置

表2-1 硬件可选配置

项目

硬件可选型号

刀片服务器

·  H3C UniServer B5700 G3

·  H3C UniServer B5800 G3

·  H3C UniServer B7800 G3

OM模块

OM100

互联模块

以太/融合互联模块:

·  H3C UniServer BX720E

·  H3C UniServer BX720EF

FC互联模块:

·  H3C UniServer BX608FE

Mezz网卡

CNA/以太融合网卡

·  NIC-ETH521i-Mb-4*10G(融合网卡)

·  NIC-ETH522i-Mb-2*10G(融合网卡)

·  NIC-ETH561i-Mb-4*10G(以太网卡)

FC网卡:

·  NIC-FC680i-Mb-2*16G

存储控制卡

·  RAID-P5408-Mf-8i-4GB

·  HBA-H5408-Mf-8i

·  RAID-P2404-Mf-4i仅适用B5700 G3

·  RAID-P4408-Mf-8i(仅适用B5800G3B7800G3

·  PSTH-PT104r-4L-F

·  PSTH-PT108r-8L-F

硬盘

产品配套硬盘即可

 

2.2.2  配置BIOS

H3C服务器在出厂时,已设置为最优的配置,我们强烈推荐您使用默认的BIOS设置。

如果您之前对BIOS设置做过修改,或者您不确认BIOS是否是默认配置。可以在服务器

BIOS POST过程中按下ESC/DEL键,进入BIOS SETUP菜单,按下F3加载默认配置。

下图是使用VMware系统时的BIOS推荐设置,您可以进入BIOS SETUP菜单中检查您的

配置是否已设置为推荐值。

图2-3 BIOS选项推荐值

BIOS选项

推荐值

Hyper-Threading[ALL]

Enabled

Monitor/Mwait

Enabled

VMX

Enabled

Intel VT for Direct I/O(VT-d)

Enabled

Interrupt Remapping

Enabled

Hardware Prefetcher

Enabled

Ajacent Cache Prefetch

Enabled

DCU Stramer Prefetcher

Enabled

DCU IP Prefetcher

Enabled

 

2.2.3  安装操作系统

安装操作系统的具体步骤,请参见《H3C服务器 操作系统安装指导》。

2.2.4  操作系统优化设置

为了在ESXi系统下实现最佳的性能和稳定性,建议您对系统进行如下优化设置。

1. Power Management Policy设置

把系统的电源管理策略设置为“高性能”可以提升系统的性能和稳定性,方法如下:

(1)       登录EXSi Web管理界面。

(2)       选择[管理/硬件/电源管理],单击“更改策略”。

(3)       选择“高性能”,确定。

说明

要实现更改电源测试设置功能,您必须在服务器BIOS中将“Power Performance Tuning”选项设置为“OS Control”。

 

图2-4 设置Power Management Policy

 

2. 在系统下关闭C state

关闭CPUC state可以获得更好的性能,在ESXi系统下禁用C state的方法如下:

(1)       登录EXSi Web管理界面。

(2)       选择[管理/系统/高级设置],在搜索栏输入Power,找到Power.CStateMaxLatency项。

图2-5 系统下关闭C state

 

(3)       右键单击Power.CStateMaxLatency选择编辑选项。

图2-6 选中Power.CStateMaxLatency参数

 

(4)       设置新值为0,保存即可。

图2-7 设置Power.CStateMaxLatency0

 


3 问题处理与信息收集

在使用VMware系统过程中遇到任何问题,请收集VMware系统日志和服务器硬件日志。

3.1  VMware系统日志收集方法

有如下三种方法收集VMware系统日志。

·   通过vSphere Client或者vSphere Web Client收集系统日志

具体方法请参见VMware官网中的Collecting diagnostic information for VMware ESX/ESXi (653)

·   通过vm-support命令收集系统日志

具体方法请参见VMware官网中的vm-support” command in ESX/ESXi to collect diagnostic information (1010705)

·   通过PowerCLI命令收集系统日志

具体方法请参见VMware官网中的Collecting diagnostic information for VMware vCenter Server and ESX/ESXi using the vSphere PowerCLI (1027932)

3.2  服务器的硬件日志收集方法

刀片服务器支持通过事件日志、HDM日志和SDS日志来定位硬件问题。收集日志的详细步骤请参见HDM联机帮助。

3.3  互联模块日志收集方法

互联模块支持通过系统日志、诊断日志和安全日志来定位问题。请通过FTP连接互联模块获取日志文件。