手册下载
AD-Campus 6.5
统一数字底盘及组件部署指导
资料版本:5W101-20231226
Copyright © 2023 新华三技术有限公司 版权所有,保留一切权利。
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。
除新华三技术有限公司的商标外,本手册中出现的其它公司的商标、产品标识及商品名称,由各自权利人拥有。
本文档中的信息可能变动,恕不另行通知。
目 录
统一数字底盘支持多种场景组件部署,本文仅介绍园区网解决方案场景组件的部署,如需部署其它场景组件,请咨询对应产品研发人员或者用服。
· H3Linux:H3C自研的Linux操作系统。
· Matrix:基于Kubernetes,实现了对Docker容器的编排调度。主要用于Kubernetes集群的搭建,微服务的部署,以及系统、Docker容器、微服务等的运维监控。
· Kubernetes:简称K8s,是一个开源的容器编排引擎,用于对容器化应用进行自动化部署、扩缩和管理。
· Docker:是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化。
· RAID:磁盘阵列(Redundant Arrays of Independent Disks),有“独立磁盘构成的具有冗余能力的阵列”之意。磁盘阵列由很多价格便宜的磁盘组合成,是一个容量巨大的磁盘组,利用个别磁盘提供数据所产生的加成效果提升整个磁盘系统的性能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。
· GUI:图形用户界面(Graphical User Interface),是指采用图形方式显示的计算机操作用户界面。
统一数字底盘基于Matrix平台安装,支持一个Master节点的单机部署模式和三个Master节点+N个Worker节点(N≥0)的集群部署模式,集群部署模式下支持Worker节点扩容。一般园区解决方案场景下不部署SeerAnalyzer时,无需配置Worker节点。单机部署模式和集群部署模式均支持物理服务器部署或虚拟机部署。
统一数字底盘及各业务场景的硬件配置需求,请参考《AD-NET解决方案硬件配置指导》中的硬件配置指导及磁盘划分。
· 虚拟机分配给统一数字底盘的一个vCPU需要独占一个物理CPU核,CPU要求与物理服务器部署统一数字底盘时保持一致。分配给统一数字底盘的内存和磁盘必须符合推荐容量要求且确保有对应容量的物理资源,禁止启用超配模式(超额分配虚机资源),否则会导致统一数字底盘环境不稳定。
· 从PLAT 2.0 (E0706)版本开始,etcd允许非独立磁盘部署。推荐安装etcd的磁盘与安装系统及其它组件的磁盘分别对应不同的物理硬盘,若无法满足,则最低配置为7200转HDD盘+1G Raid卡,推荐使用SSD盘。
· 在使用VMware管理的虚拟机上部署统一数字底盘和组件时,需要在虚拟机所在的主机上开启网卡混杂模式和伪传输功能;若组件网络中需要划分VLAN,需要将主机网卡的端口属性配置为允许所有VLAN通过。
· 使用CAS部署时,若将系统盘挂载在IDE硬盘上,则禁止将etcd挂载在高速硬盘上。
· 如需部署SeerAnalyzer,请准备独立数据盘,并参考《H3C SeerAnalyzer 安装部署指导》进行磁盘分区规划。
园区解决方案场景下所涉及的分区及默认大小如表3-1所示,必要分区在部署底盘过程中会根据最低容量自动生成,用户也可以根据自身需求手工调整分区大小。
表3-1 2.4TB系统磁盘+ etcd分区划分(物理服务器-集群部署模式)
挂载点 |
最低容量 |
适用模式 |
备注 |
/var/lib/docker |
400 GiB |
BIOS模式/UEFI模式 |
磁盘空间充足时,可适当扩容 |
/boot |
1024 MiB |
BIOS模式/UEFI模式 |
- |
swap |
1024 MiB |
BIOS模式/UEFI模式 |
- |
/var/lib/ssdata |
450 GiB |
BIOS模式/UEFI模式 |
磁盘空间充足时,可适当扩容 |
/ |
400 GiB |
BIOS模式/UEFI模式 |
磁盘空间充足时,可适当扩容,业务数据不建议放在根目录 |
/boot/efi |
200 MiB |
UEFI模式 |
选择UEFI模式时,需要创建该分区 |
biosboot |
2048KiB |
BIOS模式 |
- |
/var/lib/etcd |
50 GiB |
BIOS模式/UEFI模式 |
· 建议挂载一个单独的磁盘 · Master节点需要此分区,Worker节点不需要此分区 |
可用空间 |
1205GiB |
- |
剩余可用空间系统将自动划分给GlusterFS分区使用 |
系统磁盘总计2.4TB+50GB,以上分配给挂载点分区的容量为1.2TB+50GB,剩余的可用空间系统将自动划分给GlusterFS分区使用,若GlusterFS分区根据实际场景不需要达到1205GiB,则可以手动修改其他分区进行分区大小扩容,减少可用空间的剩余大小。具体空间参见如下注意事项的相关说明。 |
统一数字底盘需部署在H3Linux操作系统上,在H3Linux的镜像文件中集成了操作系统、Matrix等应用软件包。在完成H3Linux操作系统的安装后,将自动安装需要的依赖包及Matrix。因此用户无需手动安装依赖包及Matrix。
用户不需要安装客户端软件,使用浏览器即可访问统一数字底盘。推荐使用的浏览器为Google Chrome 70、Firefox 78及以上版本,最低分辨率显示宽度为1600。
安装环境请参考表3-2中所示的各个检测项目,确保安装统一数字底盘的条件已经具备。
1.园区解决方案场景支持中/英文环境部署。建议用户在最初部署时确认好所需安装的环境是中文还是英文,部署完成后不再进行环境的切换操作。
2. 当前配套的统一数字底盘版本暂不支持精简模式部署园区解决方案组件。
检测项 |
检测标准 |
|
服务器或虚拟机 |
硬件检查 |
请检查硬件是否符合要求(包括CPU、内存、硬盘、网卡等) |
软件检查 |
请检查如下几点: · 操作系统版本符合要求 · 请检查系统时间已配置完成,建议配置 NTP 时间同步,整网使用统一 的时钟源同步时间 · 请确保服务器已配置磁盘阵列 |
|
客户端 |
版本检查 |
请确保浏览器版本符合要求 |
部署统一数字底盘及园区方案组件的IP地址规划如表4-1所示。若用户有部署分析组件需求,请参考《H3C SeerAnalyzer安装部署指导》中对SeerAnalyzer进行网络规划。
统一数字底盘可支持单栈或双栈部署,用户可根据需求自行选择,具体配置请参考《H3C 统一数字底盘部署指导-Exxxx》。园区控制组件SeerEngine-Campus仅支持单栈部署,具体配置请参考《SeerEngine-Campus组件部署指导-EXXXX》》
IP地址规划 |
作用 |
备注 |
Master节点1 IPv4 |
为安装了H3Linux操作系统的Master节点分配的IPv4地址 |
部署IPv4必选项(单机部署模式只需要一个Master节点) 加入同一集群的所有Master节点的IPv4地址必须处于同一网段 |
Master节点2 IPv4 |
为安装了H3Linux操作系统的Master节点分配的IPv4地址 |
|
Master节点3 IPv4 |
为安装了H3Linux操作系统的Master节点分配的IPv4地址 |
|
Master节点1 IPv6 |
为安装了H3Linux操作系统的Master节点分配的IPv6地址 |
部署IPv6必选项(单机部署模式只需要一个Master节点) 加入同一集群的所有Master节点的IPv6地址必须处于同一网段 |
Master节点2 IPv6 |
为安装了H3Linux操作系统的Master节点分配的IPv6地址 |
|
Master节点3 IPv6 |
为安装了H3Linux操作系统的Master节点分配的IPv6地址 |
|
北向业务虚IP(IPv4) |
用于提供集群的北向业务,可使用该地址登录集群的Web页面 |
IPv4环境部署时必选项 北向业务虚IP必须在Master节点所处的IPv4网段内 |
北向业务虚IP(IPv6) |
双栈环境下生效,用于提供集群的北向业务,可使用该地址登录集群的Web页面 |
IPv6环境部署时必选项 北向业务虚IP必须在Master节点所处的IPv6网段内 |
集群内部虚IP |
用于集群内部通信的IP地址 |
必选项 集群内部虚IP必须在Master节点所处的网段内 |
Worker节点IP |
安装H3Linux操作系统 |
可选项 Worker节点的IP地址必须与加入同一集群内的Master节点的IP处于同一网段 |
SeerEngine-Campus节点IP |
控制组件的节点地址 |
|
SeerEngine-Campus集群IP |
控制组件的集群地址,用于提供TFTP服务 |
SeerEngine-Campus的集群地址 |
vDHCP集群IP |
vDHCP的集群地址 |
vDHCP的集群地址,实际不使用 |
vDHCP |
DHCP服务器的节点地址 |
|
vDHCP IPv6 |
DHCP服务器的IPv6地址 |
|
EIA |
EIA服务器的IPv4地址 |
复用集群北向业务虚地址 (IPv4) |
EIA IPv6 |
EIA服务器的IPv6地址 |
复用集群北向业务虚地址 (IPv6) |
在本文中以集群环境的搭建,统一数字底盘和控制组件使用不同的网卡时,如下地址作为规划示例:
表4-2 规划示例
规划项 |
数据示例 |
说明 |
Master节点IPv4网段(网关) |
100.1.0.0/24(100.1.0.1) |
集群中节点使用的IPv4网段地址 |
Master节点1 IPv4 |
100.1.0.10 |
集群中节点1的IPv4地址 |
Master节点2 IPv4 |
100.1.0.11 |
集群中节点2的IPv4地址 |
Master节点3 IPv4 |
100.1.0.12 |
集群中节点3的IPv4地址 |
Master节点IPv6网段(网关) |
190::/64(190::1) |
集群中节点使用的IPv6网段地址 |
Master节点1 IPv6 |
190::10 |
集群中节点1的IPv6地址 |
Master节点2 IPv6 |
190::11 |
集群中节点2的IPv6地址 |
Master节点3 IPv6 |
190::12 |
集群中节点3的IPv6地址 |
北向业务虚IP(IPv4) |
100.1.0.100 |
集群与外部通信的IPv4地址 |
北向业务虚IP(IPv6) |
190::195 |
集群与外部通信的IPv6地址 |
集群内部虚IP |
100.1.0.98 |
集群内部通信的地址 |
SeerEngine-Campus&vDHCP的IPv4网段(网关) |
110.1.0.0/24(110.1.0.1) |
SeerEngine-Campus&vDHCP使用的IPv4网段地址 |
SeerEngine-Campus节点IP |
Node1:110.1.0.101 Node2:110.1.0.102 Node3:110.1.0.103 |
SeerEngine-Campus集群包含的三个节点地址 |
SeerEngine-Campus集群IP |
110.1.0.100 |
SeerEngine-Campus的集群地址 |
vDHCP集群IP |
110.1.0.104 |
vDHCP的集群地址,实际不使用 |
vDHCP |
Node1:110.1.0.105 Node2:110.1.0.106 |
vDHCP服务器使用的两个节点IPv4地址 |
vDHCP的IPv6网段(网关) |
130::AAAA |
vDHCP使用的IPv6网段地址 |
vDHCP集群IPv6 |
130::5 |
vDHCP的集群IPv6地址,实际不使用 |
vDHCP IPv6 |
Node1:130::6 Node2:130::7 |
vDHCP服务器使用的两个节点IPv6地址 |
EIA |
100.1.0.100 |
EIA服务器的IPv4地址 |
EIA IPv6 |
190::195 |
EIA服务器的IPv6地址 |
统一数字底盘E0711及后续发布的全量版本,提供ISO以及所有的组件安装包,后续发布的补丁版本,提供部分应用组件的升级包。(以E0711为例进行介绍,具体版本请参考《AD-Campus解决方案*各PDT版本配套表》。)
· 若当前环境需升级至E0711及后续版本,则在当前版本上使用E0711及以上版本提供的安装包升级H3Linux操作系统依赖包(按需)、Matrix及统一数字底盘的应用组件即可。具体的升级操作请参考《H3C 统一数字底盘部署指导-Exxxx》。
· 如果是新安装的环境,则需要使用E0711及后续版本配套的ISO进行操作系统的安装,部署完集群后在Matrix上批量上传E0711及以上版本配套的园区解决方案所需的统一数字底盘相关组件,上传后可以同时部署。
详细的统一数字底盘应用包介绍,请参考《H3C统一数字底盘部署指导》中的“应用安装包说明”章节。其中,部署SeerEngine-Campus所需的统一数字底盘应用安装包说明如表4-3所示。
表4-3 部署SeerEngine-Campus所需的统一数字底盘应用安装包说明
安装包名称 |
功能说明 |
说明 |
依赖关系 |
common_H3Linux-<version>.iso |
H3C自研的Linux操作系统的安装包 |
必选 |
|
common_PLAT_GlusterFS_2.0_<version>.zip |
提供产品内本地共享存储功能 |
必选 |
|
general_PLAT_portal_2.0_<version>.zip |
门户、统一认证、用户管理、服务网关、帮助中心 |
必选 |
|
general_PLAT_kernel_2.0_<version>.zip |
权限、资源身份、License、配置中心、资源组、日志服务 |
必选 |
|
general_PLAT_kernel-base_2.0_<version>.zip |
告警、访问参数模板、监控模板、报表、邮件短信转发服务 |
必选 |
|
general_PLAT_network_2.0_<version>.zip |
基础网管(网络资源、网络性能、网络拓扑、iCC) |
必选 |
kernel-base |
general_PLAT_network-ext_2.0_<version>.zip |
SSH代理登录 |
可选 |
network |
general_PLAT_Dashboard_2.0_<version>.zip |
大屏框架 |
必选 |
kernel-base |
general_PLAT_widget_2.0_<version>.zip |
平台大屏Widget |
必选 |
Dashboard |
general_PLAT_websocket_2.0_<version>.zip |
南向Websocket功能,新自动化功能 |
必选 |
|
general_PLAT_oneclickcheck_2.0_<version >.zip |
一键巡检 |
必选 |
kernel-base |
general_PLAT_netconf_2.0 _<version>.zip |
Netconf通道服务、netconf配置的合法性检查服务,提供YANG能力集 |
可选 |
|
统一数字底盘基于Matrix平台安装,支持一个Master节点的单机部署模式和三个Master节点的集群部署模式。
· 从PLAT 2.0 (E0706)版本开始,etcd允许非独立磁盘部署。推荐安装etcd的磁盘与安装系统及其它组件的磁盘分别对应不同的物理硬盘,若无法满足,则最低配置为7200转HDD盘+1G Raid卡,推荐使用SSD盘。
· 推荐将服务器的下一次启动模式配置为UEFI模式。
· 安装操作系统时,请勿同时使用KVM给多个服务器安装同一镜像。
· H5 KVM性能不稳定,可能出现加载镜像停止或缓慢等问题,建议使用Java KVM进行安装。
· 安装过程中异常断电会导致部分服务安装失败,请重新安装以保证功能完整性。
· 使用ISO文件部署自动分区时,限定使用第一块逻辑盘作为系统盘(首先用做RAID的那块磁盘),且逻辑盘大小要满足系统盘的要求。
· 在使用VMware管理的虚拟机上部署统一数字底盘和组件时,需要在虚拟机所在的主机上开启网卡混杂模式和伪传输功能;若组件网络中需要划分VLAN,需要将主机网卡的端口属性配置为允许所有VLAN通过。
· 统一数字底盘安装部署过程中,请勿进行开启或关闭防火墙的操作。
· 集群部署完成后,请勿修改系统时间,否则可能导致集群异常。
在版本路径下获取common_H3Linux-<version>.iso镜像,其中version为软件版本号。该镜像文件集成了操作系统、Matrix等应用软件包。在完成H3Linux 操作系统的安装后,将自动安装需要的依赖包及Matrix。因此用户无需手动安装依赖包及Matrix。
H3Linux操作系统的相关通用配置可以参考CentOS 7.6相关文档。
· 当安装环境存在两张及以上网卡时,北向业务虚IP使用的网段必须和ifconfig命令查看到的第一块物理网卡的网段保持一致,否则会导致集群部署失败或Pod无法启动。
· 部分服务器(如H3C R4900 G5)不兼容CentOS 7.9以下,需要使用统一数字底盘H3linux2.0(欧拉版本,如common_Linux-2.0.2_V9R1B07D11_x86.iso )部署操作系统,当前仅E0711及之后的版本提供H3linux2.0。该ISO中未集成Matrix,需要用户手工上传并安装Matrix。
本节以从未安装过任何操作系统的服务器为例,请使用统一数字底盘安装包中的Linux ISO文件安装操作系统;在操作系统安装成功后,系统将自动安装Matrix。
如果服务器已安装操作系统,通过本章节的步骤安装H3Linux后,会替换原来的操作系统,请在安装前进行数据备份,以免造成数据丢失。
(1) 使用服务器的远程控制台通过虚拟光驱加载安装软件包的ISO文件。
(2) 设置服务器从光盘启动,并重启服务器,等待ISO加载完成后,进入语言选择界面。
(3) 如图5-1所示,选择安装语言,此处以“中文/简体中文(中国)”为例,单击<继续>按钮,进入安装信息摘要页面。
(4) 在本地化区域点击“键盘”链接,设置键盘布局为“汉语”,如图5-2所示。
(5) 在软件区域单击“License Server”链接进入License Server界面,如图5-3所示。用户可按需勾选,确认是否安装License Server。
(6) 如图5-4所示,在系统区域点击“安装位置”链接,进入安装目标位置页面。
(7) 如图5-5所示,在本地标准磁盘区域系统默认选择两块目标磁盘,在“其它存储选项区域”系统会自动选择分区为“我要配置分区(I)”后,单击<完成>按钮。
若此处etcd没有单独挂在的磁盘,则本地标准磁盘位置仅会展示一块目标磁盘。
(8) 以服务器的系统磁盘为2.4TB+50GB为例,单击了步骤(7)中<完成>按钮后。系统会自动创建操作系统分区,如图5-6所示。操作系统分区的具体信息如表5-1所示。支持手动修改配置信息:
a. 点击“添加新挂载点”图标,在弹出窗口中进行如下配置后,单击<添加挂载点>按钮。
- 挂载点:输入挂载点目录名称。
- 期望容量:输入磁盘容量并指定容量单位,例如“GiB”、“MiB”。
b. 单击<修改…>按钮,在弹出的配置挂载点窗口中,选择分区所挂载的磁盘后,单击<选择>按钮。
· 系统只会自动创建园区场景的必须分区,且每个分区以最低分区大小进行配置,若要部署SeerAnalyzer,则需要手动进行SeerAnalyzer所需分区的划分。若要扩容分区,则需要手动修改各个分区的大小。
· 若环境中使用两块磁盘,系统会默认将“/var/lib/etcd”挂载在第2块磁盘上(磁盘容量50GB及以上),其余分区挂载在第一块磁盘,故限定使用第一块逻辑盘作为系统盘,且逻辑盘大小要满足系统盘的要求。
· 目前支持VMware ESXi 6.7.0和H3C CAS-E0706。使用CAS部署时,若将系统盘挂载在IDE硬盘上,则禁止将etcd挂载在高速硬盘上。
· 如需部署SeerAnalyzer,请准备独立数据盘,数据盘的磁盘分区规划请参考《H3C SeerAnalyzer安装部署指导》,系统盘与etcd盘的磁盘分区规划参考本文表5-1,若表5-1与《H3C SeerAnalyzer安装部署指导》中关于系统盘与etcd盘的磁盘分区有差异请联系用服人员。
· SeerAnalyzer从E6311版本开始对数据盘分区增加了强校验,若用户需要部署E6311版本及以上的分析组件,则需要在部署iso时注意增加对分析组件所使用的磁盘分区,具体分区请参考《H3C SeerAnalyzer安装部署指导》。
· 安装H3linux2.0系统时,系统分区暂不支持自动分区,需要用户进行手工分区
表5-1 2.4TB+50GB系统磁盘分区划分(物理服务器-集群部署模式)
挂载点 |
最低容量 |
适用模式 |
备注 |
/var/lib/docker |
400 GiB |
BIOS模式/UEFI模式 |
磁盘空间充足时,可适当扩容 |
/boot |
1024 MiB |
BIOS模式/UEFI模式 |
- |
swap |
1024 MiB |
BIOS模式/UEFI模式 |
默认1024MiB即可,若需部署SeerAnalyzer则此处需要分配4GiB |
/var/lib/ssdata |
450 GiB |
BIOS模式/UEFI模式 |
磁盘空间充足时,可适当扩容 |
/ |
400 GiB |
BIOS模式/UEFI模式 |
磁盘空间充足时,可适当扩容,业务数据不建议放在根目录 |
/boot/efi |
200 MiB |
UEFI模式 |
- |
biosboot |
2048KiB |
BIOS模式 |
- |
/var/lib/etcd |
50 GiB |
BIOS模式/UEFI模式 |
• 建议挂载一个单独的磁盘 • Master节点需要此分区,Worker节点不需要此分区 |
可用空间 |
1205GiB |
- |
剩余可用空间系统将自动划分给GlusterFS分区使用 |
系统磁盘总计2.4TB+50GB,以上分配给挂载点分区的容量为1.2TB,剩余的可用空间系统将自动划分给GlusterFS分区使用,若GlusterFS分区根据实际场景不需要达到1205GiB,则可以手动修改其他分区进行分区大小扩容,减少可用空间的剩余大小。具体空间参见如下注意事项的相关说明。 |
· 园区场景的磁盘分区作用及容量大小说明如下:
· /var/lib/docker:与Docker的运行有关,需要根据实际运行情况确定容量大小。理论上需要各业务场景确定,部署组件后增量占用的磁盘容量,在此基础上扩容。园区场景下至少需要分配400G,磁盘空间充足时可适当扩容。
· swap:园区网解决方案场景默认分配1024MiB即可。
· /var/lib/ssdata:供PXC、Kafka、ZooKeeper使用,理论上只有统一数字底盘使用该分区,其它组件若使用,需要在此基础上扩容。园区场景下至少需要分配450G,磁盘空间充足时可适当扩容。
· /boot/efi:系统为UEFI模式时才需配置。
· BIOS Boot:系统为BIOS模式时才需配置,注意此处手动输入时需输入biosboot进行分区。
· /:Matrix使用,包括K8s,Harbor和各组件上传的安装包,该分区的容量和各组件上传的镜像大小有关,需要各组件确定占用的磁盘容量大小,在此基础上扩容。园区场景下至少需要分配400G,磁盘空间充足时可适当扩容。
· GlusterFS:统一数字底盘使用200GB。园区网解决方案场景需要部署控制组件、EIA、EAD、WSM,SeerAnalyzer时,GlusterFS各需要增加50G,需要部署EPS时,GlusterFS需要增加85G。即AD-Campus方案场景下,即AD-Campus方案场景下,若需部署控制组件、EIA、EAD、WSM、EPS和SeerAnalyzer时,需要为GlusterFS应用预留一块至少535GB的空磁盘或分区。
(9) 单击<完成>按钮,弹出更改摘要窗口,如图5-7所示,单击<接受更改>按钮,返回安装信息摘要界面。
(10) 在系统区域点击“管理员帐户(A)”链接,进入选择管理员帐户界面,请根据实际需要选择。
该功能用于选择安装Matrix并创建集群时使用的用户名,如需部署Matrix集群,需为集群中的所有节点选择相同的用户名。选择admin用户时,系统默认同时创建root用户,但是禁用root用户的SSH权限;选择root用户时,该用户拥有所有功能的操作权限,admin用户将不被创建。
· 当前园区解决方案场景下,支持选择admin用户部署或root用户部署
· SMP组件仅支持root用户部署,若用户需部署SMP,则只能选择root用户部署
· admin用户执行命令时,需要在命令前添加sudo指令。若执行的脚本为安装或卸载脚本,需要在命令前添加sudo /bin/bash指令,否则命令执行不成功。
本文如图5-8所示,“选择root用户作为管理员”,单击<完成>按钮,返回安装信息摘要界面。
(11) 在系统区域点击“网络和主机名”链接,进入网络和主机名页面。
(12) 如图5-9所示,在主机名文本框中输入主机名后,单击<应用>按钮。
· 请勿使用默认主机名(localhost、localhost.localdomain、localhost4、localhost4.localdomain4、localhost6、localhost6.localdomain6)。主机名称最长63个字符,仅支持小写字母、数字、连字符和小数点,不能以0开头且全为数字,不能以0x、连字符、小数点开头,以连字符、小数点结尾。
· 建立Matrix集群时,必须保证集群内各个节点的主机名互不相同,且符合主机名的命名规则,否则将会导致集群建立失败。
· Matrix集群部署前,若需要修改节点的主机名,可在节点操作系统的命令行界面,通过“hostnamectl set-hostname hostname”命令进行修改,其中hostname为修改后的主 机名。
· Matrix集群部署完成后,请不要再对操作系统的主机名进行修改。
(13) 在网络和主机名配置页面可配置网卡。支持将多张网卡绑定为一个逻辑网卡,实现本地网卡的冗余、带宽扩容和负载均衡。
¡ 若配置网卡绑定,则可在操作系统安装完成后,在服务器上通过增加配置文件的方式配置,具体方法请参见9 2. 如何配置网卡绑定?。
请确保在创建集群之前,完成网卡绑定的配置。
¡ 若不配置网卡绑定,单击<配置>按钮,在弹出的网络配置窗口中进行网卡配置。点击“常规”页签,勾选“可用时自动链接到这个网络(A)”项,“所有用户都可以连接这个网络”项保持默认勾选,如图5-10所示。
(14) Matrix支持双协议栈。
¡ 如需配置IPv4地址,请点击“IPv4设置”页签,在“方法”下拉框中选择“手动”,在地址区域单击<Add>按钮,配置服务器的IPv4地址(规划的Master节点IP),配置完成后,单击<保存>按钮保存配置,如图5-11所示。
¡ 如只需配置IPv6地址,请先点击“IPv4设置”页签,在“方法”下拉框中选择“禁用”;再点击“IPv6设置”页签,在“方法”下拉框中选择“手动”,在地址区域单击<Add>按钮,配置服务器的IPv6地址(规划的Master节点IP),配置完成后,单击<保存>按钮保存配置。
¡ 使用双协议栈时,请同时配置IPv4和IPv6地址。
· 配置IPv4、IPv6地址时必须指定网关,否则在创建集群时可能出现问题。
· 配置IPv6单栈环境时,必须禁用IPv4地址,否则IPv6地址配置不生效。
· 若部署双栈集群,必须同时配置IPv4和IPv6地址,否则影响集群创建。
· 操作系统安装完成后,建议不要使用ifconfig命令进行关闭、启动网卡的操作,否则可能导致环境异常,推荐使用ifup和ifdown命令。
· Matrix单独使用一个网口,不允许在此网口上配置子接口及子IP。
· Matrix节点其它网口的IP地址,不能和建立集群使用的IP处于同一网段。Matrix节点其他网口的IP地址,不能和建立集群使用的IP处于同一网段。
(15) 在网络和主机名称配置页面,检查IP地址配置和网卡启用状态是否正确后,单击<完成>按钮,返回安装信息摘要页面。
(16) 本地电脑控制端窗口执行命令ping ip_address,检查配置的IP地址是否连通。其中,ip_address为IPv4设置页签下配置的IP地址。若可ping通,则继续进行如下步骤即可,否则返回IPv4设置页签,检查掩码网关等信息是否配置正确。
(17) 单击<开始安装>按钮,开始安装操作系统。
(18) 操作系统安装过程中,系统会根据“管理员帐户”中的配置创建用户,此处若选择admin用户,则需同时配置admin用户的登录密码和root用户的登录密码,此处若选择root用户作为管理员,则只需配置root用户的登录密码。若配置了用户的登录密码,则系统安装完成后,会自动重启完成安装过程;若未配置用户的登录密码,则系统安装完成后,会停留在该页面等待设置密码,此时请设置密码并单击<完成配置>按钮,然后等待系统自动重启即可。
本例仅需为root用户设置密码,如图5-12所示。
图5-12 用户设置
(19) 安装完成后,服务器会自动重启,重启后的界面如图5-13所示。
(20) 登录操作系统,可以通过如图5-14所示命令“systemctl status matrix”验证Matrix服务是否安装成功。若安装成功,则将在Active字段后显示运行信息为active (running)。
图5-14 验证Matrix服务是否安装成功
(21) 登录操作系统,可以通过如图5-15所示命令“fdisk -l”查看系统自动分区的大小,从图中可以看到,etcd单独挂载在一张磁盘上,其他分区挂载在另外一张磁盘上,且剩余可用空间自动划分为/dev/sda7分区(一般为该磁盘上的最后一个分区)供GlusterFS使用。
(1) 在浏览器中输入Matrix的登录地址,进入如图5-16所示登录页面。
a. 若使用IPv4地址,登录地址格式为:https:// Matrix_ip_address:8443/matrix/ui,例如:https://100.1.0.11:8443/matrix/ui。本文档后续配置均以IPv4配置为例。
b. 若使用IPv6地址,登录地址格式为:https://[Matrix_ip_address]:8443/matrix/ui,例如:https://[2000::100:611]:8443/matrix/ui。
登录地址中参数含义如下:
¡ Matrix_ip_address为节点IP地址。
¡ 8443为缺省端口号。
· 采用集群部署模式时,未部署集群之前,Matrix_ip_address可以是任意一个节点的IP地址。
· 可在Matrix上进行如下操作:上传、删除统一数字底盘应用安装包;部署、升级、扩容、卸载统一数字底盘应用;升级、重建集群节点;增加、删除Worker节点。
· 在Matrix上进行操作时,请勿同时在统一数字底盘上进行如下操作:上传、删除组件安装包;部署、升级、扩容组件;增加、修改、删除网络。
· 暂不支持底座纯IPv6单栈部署
图5-16 Matrix登录页面
(2) 输入用户名和密码(默认用户名为admin,密码为Pwd@12345)后,若安装操作系统设置过密码,则按设置的填写)后,单击<登录>按钮,默认进入Matrix的集群部署页面,部署双栈集群需要开启双栈按钮,如图5-17和图5-18所示。
对于使用内置NTP服务器的场景,在部署集群之前,需确保所有节点的系统时间和当前时间保持一致。对于使用外置NTP服务器作为时钟同步源的场景,则无需修改节点的系统时间。如果NTP服务器不通,或者外置NTP服务器故障时,集群是不能正常部署的。
查看及修改节点系统时间的命令如下:
· 查看系统时间:date
· 修改系统时间的年月日:date -s yyyy-mm-dd
· 修改系统时间的时分秒:date -s hh:mm:ss
部署集群节点前,需要先配置集群参数。集群参数说明如下:
参数 |
说明 |
集群内部虚IP |
用于集群内各节点之间通信的IP地址,该地址必须在Master节点所处的网段内,集群部署完成后不可修改,请谨慎填写。 |
北向业务虚IP |
集群对外提供服务的IP地址,该地址必须在Master节点所处的网段内。 |
Service IP地址池 |
用于为Service分配IP地址,不能与部署环境中的其它网段冲突。默认地址为10.96.0.0/16,一般保持默认值。 |
容器IP地址池 |
用于为容器分配IP地址,不能与部署环境中的其它网段冲突。默认地址为177.177.0.0/16,一般保持默认值。 |
集群网络模式 |
支持单子网模式,集群内所有节点、虚IP必须在相同网段内,否则将无法互相通信。 |
NTP服务器 |
用于保证集群内各节点系统时间的一致性,支持选择内置服务器和外置服务器。选择外置服务器时,需要配置NTP服务器地址,且该地址不可与集群内各节点的IP地址冲突。 本文档使用内置服务器作为NTP服务器,则部署集群时会首先进行时间同步,集群部署完成后,三台Master节点会定时同步时间,从而保证集群内各节点的系统时间保持一致。 |
外置DNS服务器 |
用于解析K8s集群外部的域名,格式为IP:Port,部署统一数字底盘可根据实际需要配置外置DNS服务器。本文档中不配置此项。 · 容器解析域名时,集群外部的域名无法被内置DNS服务器解析,本平台将把需要解析的外部域名随机转发给一台外置DNS服务器来解析。 · 外置DNS服务器最多可以配置10个,各外置DNS服务器要求具有相同的DNS解析能力,并可以独立满足外部域名解析需求、无主备之分、无先后顺序之分。 · 建议所有的DNS服务器都能够访问根域,可使用命令行nslookup -port={port} -q=ns . {ip}查看是否可以访问。 |
自定义虚IP |
用于在南北隔离的情况下,设备需要使用固定的IP和集群通信。不能与部署环境中的其它网段冲突。 |
表5-3 双栈集群参数说明
参数 |
说明 |
集群内部虚IP |
用于集群内各节点之间通信的IP地址,该地址必须在Master节点所处的网段内,集群部署完成后不可修改。 |
北向业务虚IP(IPv4、IPv6) |
集群对外提供服务的IP地址,该地址必须在Master节点所处的网段内,分别分配IPv4地址,IPv6地址。北向业务虚IP至少配置一个IPv4或IPv6,不可同时配置两个相同协议的IP。 |
Service IP地址池 |
双栈环境下生效。 用于为Service分配IPv4、IPv6地址,默认IPv4地址为10.96.0.0/16,默认IPv6地址为fd00:10:96::/112,,一般保持默认值。集群部署后不允许更改。 该地址池不能与部署环境中其它网段冲突,否则可能会导致集群异常。 |
容器IP地址池 |
双栈环境下生效。 用于为容器分配IPv4、IPv6地址,默认IPv4地址为177.177.0.0/16,默认IPv6地址为fd00:177:177::/112,一般保持默认值。集群部署后不允许更改。 该地址池不能与部署环境中其它网段冲突,否则可能会导致集群异常。 |
集群网络模式 |
目前仅支持单子网模式,集群内所有节点、虚IP必须在相同网段内,否则将无法互相通信 |
NTP服务器 |
用于保证集群内各节点系统时间的一致性,支持选择内置服务器和外置服务器。选择外置服务器时,需要配置NTP服务器地址,且该地址不可与集群内各节点的IP地址冲突。 本文档使用内置服务器作为NTP服务器,部署集群时会首先进行时间同步,集群部署完成后,三台Master节点会定时同步时间,从而保证集群内各节点的系统时间保持一致。 |
外置DNS服务器 |
用于解析K8s集群外部的域名,格式为IP:Port,部署统一数字底盘可根据实际需要配置外置DNS服务器。本文档中不配置此项。 · 容器解析域名时,集群外部的域名无法被内置DNS服务器解析,本平台将把需要解析的外部域名随机转发给一台外置DNS服务器来解析。 · 外置DNS服务器最多可以配置10个,各外置DNS服务器要求具有相同的DNS解析能力,并可以独立满足外部域名解析需求、无主备之分、无先后顺序之分。 · 建议所有的DNS服务器都能够访问根域,可使用命令行nslookup -port={port} -q=ns . {ip}查看是否可以访问。 |
自定义虚IP |
用于在南北隔离的情况下,设备需要使用固定的IP和集群通信。不能与部署环境中的其它网段冲突。 |
单击<应用>按钮,完成集群参数的配置。
若NTP服务器不与北向地址相通,可以先不增加NTP服务器。待集群创建完成后,在配置网卡网络时,通过修改集群参数再增加。
单机部署模式下,仅需增加一个Master节点即可部署集群。集群部署模式下,需要增加三个Master节点后,再部署集群。
(1) 配置集群参数后,单击<下一步>按钮,进入创建集群页面,如图5-19所示。
(2) 点击Master节点区域的增加图标,弹出增加节点窗口,如图5-20所示。
(3) 配置如下参数:
¡ 类型:显示为“Master”,且不可修改。
¡ IP地址:规划的Master节点的IP地址。若开启了双栈则此处需同时填写IPv4和IPv6地址
¡ 用户名:节点操作系统的用户名,当前仅支持root用户及admin用户。根据安装操作系统时实际选择的用户填写。集群中所有节点的用户名必须相同。
¡ 密码:节点操作系统的用户密码。
¡ BGP路由配置:集群网络模式为“单子网”模式时无需配置。
(4) 单击<应用>按钮,完成增加Master节点操作。
(5) 若采用单机部署模式,则跳过该步骤。若采用集群部署模式,则重复步骤(2)-(4),增加其它两台Master节点。
(6) 单击<开始部署>按钮,开始部署集群,当所有节点的进度达到100%时,表示集群部署成功。
集群部署成功后,主Master节点会在节点左上角显示标记,其余未被标记的Master节点为备用Master节点。
图5-21 集群部署完成
园区解决方案场景下需要使用如表5-4所示组件,其他统一数字底盘中的应用包,在AD-Campus方案中作为可选组件,如有功能需要,则需在Matrix页面上传后安装,具体过程可参考《H3C 统一数字底盘部署指导》。
安装包名称 |
功能说明 |
说明 |
依赖关系 |
common_H3Linux-<version>.iso |
H3C自研的Linux操作系统的安装包 |
必选 |
|
common_PLAT_GlusterFS_2.0_<version>.zip |
提供产品内本地共享存储功能 |
必选 |
|
general_PLAT_portal_2.0_<version>.zip |
门户、统一认证、用户管理、服务网关、帮助中心 |
必选 |
|
general_PLAT_kernel_2.0_<version>.zip |
权限、资源身份、License、配置中心、资源组、日志服务 |
必选 |
|
general_PLAT_kernel-base_2.0_<version>.zip |
告警、访问参数模板、监控模板、报表、邮件短信转发服务 |
必选 |
|
general_PLAT_network_2.0_<version>.zip |
基础网管(网络资源、网络性能、网络拓扑、iCC) |
必选 |
kernel-base |
general_PLAT_network-ext_2.0_<version>.zip |
SSH代理登录 |
可选 |
network |
general_PLAT_Dashboard_2.0_<version>.zip |
大屏框架 |
必选 |
kernel-base |
general_PLAT_widget_2.0_<version>.zip |
平台大屏Widget |
必选 |
Dashboard |
general_PLAT_websocket_2.0_<version>.zip |
南向Websocket功能,新自动化功能 |
必选 |
|
general_PLAT_oneclickcheck_2.0_<version >.zip |
一键巡检 |
必选 |
kernel-base |
general_PLAT_netconf_2.0 _<version>.zip |
Netconf通道服务、netconf配置的合法性检查服务,提供YANG能力集 |
可选 |
|
· 参考的产品版本文档应当与方案配套表产品版本匹配。
· 扩容功能是否支持需参考统一数字底盘的版本说明书《H3C PLAT 2.0 (Exxxx)版本说明书》。
(1) 在浏览器中输入“https://ip_address:8443/matrix/ui”,登录Matrix。其中“ip_address”为北向业务虚IP地址。
(2) 点击“向导”页签,在弹出的菜单中选择“集群部署”,进入集群部署页面。
(3) 在部署应用环节“选择安装包”步骤中,请先上传下列必选安装包进行部署,再部署其它应用安装包。应用安装包支持批量上传,批量部署。
a. common_PLAT_GlusterFS_2.0_<version>.zip(必选)
b. general_PLAT_portal_2.0_<version>.zip(必选)
c. general_PLAT_kernel_2.0_<version>.zip(必选)
(4) 页面默认勾选上述三个应用包,请不要取消勾选。单击<下一步>按钮,进入配置共享存储页面。GlusterFS应用暂不支持共享存储配置。
· 为GlusterFS应用准备的磁盘不能被格式化,否则会安装失败。若该磁盘被格式化,则可通过“wipefs -a /dev/磁盘名称”命令清空磁盘来进行修复。
· 若执行“wipefs -a /dev/磁盘名称”命令时,提示错误:“探测初始化失败:设备或资源忙”,需要等待一段时间再执行一次。
(5) 单击<下一步>按钮,进入配置数据库页面。GlusterFS应用暂不支持数据库配置。
(6) 单击<下一步>按钮,进入配置参数页面。
a. GlusterFS应用参数配置。
- “nodename”:参数值为节点服务器的主机名。
- “device”:参数值为分配给GlusterFS的磁盘名称。
- 若在空磁盘上安装GlusterFS应用,则“device”为磁盘名称。
- 若在空闲分区上安装GlusterFS应用,则“device”为分区名称。
通过lsblk命令查看当前磁盘分区信息,确保所选的磁盘或分区没有被挂载或使用,且容量大于200 GB。
b. Portal应用参数配置。
- 统一数字底盘应用支持HTTPS和HTTP部署。ServiceProtocol默认设置为“HTTP”,可修改为“HTTPS”,可根据需要修改服务端口号。
- 若要部署英文环境,将“Language”设置为“en_US”即可。
c. Kernel应用参数,用户可根据业务量需求设置ES内存资源占用,如图5-22所示。
图5-22 ElasticSearch内存和资源占用配置
(7) 单击<部署>按钮,开始部署应用,等待应用部署完成即可。
(8) 若还需部署其它应用,点击“部署”页签,在弹出的菜单中选择“应用”,进入部署步骤页面。
(9) 点击“上传”图标,在弹出窗口中上传其他园区方案所需的应用安装包。上传完成后,同时勾选所需安装的应用包,请注意已经安装过的应用不要勾选,选择完成后一直点击<下一步>,直至应用部署完成。
(10) 至此,统一数字底盘及所需应用组件安装完成。
如果服务器使用多个网卡接入网络,部署前需要在服务器上启用网卡。一般推荐部署Matrix使用一张网卡,部署SeerEngine-Campus及vDHCP组件使用另一张网卡。若SeerEngine-Campus控制器和统一数字底盘共用一张网卡,此时SeerEngine-Campus、vDHCP、EIA可以使用相同网段的IP地址,也可以通过在三层交换机VLAN接口配置SUB地址使SeerEngine-Campus和统一数字底盘使用不同网段。本文以网卡ens192作为部署Matrix的网卡,网卡ens224作为部署SeerEngine-Campus及vDHCP组件为例进行介绍。网卡上的配置如下:
(1) 远程登录统一数字底盘所在服务器,在服务器上修改网卡配置文件。此处以修改网卡ens224的网卡配置文件为例。
(2) 打开并编辑网卡文件。
[root@matrix01 /]# vi /etc/sysconfig/network-scripts/ifcfg-ens224
(3) 将网卡配置文件中的BOOTPROTO和ONBOOT修改为如下图所示。BOOTPROTO配置为none表示不指定网卡的启动协议,ONBOOT配置为yes表示开机自动启用网卡连接。
图6-1 网卡配置
(4) 使用以下命令ifdown和ifup命令重启网卡。
[root@matrix01 /]# ifdown ens224
[root@matrix01 /]# ifup ens224
(5) 使用ifconfig命令查看网络信息。若网卡状态为UP则表示网卡启用成功。
组网中包含2种网络:Calico网络、MACVLAN网络。Calico网络为容器间交互所使用的网络,为内部使用。Calico网络所使用的网段为部署统一数字底盘集群时设置的容器IP地址池,默认为177.177.0.0,安装部署组件时无需再配置地址池给Calico网络使用。Calico网络和MACVLAN网络可复用同一个网卡。
部署组件前,需要提前规划MACVLAN网络的地址池。MACVLAN网络为SeerEngine-Campus组件和vDHCP组件的管理网络。
MACVLAN网络子网中的IP地址个数建议按照如下表格计算。
表6-1 IP地址规划1
组件名称 |
最大集群成员个数 |
默认集群成员个数 |
计算方式 |
SeerEngine-Campus |
3 |
3 |
1*集群成员个数+1(集群IP) |
vDHCP |
2 |
2 |
以各组件的集群成员个数取最大值为例,计算所需的IP地址个数为:
MACVLAN网络地址个数:(1*3+1)+(1*2+1)=7,即当SeerEngine-Campus集群成员个数为3且vDHCP集群成员个数为2时,MACVLAN网络子网IP地址个数至少为7。
本文中以如下地址规划为例进行配置,SeerEngine-Campus与vDHCP使用ens224网卡进行部署,若vDHCP需要部署双栈,则需同时规划IPv4和IPv6地址,且均可以使用ens224网卡绑定。
表6-2 IP地址规划2
IP地址规划 |
作用 |
备注 |
SeerEngine-Campus节点IP |
Node1:110.1.0.101 Node2:110.1.0.102 Node3:110.1.0.103 |
SeerEngine-Campus集群包含的三个节点地址 |
SeerEngine-Campus集群IP |
110.1.0.100 |
SeerEngine-Campus的集群地址 |
vDHCP集群IP |
110.1.0.104 |
vDHCP的集群地址,实际不使用 |
vDHCP |
Node1:110.1.0.105 Node2:110.1.0.106 |
vDHCP服务器使用的两个节点IPv4地址 |
vDHCP集群IPv6 |
130::5 |
vDHCP的集群IPv6地址,实际不使用 |
vDHCP IPv6 |
Node1:130::6 Node2:130::7 |
vDHCP服务器使用的两个节点IPv6地址 |
EIA |
100.1.0.100 |
EIA服务器的IPv4地址,复用集群北向业务IP地址 |
登录统一数字底盘http://<北向业务虚IP 100.1.0.100>:30000/central,单击<系统>区域,单击<部署管理>菜单项,进入组件部署导航页面。在此处点击<上传>按钮选择安装包上传到统一数字底盘。根据用户需求可选择批量上传如下组件:
· SeerEngine_CAMPUS-<version>-MATRIX.zip(Campus必选,园区网络控制组件)
· vDHCPS-<version>-X64.zip(Campus必选,DHCP服务器)
· EIA-<version>.zip(Campus必选,终端智能接入管理)
· EAD-<version>.zip(可选,终端安全管理)
· SMP-<version>.zip(可选,安全业务管理平台)
· H3C Campus_Cloudnet_<version>_x86.zip(可选,公共服务平台,若环境中需安装SeerAnalyzer则此组件必选)
· WSM-<version>.zip(可选,无线业务管理,若有无线业务需求则必选)
· EPS-<version>.zip(可选,端点探测管理)
· SEERANALYZER-<version>_X86_64.zip(可选,分析组件,具体园区场景所需应用包选择,请参考《H3C SeerAnalyzer安装部署指导》)
图6-2 上传安装包页面
组件选择页面各参数说明如下:
园区场景下需要必须要部署的组件:
· SeerEngine-Campus:园区控制组件,以单机或三机集群模式部署在统一数字底盘上。此处需指定SeerEngine-Campus的版本。园区网解决方案场景下,若使用EIA V9则必须勾选融合EIA。若方案有使用安全业务的需求,则可勾选融合SMP并选择SMP的版本,若无相关需求可不勾选。当前园区控制组件仅支持单栈部署。
· vDHCP服务器:此处需指定vDHCP Server的版本,用于设备自动化上线,统一数字底盘根据内置策略,为vDHCP服务器部署双节点集群。
· EIA:终端智能接入管理,此处需指定EIA的版本,用于终端的认证与接入。若方案有对终端进行安全准入控制的需求,则可勾选融合EAD并选择EAD的版本,若无相关需求可不勾选。EIA组件包含以下4个应用包:
¡ COMMON:提供基础功能,方案必选
¡ BRANCH:提供EIA分级功能,可根据用户需求选择性安装
¡ EIA:提供终端用户认证功能,方案必选
¡ TAM:提供设备用户认证功能,可根据用户需求选择性安装
园区场景下可根据用户需求来部署的组件:
· EAD:终端安全管理,用于终端用户安全状态的准入控制。
· SMP:安全业务管理平台,提供对接安全设备业务管理的功能。
· Cloudnet Palatform:公共服务平台,提供Netconf网管功能,若场景安装SeerAnalyzer则此组件必选。
· WSM:无线业务管理,用于对无线设备进行监视和配置等无线相关的业务管理。
· EPS:端点探测管理,用于对网络中的各种端点进行管理。
· SeerAnalyzer:分析组件,用于对设备性能、用户接入、业务流量的实时数据采集和状态感知。
· 此处仅简单介绍部署SeerEngine-Campus时涉及的参数配置,详细内容可参考《SeerEngine-Campus组件部署指导-EXXXX》。
· EAD组件的安装依赖于EIA。
· SeerAnalyzer组件的安装依赖于Cloudnet Palatform组件。
· WSM与Cloudnet Palatform组件单独分开部署时,建议先部署Cloudnet Palatform组件。
· 若环境中同时需要安装SeerEngine-Campus、Cloudnet Palatform、WSM、SeerAnalyzer且各组件单独分开部署时,需先安装SeerEngine-Campus,其次安装Cloudnet Palatform和WSM,最后再安装SeerAnalyzer组件。若组件同时部署,可能会出现全域视图,此时需要用户手工在[设置>切换视图]页面切换至AD-Campus视图。
· SeerAnalyzer的部署此处仅介绍所需选择的场景,具体部署步骤请参考《H3C SeerAnalyzer安装部署指导》。
· 各组件是否支持扩容请参考各自产品对应的版本说明书。
· vDHCP重装或者所在服务器节点重建之后需要用户手工通过控制组件给vDHCP同步下发配置,具体可以参考《AD-Campus 6.5维护手册》的3.1.7章节。
· 如果vDHCP部署完成后,需要由IPv4单栈扩容为双栈,则需要备份当前vDHCP的数据,然后卸载vDHCP组件,并重新双栈安装。完成后可进行数据恢复操作。若恢复后在控制组件中进行vDHCP审计操作时存在有审计差异的情况,则可通过控制组件同步下发相关配置。具体可以参考《AD-Campus 6.5维护手册》的3.1.7章节。
· WSM在E6217版本上增加了AD-Campus-Standard域,EIA在E6602H02版本上增加了Unified Endpoint Service域,因此组件在部署或者升级后可能会出现全域视图,此时需要用户手工在[首页>设置>切换视图]界面点击切换按钮,切换至AD-Campus域如图6-3所示。
在组件选择页面,选择需要安装的组件,完成后单击<下一步>,进入参数配置页面。本文以园区方案场景涉及的相关组件均安装为例进行介绍,本文中上传的版本仅供参考,安装部署时请使用方案推荐的配套版本。
E0711*分支的统一数字底盘部署E66*分支的EIA,需要先部署COMMON组件,再部署EIA、BRANCH和TAM组件,否则一起部署会提示无效的应用包。
(1) 如图6-4和图6-5所示,此页面下园区网络与EIA组件必选,EAD可根据用户需求选择是否安装。
(2) 如图6-6所示,此页面下均为可选组件,用户可根据需求选择安装部分组件。
(3) 如图6-7所示,此页面为部署分析组件时勾选,园区解决方案场景下,场景请选择Campus,具体的部署请参考《H3C SeerAnalyzer安装部署指导》。
(4) 如图6-8所示,此页面vDHCP Server为必选组件,Cloudnet根据用户需求选择是否安装。若vDHCP需要部署IPv6,则此处可勾选“南向双协议”。若配置“南向双协议”,则网络配置时需要配置2个网络。
参数配置界面不需要配置任何参数,直接单击<下一步>按钮,进入网络配置页面。
图6-9 参数配置页面
(1) 在网络配置页面创建指定数量的网络和子网,若vDHCP组件选择了“南向双协议”,则此处需要添加2个网络:IPv4和IPv6。管理网络是控制组件和vDHCP管理南向设备的网络。
(2) 网络配置中需要配置以下参数:
¡ 网络中的VLAN用于隔离网络。当根据网络规划,需要多个网络使用主机上的同一个上行口时,需要配置VLAN用于隔离网络,默认可不配。
- 默认为空:服务器发送的报文不带Tag,服务器网卡连接的接入交换机配置成access口。
- 填写VLAN ID:服务器发送的报文携带VLAN Tag(PVID设置不能和填写的VLAN一致,不然Tag会被剥掉),服务器网卡连接的接入交换机需配置成trunk口。
¡ 网络中的子网网段和子网IP地址池用于为组件分配IP地址,子网网关将作为容器的缺省网关。
¡ 主机关联的上行口用于后续SeerEngine-Campus、vDHCP Server容器业务的承载网口。
图6-10 网络配置页面
地址池一旦生效不可以更改,建议地址池中IP地址数量在32个以上。
图6-11 子网配置页面
图6-12 主机上行口选择页面
若vDHCP选择了“南向双协议”,则此处需再增加一个IPv6的网络,配置如下:
图6-13 IPv6子网配置页面
图6-14 IPv6主机上行口选择页面
(3) 配置完成后,单击<下一步>按钮,进入节点绑定页面。
在节点绑定页面,无需操作,直接单击<下一步>按钮,进入网络绑定页面。
图6-15 节点绑定页面
(1) 在网络绑定页面,将网络和子网绑定到不同组件,使用子网IP地址池为组件分配IP地址。此处需为SeerEngine-Campus、vDHCP两个组件绑定网络。若vDHCP组件选择了“南向双协议”,则此处vDHCP需选择管理网络和默认网络,管理网络需选择与控制组件使用的管理网络相同。
图6-16 网络绑定页面
(2) 配置完成后,单击<下一步>按钮,进入参数确认页面。
在参数确认页面,可查看为各组件规划的网络信息。组件的IP地址自动从绑定的子网IP地址池中分配,如需修改,可在此页面单击<修改>按钮,手动修改系统分配的IP 地址。输入的IP地址必须在组件绑定的网络中的子网网段范围内。
vDHCP需要配置VRRP备份组号,范围为1-255之间,且同一个网络中不能配置相同的VRRP备份组号。
EIA、WSM、EPS、EAD、SMP组件默认无需进行参数确认,EIA默认将北向业务虚IP作为服务器地址。
参数确认完成后,单击<部署>按钮,系统会逐步安装SeerEngine-Campus、vDHCP Server、EIA等业务组件。页面上会展示部署的组件及进度。
· 参考的产品版本文档应当与方案配套表产品版本匹配。
· 各组件是否支持扩容需参考各组件对应的版本说明书,SeerEngine-Campus组件请参考《H3C SeerEngine-Campus Exxxx版本说明书》,vDHCP组件请参考《H3C vDHCPS_H3C-Rxxxx 版本说明书》,EIA组件请参考《EIA (Exxxx) 版本说明书》。
SeerEngine-Campus扩容有以下两种情况:
· 单机部署模式扩容为集群部署模式
· 集群模式扩容
此种模式下,需在Matrix上同时增加两个Master节点并与原Master节点组成三机集群,然后依次扩容统一数字底盘和SeerEngine-Campus。
具体配置步骤请参见《H3C统一数字底盘部署指导》。
具体配置步骤请参见《H3C统一数字底盘部署指导》。
(1) 登录统一数字底盘,单击[系统>部署管理]菜单项,进入部署管理页面。
图7-1 部署管理页面
(2) 单击<网络配置>按钮,对SeerEngine-Campus的MACVLAN网络(管理网络)进行修改。在MACVLAN网络(管理网络)的主机区域,单击<增加>按钮,在列表中选择需要扩容的主机,完成网络和主机上行口的关联。
图7-2 SeerEngine-Campus的MACVLAN网络(管理网络)
图7-3 主机区域
图7-4 关联网络和主机上行口
(3) 单击<应用>按钮完成网络配置。
(1) 单击[系统>部署管理]菜单项,进入部署管理页面,选择需要扩容的SeerEngine-Campus,单击操作区域的按钮,进入扩容页面。
(2) 确认扩容主机绑定的网络名称、子网名称和上行口是否正确,单击<确定>按钮保存配置。
(3) 在主机信息区域,单击<扩容>按钮,进行组件的扩容操作。
图7-5 主机信息
此种模式下,一次仅可扩容一个Worker节点,需在Matrix上先增加Worker节点,部署集群,然后扩容SeerEngine-Campus。
(1) 扩容SeerEngine-Campus前需确保统一数字底盘Matrix集群中已添加Worker节点,具体步骤请参见《H3C统一数字底盘部署指导》。
(2) 登录统一数字底盘,单击[系统>部署管理]菜单项,进入部署管理页面。
图7-6 部署管理页面
(3) 单击<网络配置>按钮,对SeerEngine-Campus的MACVLAN网络进行修改。在主机区域单击<增加>按钮,选择需要扩容的主机,完成网络和主机上行口的关联。单击<应用>按钮。
(4) 登录统一数字底盘,单击[系统>部署管理]菜单项,进入部署管理页面,选择需要扩容的SeerEngine-Campus,单击操作区段的按钮,进入扩容页面。
图7-7 部署管理页面
(5) 选择需要扩容的主机,确认扩容主机绑定的网络名称、子网名称和上行口是否正确。单击<确定>按钮保存配置。
图7-8 选择需要扩容的主机
(6) 在主机信息区域,单击<扩容>按钮,进行组件的扩容操作。由于一次仅可扩容一个Worker节点,若有多个Worker节点需要扩容,在上个Worker节点扩容完成后,需重新进入在主机信息区域,单击<扩容>按钮,对剩余Worker节点进行依次扩容。
图7-9 主机信息区域
SeerAnalyzer安装部署请参考《H3C SeerAnalyzer安装部署指导》。
园区场景单机融合部署时(指单机部署园区管控析产品:统一数字底盘+vDHCP+SeerEngine+EIA+WSM+SeerAnalyzer),微服务数量会超过规格限制,需要对Kubernetes启动参数进行调整,具体操作请参考《H3C SeerAnalyzer安装部署指导》的园区场景单机融合部署时如何调整集群最大微服务数量限制?
E0609及之后的统一数字底盘版本支持自动划分GlusterFS所需分区,若需要手工配置或修改该分区,可参考《H3C统一数字底盘部署指导-Exxxx》。
网卡绑定是通过把多张网卡绑定为一个逻辑网卡,实现本地网卡的冗余、带宽扩容和负载均衡。
Linux系统中网卡共支持7种冗余模式,部署统一数字底盘时可根据实际情况进行选择(推荐使用Mode2或Mode4,本文档以配置mode=2为例进行说明)。
本文档介绍在H3Linux操作系统安装完成后,在服务器上配置网卡绑定的方法。
在三台服务器上分别执行以下配置步骤进行网卡冗余配置。
(1) 增加冗余口的配置文件
创建冗余口bond0,将网卡绑定模式配置为Mode2:
通过“vim /etc/sysconfig/network-scripts/ifcfg-bond0”命令创建聚合口bond0,并进入ifcfg-bond0的配置文件增加以下配置,参数均必选,参数取值以实际组网规划为准。
DEVICE=bond0
IPADDR=192.168.15.99
NETMASK=255.255.0.0
GATEWAY=192.168.15.1
ONBOOT=yes
BOOTPROTO=none
USERCTL=no
NM_CONTROLLED=no
BONDING_OPTS="mode=2 miimon=120"
其中,“DEVICE”需与虚拟网卡名称保持一致。“miimon”表示进行链路状态检测的时间间隔。
(2) 加载bond0接口到内核
通过“vim /etc/modprobe.d/bonding.conf”命令进入bonding配置文件,增加以下配置:
alias bond0 bonding
(3) 配置成员端口
创建目录,备份待聚合网卡的文件后对文件进行修改。将要聚合的网口分别添加到冗余口下,以网卡ens32的配置为例,通过“vim /etc/sysconfig/network-scripts/ifcfg-ens32”命令进入网卡配置文件,增加以下配置,参数均必选,参数取值以实际组网规划为准:
TYPE=Ethernet
DEVICE=ens32
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
USERCTL=no
NM_CONTROLLED=no
其中,DEVICE需要与网卡名称保持一致,MASTER为虚拟网卡的名称。
(4) 加载bonding模块
通过“modprobe bonding”命令加载bonding模块。
(5) 重启服务
通过“service network restart”命令重启服务。如果多次修改过bond配置,可能需要重启服务器。
(6) 查看配置是否生效
¡ 通过“cat /sys/class/net/bond0/bonding/mode”命令查看当前聚合模式是否生效。
图9-1 查看当前聚合模式是否生效
¡ 通过“cat /proc/net/bonding/bond0”命令查看聚合接口信息。
图9-2 查看聚合接口信息
(7) 通过在Linux后台输入“vim /etc/rc.d/rc.local”,进入配置页面,将如下配置信息加入开机自启动。
图9-3 进入配置页面
ifenslave bond0 ens32 ens33 ens34
(1) 通过执行“vi /etc/sysconfig/network-scripts/ifcfg-网卡名称”命令修改网卡的配置信息,如果没有相关字段,需要手工添加,具体如下:
[root@node01 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens192
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none ##此处使用静态网址,修改为none
DEFROUTE=yes ##默认路由,修改为yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens192
UUID=78961223-bc09-4a0e-87d6-90fbd56117f5
DEVICE=ens192
ONBOOT=yes ##开机自动连接,修改为yes
IPADDR=172.21.3.50 ##静态IP地址(若没有该字段,请添加),根据实际进行修改
PREFIX=24 ##掩码位数(若没有该字段,请添加),根据实际进行修改
GATEWAY=172.21.3.1 ##网关地址(若没有该字段,请添加),根据实际进行修改
IPV6_PRIVACY=no
(2) 修改完成后,保存退出。
(3) 执行“systemctl restart network”命令重启网络即可。
如图9-4所示,可通过在节点上执行“timedatectl set-timezone Asia/Shanghai”命令将系统时区修改为“亚洲/上海”。
各阶段安装部署耗时请参考表10-1,本文仅以安装园区所有必选组件耗时为例,若用户安装其他可选组件,则耗时将适当增加。
本次耗时统计安装的组件如下:
· common_PLAT_GlusterFS_2.0_<version>.zip
· general_PLAT_portal_2.0_<version>.zip
· general_PLAT_kernel_2.0_<version>.zip
· general_PLAT_kernel-base_2.0_<version>.zip
· general_PLAT_network_2.0_<version>.zip
· general_PLAT_Dashboard_2.0_<version>.zip
· general_PLAT_widget_2.0_<version>.zip
· general_PLAT_websocket_2.0_<version>.zip
· SeerEngine_CAMPUS-<version>-MATRIX.zip
· vDHCPS-<version>-X64.zip
· EIA-<version>.zip
操作步骤 |
时长 (单位:分钟) |
准备工作(配置硬盘、选择网卡、挂载ISO) |
约5 |
安装操作系统 |
约20 |
安装统一数字底盘 |
约25 |
上传统一数字底盘应用安装包 |
约20 |
部署统一数字底盘应用安装包 |
约60 |
上传园区相关业务组件 |
约15 |
部署园区相关业务组件 |
约30 |