手册下载
H3C Workspace云桌面
安全网关安装部署指导(办公场景)
资料版本:5W113-20230605
产品版本:H3C_Workspace-E1015P02
Copyright © 2020-2023 新华三技术有限公司 版权所有,保留一切权利。
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。
除新华三技术有限公司的商标外,本手册中出现的其它公司的商标、产品标识及商品名称,由各自权利人拥有。
本文档中的信息可能变动,恕不另行通知。
目 录
安全网关是Workspace云桌面提供的广域网接入组件,用于为用户提供访问VDI云桌面资源的统一入口。用户通过安全网关从公网环境访问单位内部云桌面,实现远程办公,同时能保障VDI云桌面资源的安全。
安全网关可以部署在一台物理服务器或者虚拟机上,虚拟机安全网关的最低配置要求如下表所示:
网关配置 |
网关数量 |
支持点数 |
服务器数量 |
千兆网口数量 |
万兆网口数量 |
配置方式 |
CPU:4 vCPU 主频 ≥ 2.3GHz 硬盘 ≥50 GB SSD |
1 |
50 |
1 |
1 |
- |
单网卡 |
2 |
100 |
2 |
2 |
- |
网关HA |
|
2 |
150 |
3 |
4 |
2 |
网关HA |
|
2 |
200 |
4 |
4 |
2 |
网关HA |
|
CPU:8 vCPU 主频 ≥ 2.3GHz 硬盘 ≥50 GB SSD |
2 |
250 |
5 |
6 |
2 |
网关HA |
2 |
300 |
6 |
6 |
2 |
网关HA |
|
2 |
350 |
7 |
8 |
2 |
网关HA |
|
2 |
400 |
8 |
- |
2 |
网关HA |
|
CPU:4 vCPU 主频 ≥ 2.3GHz 硬盘 ≥50 GB SSD |
3 |
450 |
9 |
6 |
3 |
软负载均衡 |
3 |
500 |
10 |
6 |
3 |
软负载均衡 |
|
3 |
550 |
11 |
6 |
3 |
软负载均衡 |
|
3 |
600 |
12 |
6 |
3 |
软负载均衡 |
|
CPU:8 vCPU 主频 ≥ 2.3GHz 硬盘 ≥50 GB SSD |
2 |
450 |
9 |
8 |
2 |
软负载均衡 |
2 |
500 |
10 |
- |
2 |
软负载均衡 |
|
2 |
550 |
11 |
- |
2 |
软负载均衡 |
|
2 |
600 |
12 |
- |
2 |
软负载均衡 |
|
2 |
650 |
13 |
- |
2 |
软负载均衡 |
|
2 |
700 |
14 |
- |
2 |
软负载均衡 |
|
2 |
750 |
15 |
- |
2 |
软负载均衡 |
|
2 |
800 |
16 |
- |
2 |
软负载均衡 |
|
2 |
850 |
16 |
- |
2 |
软负载均衡 |
|
CPU:4 vCPU 主频 ≥ 2.3GHz 硬盘 ≥50 GB SSD |
2 |
800 |
16 |
- |
4 |
软负载均衡+DPDK |
3 |
850 |
17 |
- |
6 |
软负载均衡+DPDK |
|
3 |
900 |
18 |
- |
6 |
软负载均衡+DPDK |
|
3 |
950 |
19 |
- |
6 |
软负载均衡+DPDK |
· 表中的“千兆网口”与“万兆网口”配置为二选一,并非同时配置。
· 表中的网口均为外网网口,其中千兆网口推荐做聚合。
· 如果要开启SR-IOV+安全网关DPDK功能,目前仅支持使用Intel 82599系列网卡,且宿主机的CPU最低配置为Intel Haswell(2013年发布),ARM架构主机不支持DPDK功能。
· 如果要启用网关支持IDV/VOI功能,则网关配置需满足:16 vCPU、内存16 GB、硬盘100 GB、内外网口均为万兆网口。
在开始部署安全网关之前,请从H3C官方渠道获取正式发布的最新版本安装软件,安装软件清单如下表所示。
软件包名称 |
说明 |
H3C_Workspace_Gateway_Solution-version-x86_64.tar.gz |
X86架构安全网关安装包,包含安全网关和软件LB两种功能 |
H3C_Workspace_Gateway_Solution-version-aarch64.tar.gz |
ARM架构安全网关安装包,包含安全网关和软件LB两种功能 |
H3Linux_K414_V112_BBR.iso |
X86架构网关底层操作系统 |
H3Linux_K414_V112_ARM.iso |
ARM架构网关底层操作系统 |
安全网关解决方案部署中的注意事项如下:
· 请保障网关虚拟机不被手动或自动迁移。
· 启用SR-IOV+安全网关DPDK功能的组网环境不支持HA特性。
· 所有命令请以root用户权限执行。
· E1009及之后版本,网关默认端口为8860。
· 当命令行提示输入[Y/n]以确认执行命令时,直接按下Enter键的效果与输入Y键后按下Enter键相同,即确认执行此操作。
安全网关提供两种部署场景:非负载均衡部署和负载均衡部署。
· 非负载均衡部署:适用于小规模部署环境,环境中无LB设备。
· 负载均衡部署:使用LB设备为多个网关提供负载均衡,LB设备分为硬件LB设备与软件LB,硬件LB设备需要用户自行准备,安全网关自带软件LB,启用软件LB的方法请见软件LB。
图4-1 安全网关部署示意图
· Controller即Workspace云桌面中负责与客户端通信的服务器端组件,部署管理平台时会自动部署Controller。
· Controller通常与管理平台部署在同一服务器上,且IP地址相同。
本文以部署在虚拟机中为例,部署在物理服务器上的方案类似。
单台服务器的部署方式要求如下:
· 网关虚拟机配置请参考配置要求。
· 网关的一个网口vSwitch2用于外网访问云桌面资源,一个网口vSwitch1用于内网的管理网和业务网访问。
图4-2 单台服务器部署网关组网图
两台服务器单集群的部署方式要求如下:
· 网关虚拟机配置请参考配置要求。
· 网关虚拟机分别部署到两台服务器上组成HA。
· 每台服务器上各提供一个外网网口给网关用于外网访问,两个网关虚拟机分别关联到各自所在服务器的外网网口。
图4-3 两台服务器单集群网关组网图
三台及以上服务器部署要求如下:
· 网关虚拟机配置请参考配置要求。
· 网关虚拟机分别部署在两台服务器上组成HA,推荐将网关和Controller部署在不同服务器上,以避免带宽抢占和服务器故障同时影响网关与Controller的风险。
· 服务器上各提供一个网口给网关用于外网访问,两个网关虚拟机分别关联到各自所在服务器的外网网口。
图4-4 三台及以上服务器单集群网关组网图
多集群的部署方式要求如下:
· 网关虚拟机配置请参考配置要求。
· 网关虚拟机分别部署在不同集群的服务器上,推荐将网关和Controller部署在不同服务器上,以避免带宽抢占和服务器故障同时影响网关与Controller的风险。
· 服务器上各提供一个网口给网关用于外网访问,两个网关虚拟机分别关联到各自所在服务器的外网网口。
图4-5 多集群网关组网图
安全网关解决方案提供软件负载均衡模式,负载均衡模式采用高效率转发策略,能提升数据转发性能。450点云桌面以上规模的局点建议启用负载均衡部署。负载均衡用软件LB方案或者LB物理设备实现,参与负载均衡的多个网关只能对应同一个Controller或Controller集群。
部署要求如下:
· 软件LB虚拟机配置、网关虚拟机配置请参考配置要求。
· 两台主备LB设备做HA,分别部署到两台服务器上,网关虚拟机分别部署在不同服务器上。
· 服务器上各提供一个网口给网关用于外网访问,网关虚拟机与软件LB虚拟机分别关联到各自所在服务器的外网网口。
图4-6 单集群负载均衡网关组网图
部署要求如下:
· 软件LB虚拟机配置、网关虚拟机配置请参考配置要求。
· 两台主备LB设备做HA,分别部署到不同集群的服务器上,网关虚拟机分别部署在各集群不同服务器上。
· 服务器上各提供一个网口给网关用于外网访问,只有网关虚拟机与软件LB虚拟机分别关联到各自所在服务器的外网网口。
图4-7 多集群负载均衡网关组网图
本文中网关部署环境为云下H3C Workspace环境,云上H3C Workspace环境的网关请在对应的云下环境中进行部署。
X86架构与ARM架构主机制作网关虚拟机镜像的操作步骤(1)-步骤(15)基本相同,ARM架构主机需额外进行操作步骤(16)-步骤(20)。
(1) 单击左侧导航树[镜像]菜单项,进入镜像页面。在“系统镜像”页签下单击<新建>按钮,弹出“新建系统镜像”对话框。
图1-1 系统镜像页面
(2) 设置镜像名称,根据上传系统镜像选择操作系统类型及版本,设置系统镜像上传路径,并将镜像文件拖拽到虚线框中,或单击<点击上传>,在弹出的对话框中选择待上传的镜像文件,单击<打开>按钮开始上传镜像。
· 若系统镜像的上传路径为主机本地目录,则只有该主机能使用该系统镜像。
· 若系统镜像的上传路径为共享存储路径,则所有主机均可使用该系统镜像。
· 请确保系统镜像的上传路径有足够的磁盘空间,否则上传系统镜像将失败,建议上传路径选择/vms/isos。
图1-2 新建系统镜像对话框
上图中,“操作系统”和“版本”的配置需与实际上传的ISO系统镜像保持一致。
(3) 上传完成后,右上角弹出提示框“上传文件成功”,单击<确定>按钮完成新建系统镜像操作。
图1-3 新建系统镜像完成
(4) 系统镜像上传完成后,在系统镜像列表页面可以看到新建的系统镜像。
图1-4 已上传的系统镜像
(5) 在 “镜像虚拟机”页签下,单击<新建>按钮弹出新建镜像虚拟机对话框。
图5-1 桌面镜像页面
(6) 在新建镜像虚拟机对话框中,新建类型选择“ 新建镜像虚拟机”,单击<下一步>按钮,配置镜像虚拟机基础信息,系统镜像选择上传的H3Linux系统镜像。
图5-3 配置基本信息
(7) 基础信息配置完成后,继续完成虚拟机配置。
图5-4 虚拟机配置
(8) 虚拟机配置完成后,确认配置信息,单击<确定>按钮完成新建镜像虚拟机。
图5-5 确认信息
表5-1 新建桌面镜像参数说明
参数名称 |
参数说明 |
主机 |
选择镜像虚拟机所在的主机。 |
镜像类型 |
新建镜像虚拟机的类型,网关虚拟机使用VDI类型。 |
系统镜像 |
镜像虚拟机使用的操作系统的纯净ISO镜像。 |
类型 |
设置镜像虚拟机的磁盘类型,包括文件、新建RBD块和块设备,其中文件分为新建文件和已有文件。当主机上存在活动的RBD网络存储池时,默认为新建RBD块;反之,默认为新建文件。 · 新建文件:文件是构建在文件系统之上的磁盘文件,虚拟机看到的是一个实际的磁盘,实际使用的是一个虚拟磁盘文件所表示的一个磁盘。文件方式的磁盘挂接方式更便于管理。新建文件是新建一个空的存储文件作为虚拟机的磁盘。 · 新建RBD块:在RBD网络存储池中新建一个RBD块作为虚拟机的磁盘。 · 已有文件:选择一个已经存在且未被其他虚拟机使用的存储文件作为虚拟机的磁盘。可选项包括本地文件目录、共享文件系统、NFS网络文件系统类型的存储池中的存储卷。 · 块设备:块设备也称作裸设备,即磁盘上没有文件系统,如IP SAN或FC SAN上的存储LUN。块设备一般应用于性能要求较高的虚拟化环境,如数据库、高性能I/O计算等。该选项用于选择一个已经存在且未被其他虚拟机使用的存储卷作为虚拟机的磁盘。可选项包括RBD网络存储、iSCSI网络存储、FC网络存储和LVM逻辑存储卷类型的存储池中的存储卷。 |
存储路径 |
作为镜像虚拟机文件的存储路径,不作为桌面镜像的最后存储路径。其中,/vms/images和/vms/isos为本地文件目录,建议选择其他路径防止本地目录空间不足。 |
规格配置 |
镜像虚拟机适配的VDI终端的配置,可选系统默认的VDI终端或在规格配置中自定义的VDI终端配置。 |
网络 |
选择镜像虚拟机网络通信使用的虚拟交换机。 |
高级配置 |
可进行CPU工作模式、文件名、预分配、簇大小、总线类型、缓存方式、显卡型号和大页配置相关配置。 |
新建的镜像虚拟机的本质是一台未安装操作系统和必要驱动的虚拟机,因此部署安全网关软件的虚拟机时,需进行新建镜像虚拟机操作,并在镜像虚拟机中安装网关软件,最终将网关镜像虚拟机发布为网关桌面镜像。
(9) 新建的未完成制作的镜像虚拟机将会显示在镜像虚拟机列表中,单击新建的镜像虚拟机操作列的<控制台>按钮,进入镜像虚拟机的控制台。
图5-6 新建的镜像虚拟机
(10) 在虚拟机控制台中安装H3Linux操作系统,在安装开始界面语言请选择English,单击<Continue>按钮进入“INSTALLATION SUMMARY”界面。
图5-7 安装开始界面
(11) 在“INSTALLATION SUMMARY”界面中确保“KEYBOARD”与“LANGUAGE SUPPORT”项均设置为“English”,其余配置项会自动完成配置,单击<Begin Installation>按钮开始安装。
图5-8 INSTALLATION SUMMARY界面
(12) 单击安装界面上方的“ROOT PASSWORD”项,进入ROOT PASSWORD页面,设置ROOT密码,完成后等待安装完成。
图5-9 设置ROOT密码
(13) 安装完成后单击<安装模板工具>按钮,在下拉菜单中选择[卸载光驱]菜单项,卸载光驱。
图5-10 卸载光驱
(14) 在管理平台中单击左侧导航树[数据中心/虚拟化/]菜单项,进入虚拟化页面,单击主机页面下的“虚拟机”页签,找到对应的虚拟机,单击操作列的<修改>按钮进入修改虚拟机页面。在“光驱”页签下单击<连接>按钮选择castools.iso文件,为虚拟机挂载castools.iso。
图5-11 修改虚拟机
图5-12 选择文件
图5-13 选择castools.iso文件
图5-14 挂载catstools.ios成功
(15) 挂载完成后,登录操作系统,执行如下命令安装CAStools。
a. 查看光驱路径。
[root@localhost ~]# ll /dev/ | grep -i cdrom
图5-15 查看光驱路径
b. 挂载光驱到指定路径。
[root@localhost ~]# mount /dev/sr0 /media/
图5-16 挂载光驱到指定路径
c. 进入CAStools安装脚本路径,不同版本Workspace的CAStools安装脚本路径可能不同,进入到/media/linux目录中,在此目录中找到CAS_tools_install.sh,并执行该安装脚本。
./CAS_tools_install.sh
图5-17 安装castools
(16) 将/boot/efi/EFI/centos路径下的grubaa64.efi文件拷贝并重命名覆盖/boot/efi/EFI/BOOT下的BOOTAA64.efi,该操作是为了解决重启虚拟机后停留在图5-18界面无法进入系统的问题。以root用户执行如下命令:
[root@localhost ~]# mount -o rw,remount /boot/efi
[root@localhost ~]# cp /boot/efi/EFI/centos/grubaa64.efi /boot/efi/EFI/BOOT/BOOTAA64.EFI
(17) 重启虚拟机验证是否修改成功。如果能正常启动进入系统,则表示修改成功。如果启动过程中停留在如下界面,则继续下一步。
(18) 在上图停留界面中,输入exit进入虚拟机BIOS界面,或在虚拟机开机过程中按下ESC键进入BIOS界面。
图5-19 BIOS界面
(19) 依次选择Boot Maintenance ManageràBoot From FileàNo Volume Label,xxxx[第一项]—>EFIàcentosàgrubaa64.efi启动。
(20) 虚拟机将正常进入系统,继续执行步骤(16)替换文件,完成后重启虚拟机,如果能正常启动进入系统,则表示修改成功。
· 网关安装完成后,默认只有8860端口放通,其余端口被关闭。
· 登录虚拟机后台可采用以下任意一种方式:1、通过虚拟机控制台进入后台;2、通过SSH登录,登录前需开启指定端口,详细步骤可参考7.5章节;3、开启所有端口,详细步骤可参考7.4章节。
(1) 登录虚拟机后台,并上传网关安装包(安装包名称为H3C_Workspace_Gateway_Solution-version.tar.gz)到虚拟机后台。
(2) 执行如下命令解压安装包并切换至解压后的目录。此处,version表示版本号。
[root@localhost ~]# tar -xvf H3C_Workspace_Gateway_Solution-version.tar.gz
[root@localhost ~]# cd H3C_Workspace_Gateway_Solution-version
(3) 执行安装脚本安装网关。
[root@localhost ~]# ./install.sh
(1) 在管理平台中单击左侧导航树[镜像]菜单项,进入镜像页面,单击“镜像虚拟机”页签,将网关镜像虚拟机正常关机后,发布为网关桌面镜像,本文以转换为桌面镜像为例,单击网关镜像虚拟机操作列的<转换为桌面镜像>按钮将网关镜像虚拟机转换为网关桌面镜像,弹出“转换为桌面镜像”对话框。
图5-20 桌面镜像页面
(2) 在“转换为桌面镜像”对话框中选择镜像存储路径,单击<确定>按钮将网关镜像虚拟机转化为桌面镜像。
图5-21 完成制作对话框
(3) 转换为桌面镜像完成之后,在桌面镜像页面的“桌面镜像”页签下,单击网关桌面镜像操作列的<部署>按钮,进入部署虚拟机页面,根据使用需求,在指定主机上部署相应的网关虚拟机。
图5-22 部署网关虚拟机
(4) 在部署虚拟机页面,根据使用需求,在指定主机上部署相应的网关虚拟机。
图5-23 部署网关虚拟机
(5) 部署后的网关虚拟机可以在[数据中心/虚拟化]页面中的对应主机的“虚拟机”页签下看到。
图5-24 网关虚拟机
(1) 在[数据中心/虚拟化]页面中单击虚拟机列表中的网关虚拟机操作列下的<修改>按钮,进入修改虚拟机页面。
图5-25 桌面镜像页面
(2) 单击修改虚拟机页面右上方的<增加硬件>按钮,弹出“增加硬件”对话框。
图5-26 修改虚拟机
(3) 在“增加硬件”对话框中,硬件类型选择“网络”,配置网卡相关信息,完成后单击<确定>按钮完成新建网卡。
图5-27 新建网卡
此时的桌面镜像一共有两张网卡,一张用于对外提供访问,一张用于对内访问Controller和CVK。
(4) 增加网卡完成后,在修改虚拟机页面中的网络页签下为两张网卡配置IP,在IPv4信息项中选择“手工配置”,为虚拟机配置网卡IP地址,也可通过命令行形式配置网卡IP地址,具体操作步骤请参见配置网关网卡IP。
图5-28 配置网卡
· Controller IP一般默认为管理平台IP,管理平台如果有业务网和管理网,则根据实际组网情况选择。
· 登录虚拟机后台可采用以下任意一种方式:1、通过虚拟机控制台进入后台;2、通过SSH登录,登录前需开启指定端口,详细步骤可参考7.5章节;3、开启所有端口,详细步骤可参考7.4章节。
(1) 登录虚拟机后台,根据实际网关代理的Controller地址,执行 gateway proxy –c controller_ip 命令为网关配置代理的Controller IP(如下以10.125.11.112为例)。
[root@localhost ~]# gateway proxy -c 10.125.11.112
Do you want to change the Controller IP for gateway? [Y/n]: y
The controller IP set successfully
(2) 执行命令 gateway config proxy 确认Controller IP是否配置正确。
[root@localhost ~]# gateway config proxy
controller:10.125.11.112
(3) Controller地址配置成功后,便可以使用客户端登录和访问云桌面。
网关虚拟机部署完成后,禁止回应icmp报文,ping命令无法ping通网关,因此需在客户端使用tcping.exe工具检测客户端与网关的连通性。tcp.exe为网上开源工具,请根据需求从官网下载获取32位或64位工具。使用方法如下:
(1) 将下载的tcping.exe工具放在C:\WINDOWS\system32 目录下。若下载的工具是64位,请将名称改为tcping.exe。
(2) 在Windows命令提示符里可以直接使用该命令,输入tcping若出现帮助文档说明工具安装成功。
(3) 使用命令“tcping 网关IP 网关端口号”检测与网关虚拟机的连通性。
如使用IDV和VOI客户端登录网关,需开启代理,配置方法请参考启用网关支持IDV/VOI章节。此处以VDI客户端登录网关为例,登录过程如下:
(1) 用户在终端上启动Workspace
App客户端,进入登录界面,单击图5-29右上角图标或单击图5-30右上角
图标,选择[服务器配置]菜单项。
(2) 在“服务器配置”对话窗中单击<添加服务器>按钮,弹出“添加服务器信息”对话框。在对话框中,服务器地址填写网关服务器地址,端口填写网关服务器对外的端口,单击<确定>按钮完成添加。
· 若网关公网IP和端口经过映射(如映射到企业内部出方向防火墙),请输入映射后的IP地址和端口号。映射后的网络信息,请联系网络管理员获取。
· 若网关公网IP和端口未经过映射,则保持默认端口号8860。
· 服务器地址也支持输入域名与端口号。
图5-31 服务器配置
图5-32 添加服务器信息
(3) 添加网关服务器信息完成后,在“服务器配置”对话窗中勾选添加的网关服务器,单击<关闭>按钮,回到登录界面。在登录界面输入用户名与密码,进入桌面列表界面,双击桌面图标,连接进入到对应的云桌面中。
图5-33 桌面列表界面
负载均衡方案支持启用软件LB功能,软件负载均衡采用LVS DR模式提高转发性能。负载均衡方案的部署要求和组网图请参考负载均衡部署。
软件LB配置流程如下图所示。
图6-1 软件LB配置流程
功能配置命令行帮助如下所示,请参考命令行帮助进行LB配置:
[root@localhost ~]# gateway lb --help
Usage: gateway lb [OPTIONS] ACTION
LB service control, action: enable, disable, status
Options:
-v, --lb-vip VIP Set virtual IP for LB.
-m, --lb-mask NETMASK Set virtual IP network mask for LB.
-t, --lb-port PORT Set Port for LB.
-o, --lb-role ROLE Set default role for this LB.
-a, --lb-master-ip MASTER_IP Set master IP for LB.
-b, --lb-backup-ip BACKUP_IP Set backup IP for LB.
-e, --lb-expose-iface IFACE Set expose interface for LB.
-i, --lb-inner-iface IFACE Set inner interface for LB.
-d, --lb-vroute-dst IP Set virtual route destination for LB.
-s, --lb-vroute-mask NETMASK Set virtual route destination mask for LB.
-n, --lb-vroute-nexthop IP Set virtual route nexthop for LB.
-r, --real-servers IPs Set real servers for LB to proxy.
-p, --real-server-port PORT Set real servers port for LB to proxy.
-u, --lb-virtual-router-id ID Set virtual route id. value range from 1 to 255
--help Show this message and exit.
表6-1 参数说明
参数 |
说明 |
-v或--lb-vip |
高可用虚拟IP地址,对外提供服务的IP |
-m或--lb-mask |
虚拟IP地址的掩码 |
-t或—lb-port |
本LB设备上提供VDP协议服务的端口 |
-r或--lb-role |
本LB设备在HA中的默认角色,取值为master或backup |
-a或--lb-master-ip |
默认主用LB的实IP地址,对应主用LB上的lb-expose-iface参数配置的网卡的IP地址 |
-b或--lb-backup-ip |
默认备用LB的实IP地址,对应备用LB上的lb-expose-iface参数配置的网卡的IP地址 |
-e或--lb-expose-iface |
本LB上对外暴露的IP所在网卡的名称,用于客户端访问LB |
-i或--lb-inner-iface |
本LB上对内访问的IP所在网卡的名称,用于管理平台纳管LB设备用,并且会交互HA的协议报文,不负责转发业务流量 |
-d或--lb-vroute-dst |
虚拟路由的目的网段地址,如果要设置默认路由,则输入0.0.0.0 |
-s或--lb-vroute-mask |
虚拟路由的目的网段的掩码,如果要设置默认路由,则输入0.0.0.0 |
-n或--lb-vroute-nexthop |
虚拟路由的下一跳地址 |
-r或--real-servers |
LB设备代理的网关地址列表,多个IP地址用逗号分隔,如192.168.3.5,192.168.3.6,192.168.3.7 |
-p或--real-server-port |
LB设备代理的网关VDP端口 |
-u或--lb-virtual-router-id |
设置虚拟路由器的ID,取值范围为1-255 |
目前LB仅支持主备模式,配置命令需要分别在主备LB上配置。LB设备使用的虚拟IP地址可以是私网地址或公网地址。无论私网地址或公网地址,推荐将虚拟IP地址配置在对外网卡的子接口上,同时对外网卡的IP地址和网关二层互通。虚拟IP地址可以跟实IP地址同一网段,也可以不同网段,若不同网段,则需要在交换机等网络设备上给虚拟IP地址配置好路由。下面将介绍虚拟IP是私网地址和公网地址两种场景的部署步骤。
该场景下,虚拟路由为可选字段,未配置时,虚拟IP地址的路由使用的是实IP地址相关的路由配置,如实IP地址配置有网关地址,则虚拟IP也可以通过该网关访问到外网。若实IP地址上没有配置网关地址,也没有配置相关路由,则需要配置虚拟路由,使得虚拟IP地址可以访问外网。
以下表网络规划为例:
图6-2 LB网络规划举例-虚拟IP地址是私网IP
LB类型 |
对外网卡/IP |
对外网关 |
对内网卡 |
说明 |
主用LB |
eth0/10.99.207.10 |
10.99.207.1 |
eth1 |
· 虚拟IP地址:10.99.207.2 · 两个LB的对内网卡eth1上配置有同网段的IP地址,对内网卡和对外网卡也可以是同一个网卡 · LB设备代理的安全网关对外网卡地址列表为10.99.207.20,10.99.207.21,10.99.207.22,安全网关地址要求和虚拟IP和实IP都属于同一网段 |
备用LB |
eth0/10.99.207.11 |
10.99.207.1 |
eth1 |
配置步骤如下:
(1) 完成部署方案中的LB虚拟机与网关虚拟机的安装部署。
启用软件LB的LB虚拟机的部署方法与网关虚拟机相同,但是LB虚拟机安装无需进行“配置网关代理地址”步骤。
(2) 在LB虚拟机上执行gateway config lb命令查看当前LB配置信息,出厂有默认配置,默认LB模式处于关闭状态。
[root@localhost ~]# gateway config lb
lb:disable
lb_gateway:false
· lb参数显示enable表示当前设备是一台LB设备,disable表示当前设备未启用LB模式。
· lb_gateway参数显示false表示当前设备不是配合软件LB使用的网关设备,显示true则表示当前设备是配合环境中的软件LB使用的网关设备。
· 需要注意的是,硬件LB设备跟此处的两个参数无关。
(3) 在主用LB上执行如下命令。
gateway lb -v 10.99.207.2 -a 10.99.207.10 -b 10.99.207.11 -e eth0 -i eth1 -r 10.99.207.20,10.99.207.21,10.99.207.22 enable。
(4) 在备用LB上执行如下命令
gateway lb -v 10.99.207.2 -a 10.99.207.10 -b 10.99.207.11 -e eth0 -i eth1 -r 10.99.207.20,10.99.207.21,10.99.207.22 enable。
(5) 在每台网关设备上配置好代理的Controller地址后,执行如下命令将网关适配软件LB环境。
gateway lb-gateway -v 10.99.207.2 enable
(6) 通过如下命令gateway lb status查看本LB 设备上LB服务是否开启,显示active表示已开启。
[root@localhost ~]# gateway lb status
LB service status: active
虚拟IP配置在子接口上,在对外的接口上配置实IP,但是不要求实IP和虚拟IP在同一网段。虚拟IP地址是公网IP,则需要在交换机上配置路由使得数据包可以送到虚拟IP地址上。
以下表网络规划为例:
图6-3 LB网络规划举例-虚拟IP地址是公网IP
LB类型 |
对外网卡/IP |
对外网关 |
对内网卡 |
说明 |
主用LB |
eth0/192.168.5.10 |
不配置 |
eth1 |
· 虚拟IP地址:122.99.207.2,掩码为255.255.255.0,需要配置虚拟的缺省路由的下一跳为122.99.207.10。 · 两个LB的对内网卡eth1上配置有同网段的IP地址,可跟Controller和其他CVK互通,主要是用于后续纳管使用。 · LB设备代理的安全网关对外地址列表为192.168.5.20,192.168.5.21,192.168.5.22,安全网关对外地址要求和LB对外网卡的实IP地址在同一个二层网络,并且配置有网络网关地址,网络网关地址是交换机上的vlan接口地址。 · 交换机上两台LB和三台网关的对外接口的网口需允许通过122.99.207.10和192.168.5.20两个网段的VLAN。 |
备用LB |
eth0/192.168.5.11 |
不配置 |
eth1 |
(1) 在主用LB上执行如下命令。
gateway lb -v 122.99.207.2 -m 255.255.255.0 -a 192.168.5.10 -b 192.168.5.11 -e eth0 -i eth1 -r 192.168.5.20,192.168.5.21,192.168.5.22 -d 0.0.0.0 -s 0.0.0.0 -n 122.99.207.10 enable。
(2) 在备用LB上执行如下命令。
gateway lb -v 122.99.207.2 -m 255.255.255.0 -a 192.168.5.10 -b 192.168.5.11 -e eth0 -i eth1 -r 192.168.5.20,192.168.5.21,192.168.5.22 -d 0.0.0.0 -s 0.0.0.0 -n 122.99.207.10 enable。
(3) 在每台网关设备上配置好代理的Controller地址后,执行如下命令将网关适配软件LB环境。
gateway lb-gateway -v 122.99.207.2 enable
(4) 通过如下命令gateway lb status查看本LB 设备上LB服务是否开启,显示active表示已开启。
[root@localhost ~]# gateway lb status
LB service status: active
输入以下命令关闭软件LB功能:
[root@localhost ~]# gateway lb disable
修改软件LB配置需先关闭软件LB功能,再配置参数并启用软件LB功能,以使修改的配置生效。
安全网关解决方案支持双网关HA部署,主网关失效时,将自动切换到备网关,可以有效防止单点故障,提高可靠性。
启用SR-IOV+安全网关DPDK功能的组网环境不支持HA特性,未启用SR-IOV+安全网关DPDK功能的组网环境可以启用HA功能。
HA配置流程如下图所示。
图6-4 HA配置流程
功能配置命令行帮助如下所示,请参考命令行帮助进行HA配置:
[root@localhost ~]# gateway ha --help
Usage: gateway ha [OPTIONS] ACTION
HA service control, action: enable,disable,status
Options:
-v, --vip VIP Set virtual IP for Gateway HA.
-m, --mask NETMASK Set virtual IP network mask for Gateway HA.
-r, --role ROLE Set default role for this Gateway for HA.
-a, --master-ip MASTER_IP Set master IP for Gateway HA.
-b, --backup-ip BACKUP_IP Set backup IP for Gateway HA.
-e, --expose-iface IFACE Set expose interface for Gateway HA.
-i, --inner-iface IFACE Set inner interface for Gateway HA.
-d, --vroute-dst IP Set virtual route destination.
-s, --vroute-mask NETMASK Set virtual route destination mask.
-n, --vroute-nexthop IP Set virtual route nexthop.
-u, --virtual-router-id ID Set virtual route id. value range from 1 to 255
--help Show this message and exit.
表6-2 参数说明
参数 |
说明 |
-v或--vip |
高可用虚拟IP地址,对外提供服务的IP |
-m或--mask |
虚拟IP地址的掩码 |
-r或--role |
本网关设备在HA中的默认角色,取值为master或backup |
-a或--master-ip |
默认主用网关的实IP地址,对应主用网关上的expose_iface参数配置的网卡的IP地址 |
-b或--backup-ip |
默认备用网关的实IP地址,对应备用网关上的expose_iface参数配置的网卡的IP地址 |
-e或--expose-iface |
对外暴露的IP所在网卡的名称,用于客户端访问网关 |
-i或--inner-iface |
对内访问的IP所在网卡的名称,用于网关访问Controller和虚拟机 |
-d或--vroute-dst |
虚拟路由的目的网段地址,如果要设置默认路由,则输入0.0.0.0 |
-s或--vroute-mask |
虚拟路由的目的网段的掩码,如果要设置默认路由,则输入0.0.0.0 |
-n或--vroute-nexthop |
虚拟路由的下一跳地址 |
-u或—virtual-router-id |
设置虚拟路由器的ID,取值范围从1到255 |
目前HA仅支持主备网关,配置命令需要分别在主备网关上配置。高可用虚拟IP地址可以配置在对外网卡的主接口上,也可以配置在对外网卡的子接口上。配置在主接口上一般适用于虚拟IP地址是一个公网IP地址的场景,配置在子接口上一般适用于虚拟IP地址是一个私网IP地址的场景。下面将分别介绍两种场景的HA配置方案。
该场景对于IP地址使用数量不敏感,推荐为对外网卡配置实IP地址,虚拟IP地址与实IP地址在同一网段。该场景下,虚拟路由为可选字段,未配置时虚拟IP地址的路由使用的是实IP地址相关的路由配置,如果实IP地址配置有网关地址,则虚拟IP也可以通过该网关访问到外网。如果实IP地址上没有配置网关地址,也没有配置相关路由,则需要配置虚拟路由,使得虚拟IP地址可以访问外网。
以下表网络规划为例:
表6-3 启用HA网络规划举例-虚拟IP地址为私网IP
网关类型 |
对外网卡/IP |
对外网卡网关 |
对内网卡 |
说明 |
主用网关 |
eth0/10.99.207.10 |
10.99.207.1 |
eth1 |
· 虚拟IP地址:10.99.207.2 · 两个网关的对内网卡eth1上配置有同网段的IP地址 |
备用网关 |
eth0/10.99.207.11 |
10.99.207.1 |
eth1 |
配置步骤如下:
(1) 执行gateway config ha命令查看当前HA配置信息,出厂有默认配置,默认HA处于关闭状态。HA参数为enable则表示HA服务已开启,disable则表示HA服务已关闭。
[root@localhost ~]# gateway config ha
ha:disable
(2) 在主用网关上执行如下命令。
gateway ha -v 10.99.207.2 -a 10.99.207.10 -b 10.99.207.11 -e eth0 -i eth1 enable
(3) 在备用网关上执行如下命令。
gateway ha -v 10.99.207.2 -a 10.99.207.10 -b 10.99.207.11 -e eth0 -i eth1 enable。
(4) 通过命令gateway ha status查看本机上HA服务是否开启,显示active则表示已开启。
[root@localhost ~]# gateway ha status
gateway HA service status: active
该场景一般对于公网IP地址使用数量较为敏感,所以我们推荐不给对外网卡配置实IP地址,虚拟IP地址直接通过HA功能下发到网卡主接口上。
以下表网络规划为例:
表6-4 启用HA网络规划举例-虚拟IP地址为公网IP
网关类型 |
对外网卡 |
对外网卡IP |
下一跳地址 |
对内网卡 |
说明 |
主用网关 |
eth0 |
未配置 |
10.99.207.1 |
eth1 |
· 虚拟IP地址:10.99.207.2 · 两个网关的对内网卡eth1上配置有同网段的IP地址,请勿在eth1上配置网关地址 |
备用网关 |
eth0 |
未配置 |
10.99.207.1 |
eth1 |
配置步骤如下:
(1) 执行gateway config ha命令查看当前HA配置信息,出厂有默认配置,默认HA处于关闭状态。HA参数为enable则表示HA服务已开启,disable则表示HA服务已关闭。
[root@localhost ~]# gateway config ha
ha:disable
(2) 在主用网关上执行如下命令。
gateway ha -v 10.99.207.2 -m 255.255.255.0 -r master -e eth0 -i eth1 -d 0.0.0.0 -s 0.0.0.0 -n 10.99.207.1 enable
(3) 在备用网关上执行如下命令。
gateway ha -v 10.99.207.2 -m 255.255.255.0 -r backup -e eth0 -i eth1 -d 0.0.0.0 -s 0.0.0.0 -n 10.99.207.1 enable
(4) 通过命令gateway ha status查看本机上HA服务是否开启,显示active则表示已开启。
[root@localhost ~]# gateway ha status
gateway HA service status: active
输入以下命令即可关闭HA功能:
gateway ha disable
修改HA配置需先关闭HA功能,再配置参数并启用HA功能,以使修改的配置生效。
当安全网关部署于虚拟机上时,可通过网关性能加速功能,提升安全网关性能。网关性能加速功能提供3种提升性能的方法,三种方法只能采用其中一种,请用户根据实际情况选择对应方法:
· 虚拟化DPDK:若服务器网卡为Workspace管理平台DPDK功能支持的网卡,则可采用此方法。
· SR-IOV+安全网关DPDK:若服务器网卡为Intel 82599系列网卡,则可采用此方法。
· 内核加速:若前两种方法条件都不满足,则可采用此方法。
若安全网关部署于物理服务器,则无需配置网关性能加速功能。
H3C Workspace支持启用管理平台自带虚拟化DPDK功能,启用虚拟化DPDK功能步骤如下:
主机启用DPDK功能需要完成如下启动项配置:
· 主机开启大页配置:该功能是将内存分页从默认的4K改为2M或1G,减少在运行DPDK时出现从寄存器获取页表失败的情况,提高使用内存时的查表速率,默认将主机一半的内存设为大页内存。
· 主机开启IOMMU配置:该功能是将网卡分为不同的IOMMU组,将物理内存映射为虚拟内存,提升IO设备访问内存的性能。
· CPU隔离:为了能达到最好的性能效果,需要将物理主机的CPU进行隔离,在每个NUMA节点中中选择若干CPU隔离给DPDK使用。如果开启了超线程,也需要将对应的CPU进行隔离,同时预留部分CPU给系统处理使用,不推荐CPU0给DPDK使用。
(1) 在管理平台中单击左侧导航树[数据中心/虚拟化]菜单项,在虚拟化页面左侧单击欲修改的主机,然后单击右侧的“高级设置”页签,将该服务器的大页配置状态和IOMMU状态设置为启用,页大小选择2MB,页数会根据页大小设置带出。
图6-5 启用大页配置与IOMMU
(2) 启用CPU隔离,在CPU隔离配置状态选择框中选择启用CPU隔离。分别选择每个NUMA节点,单击NUMA节点对应操作列的图标,弹出隔离CPU对话框,根据需要选择几个CPU隔离给DPDK使用,不推荐CPU0给DPDK使用,设置完成后单击<保存>按钮。
图6-6 启用CPU隔离
(3) (选配)启用中断亲和性配置,在主机的“高级选项”页签,选择[中断亲和性配置]菜单项,进入主机的中断亲和性配置页面。启用中断亲和性状态。分别选择每个NUMA节点,单击NUMA对应操作列的图标,弹出中断亲和性绑定页面,选择在主机启动项配置步骤(2)中未配置隔离的CPU,单击<确定>按钮,设置完成后单击<保存>按钮。
中断亲和性配置是将中断程序运行到非隔离的CPU上,避免对DPDK或其他实时性程序的影响。
图6-7 中断亲和性配置
图6-8 启用中断亲和性状态
(4) 完成上述配置后,重启主机使得配置生效。在主机概要信息页面单击<进入维护模式>按钮,使主机进入维护模式,单击<更多操作>按钮,选择[重启主机]菜单项重启主机。重启主机完成后退出维护模式。
重启主机时,主机上的业务将中断,请提前完成应对措施。
图6-9 重启主机
(1) 在主机的“高级设置”页签,选择[DPDK配置]菜单项,进入主机的DPDK配置页面,启用DPDK。
图6-10 启用主机DPDK功能
(2) 分别选择两个NUMA节点,单击NUMA对应操作列的图标,弹出“隔离cpu”对话框,输入大页内存容量为2GB,选择在主机启动项配置步骤(2)中设置的隔离的CPU,单击<确定>按钮。
图6-11 配置隔离CPU
(1) 在管理平台中单击左侧导航树[数据中心/虚拟化]菜单项,在虚拟化页面左侧单击欲修改的主机,单击右侧的“物理网卡”页签,选择规划的网卡,单击操作列下的<修改>按钮,弹出“修改物理网卡”对话框,将驱动修改为“VFIO驱动”,单击<确定>按钮,保存修改。
图6-12 修改主机物理网卡驱动-1
图6-13 修改主机物理网卡驱动-2
(1) 在管理平台中单击左侧导航树[数据中心/虚拟化]菜单项,在虚拟化页面左侧单击欲修改的主机,单击右侧的“虚拟交换机”页签,单击<添加>按钮,弹出“增加虚拟交换机”对话框。
图6-14 “虚拟交换机”页签
(2) 在对话框中,网络类型选择“业务网络”,根据需要设置虚拟交换机的VLAN ID,在高级设置中选择启用DPDK,单击<下一步>按钮。
图6-15 增加DPDK虚拟交换机-基本信息
(3) 选择在修改网卡驱动为VFIO步骤中修改了驱动的网卡,根据需要设置IP地址和掩码,单击<完成>按钮完成操作。
图6-16 增加DPDK虚拟交换机-配置网络
(1) 选择顶部“虚拟机”页签,在虚拟机列表中选择网关虚拟机,进入虚拟机概要页面。
(2) 单击<修改>按钮,修改虚拟机CPU工作模式为直通模式。
图6-17 修改CPU工作模式
(3) 虚拟机CPU与物理CPU绑定:单击CPU核数右边的图标,选择虚拟CPU需要绑定的物理CPU,可以一个虚拟CPU绑定多个物理CPU,但同一虚拟机所有的虚拟CPU绑定的物理CPU需要在同一个NUMA里。单击<确定>按钮。
图6-18 绑定物理CPU
(4) 开启内存大页功能,该功能需要在虚拟机关闭状态才能开启,且开启内存大页功能后内存预留,内存限制,内存优先级和内存气球功能都不可以再配置。
图6-19 开启虚拟机大页功能
(5) 开启虚拟NUMA功能。
图6-20 开启虚拟NUMA
(6) 为虚拟机增加DPDK网卡。在修改虚拟机页面单击<增加硬件>按钮,硬件类型选择“网络”,单击<下一步>按钮。设置型号选择“高速网卡”,虚拟交换机选择开启了DPDK功能的虚拟交换机,其余选项根据实际需要进行设置,单击<完成>按钮完成配置。
图6-21 增加DPDK网卡
(7) 至此网关虚拟机DPDK功能配置完成。
安全网关解决方案目前仅支持使用Intel 82599系列网卡,且启用了SR-IOV的情况下启用安全网关自带的DPDK功能,ARM架构主机不支持本功能。建议欲启用本功能的网关虚拟机配置三个网口,一个网口用于管理,使用普通的virtio网卡,另外两个网口使用支持SR-IOV的82599网卡。一张82599网卡上通常有两个网口,可以分别作为出入网关流量的网口。
物理服务器开启SR-IOV功能中启用大页配置和IOMMU操作需重启物理服务器以生效,在启用SR-IOV+安全网关DPDK功能之前,请做好应对举措,避免服务器重启导致服务器上运行虚拟机受到影响。
DPDK配置流程如下图所示,软件LB配置请参考软件LB。
图6-22 DPDK配置流程
(1) 进入物理服务器后台,通过lspci | grep 82599命令确认服务器上是否有支持SR-IOV的82599系列网卡。
root@cvknode124:~# lspci | grep 82599
86:00.0 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
86:00.1 Ethernet controller: Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01)
(2) 在服务器上分别为82599系列网卡的两个网口执行如下命令(命令中以eth5,eth6为例,请根据实际网卡名称进行配置),并且将命令写入启动项脚本中。
[root@cvknode ~]# ethtool -X eth5 hkey d1:81:c6:2c:f7:f4:db:5b:19:83:a2:fc:94:3e:1a:db:d9:38:9e:6b:d1:03:9c:2c:a7:44:99:ad:59:3d:56:d9:f3:25:3c:06:2a:dc:1f:fc
[root@cvknode ~]# ethtool -X eth6 hkey d1:81:c6:2c:f7:f4:db:5b:19:83:a2:fc:94:3e:1a:db:d9:38:9e:6b:d1:03:9c:2c:a7:44:99:ad:59:3d:56:d9:f3:25:3c:06:2a:dc:1f:fc
[root@cvknode ~]# echo "ethtool -X eth5 hkey //将命令加入启动项 d1:81:c6:2c:f7:f4:db:5b:19:83:a2:fc:94:3e:1a:db:d9:38:9e:6b:d1:03:9c:2c:a7:44:99:ad:59:3d:56:d9:f3:25:3c:06:2a:dc:1f:fc" >> /etc/rc.d/rc.local
[root@cvknode ~]# echo "ethtool -X eth6 hkey //将命令加入启动项 d1:81:c6:2c:f7:f4:db:5b:19:83:a2:fc:94:3e:1a:db:d9:38:9e:6b:d1:03:9c:2c:a7:44:99:ad:59:3d:56:d9:f3:25:3c:06:2a:dc:1f:fc" >> /etc/rc.d/rc.local
[root@cvknode ~]# chmod +x /etc/rc.d/rc.local
(3) 如果服务器上存在符合条件的网卡,则在管理平台中单击左侧导航树[数据中心/虚拟化]菜单项,在虚拟化页面左侧单击欲修改的主机,然后单击右侧的“高级设置”页签,将该服务器的大页配置状态和IOMMU状态设置为启用,页大小选择2MB,页数会根据页大小设置带出。设置完成后单击<保存>按钮,并重启主机使得配置生效。
图6-23 启用大页配置与IOMMU
(4) 服务器启动完成后,单击主机操作页面上的“物理网卡”页签,在页签下选择对应的处于活动状态的82599系列网卡,然后在下方的[SR-IOV]页签中启用SR-IOV,并根据网关虚拟机数量配置虚拟网卡个数,一个网关虚拟机需要一个虚拟网卡。
配置SR-IOV之前请做好规划,当网关虚拟机使用SR-IOV切分的虚拟网卡之后,无法再次对SR-IOV进行虚拟网卡数设置。
图6-24 配置SR-IOV
(5) 在管理平台左侧导航栏中单击[数据中心/虚拟化]菜单项,进入虚拟化页面,在页面中单击“虚拟机”页签,单击下方显示的虚拟机列表中的网关虚拟机操作列下的<修改>按钮,进入修改虚拟机页面。参考表2-1修改虚拟机的配置,将CPU个数修改为1个,CPU核数修改为大于等于4核,CPU工作模式改为直通模式。单击CP核数旁的按钮,弹出“绑定物理CPU”对话框,单击虚拟CPU操作列的<编辑>按钮,在弹出的对话框中选择欲绑定的物理CPU,将4个虚拟CPU绑定在同一个物理CPU的不同核上。
图6-25 修改虚拟机CPU配置
图6-26 绑定物理CPU
(6) 单击<增加硬件>按钮,为虚拟机增加两块SR-IOV直通网卡。在“增加硬件”对话框中,硬件类型选择网络,设备类型选择SR-IOV网卡,记录下MAC地址,便于后续通过MAC地址分辨对应网卡和物理端口。重复同样的操作,完成两块SR-IOV网卡的增加,完成后在虚拟化页面中先关闭虚拟机,再启动虚拟机使配置生效。
· 两块SR-IOV直通网卡分别用于外网和内网访问,需要分布在不同的物理网口上,一块82599网卡上有两个万兆口,可以分别给出入方向使用。
· 增加网卡完成后,请务必在虚拟化界面先关闭虚拟机,再启动虚拟机使配置生效。在shell中通过reboot命令重启将会不生效。
· 新增的SR-IOV网卡无需配置IP等信息,在启用DPDK功能时会通过命令行配置。
图6-27 增加SR-IOV网卡
(7) 打开虚拟机控制台,通过ifconfig命令查看网卡是否添加成功,并分别记录网卡编号。如下命令行显示ens10,ens11两个网卡是添加的SR-IOV直通网卡。
[root@localhost ~]# ifconfig
ens10: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
ether 0c:da:41:1d:4c:a3 txqueuelen 1000 (Ethernet)
RX packets 35450 bytes 2331379 (2.2 MiB)
RX errors 0 dropped 37 overruns 0 frame 0
TX packets 203 bytes 35762 (34.9 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
ens11: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
ether 0c:da:41:1d:7b:9c txqueuelen 1000 (Ethernet)
RX packets 35450 bytes 2331379 (2.2 MiB)
RX errors 0 dropped 37 overruns 0 frame 0
TX packets 203 bytes 35762 (34.9 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
(1) DPDK功能配置命令行帮助如下所示,参考命令行帮助配置网卡IP并启用DPDK功能。
[root@localhost ~]# gateway dpdk --help
DPDK control, action: enable or disable.
Options:
-e, --ex-iface IFACE Set DPDK exter interface.
-a, --ex-addr IP Set DPDK exter interface IP address.
-m, --ex-mask NETMASK Set DPDK exter interface netmask.
-l, --ex-addr-alias IP Set DPDK exter interface IP address alias for
LB.
-d, --ex-route-dst IP Set DPDK exter interface route destination.
-k, --ex-route-mask NETMASK Set DPDK exter interface route destination
mask.
-n, --ex-route-nexthop IP Set DPDK exter interface route nexthop.
-i, --in-iface IFACE Set DPDK inner interface.
-r, --in-addr IP Set DPDK inner interface IP address.
-s, --in-mask NETMASK Set DPDK inner interface netmask.
-o, --in-route-dst IP Set DPDK inner interface route destination.
-u, --in-route-mask NETMASK Set DPDK inner interface route destination
mask.
-x, --in-route-nexthop IP Set DPDK inner interface route nexthop.
--help Show this message and exit.
表6-5 参数解释
参数 |
说明 |
ACTION |
enable或disable,enable表示启用dpdk,disable表示关闭dpdk |
-e或--ex-iface |
DPDK对外提供访问的网口 |
-a或--ex-addr |
对外提供访问的网口的IP地址 |
-m或--ex-mask |
对外提供访问的网口的掩码 |
-l或--ex-addr-alias |
配合软件LB使用的VIP地址。用于实际提供外网访问,可选参数 |
-d或--ex-route-dst |
外网路由的目的网段地址,0.0.0.0表示默认路由 |
-k或--ex-route-mask |
外网路由的目的网段掩码,0.0.0.0表示默认路由 |
-n或--ex-route-nexthop |
外网路由的目的下一跳地址 |
-i或--in-iface |
DPDK对内访问Controller和CVK的网口 |
-r或--in-addr |
对内访问Controller和CVK的网口的IP地址 |
-s或--in-mask |
对内访问Controller和CVK的网口的掩码 |
-o或--in-route-dst |
对内路由的目的网段地址,可选,若未填写,默认内网走二层转发 |
-u或--in-route-mask |
对内路由的目的网段掩码,可选,若未填写,默认内网走二层转发 |
-x或--in-route-nexthop |
对内路由的目的下一跳地址,可选,若未填写,默认内网走二层转发 |
为了排除网络中杂包的干扰,提升转发性能,要求网关虚拟机的内部网络和CVK不在同一个二层网络(需要路由器三层转发)。
(2) 以下表网络规划为例,输入以下命令即可开启DPDK功能。
gateway dpdk -e ens11 -a 10.125.35.222 -m 255.255.252.0 -d 0.0.0.0 -k 0.0.0.0 -n 10.125.32.1 -i ens12 -r 192.168.3.222 -s 255.255.255.0 -o 192.168.5.23 -u 255.255.255.0 -x 192.168.3.1 enable
表6-6 启用DPDK-网络规划举例
网口类型 |
名称 |
网口IP |
掩码 |
下一跳地址 |
目的网段/掩码 |
对外网口 |
eth11 |
10.125.35.222 |
255.255.252.0 |
10.125.32.1 |
无 |
对内网口 |
eth12 |
192.168.3.222 |
255.255.255.0 |
192.168.3.1 |
192.168.5.23/24(Controller与CVK在该网段下) |
(3) 对于DPDK支持LB的场景,需要在DPDK网关上启用-l或--ex-addr-alias参数,设置软件LB使用的虚拟IP地址。该虚拟IP地址和软件LB设备上使用的虚拟IP地址一致。在上述同样环境下,假设虚拟IP地址是10.125.35.224,在其他网关设备上启用软件LB后,该网关上需要执行的命令如下。
gateway dpdk -e ens11 -a 10.125.35.222 -m 255.255.252.0 -l 10.125.35.224 -d 0.0.0.0 -k 0.0.0.0 -n 10.125.32.1 -i ens12 -r 192.168.3.222 -s 255.255.255.0 -o 192.168.5.23 -u 255.255.255.0 -x 192.168.3.1 enable
输入以下命令即可关闭DPDK功能:
Gataway dpdk disable
修改DPDK配置需先关闭DPDK功能,再配置参数并启用DPDK功能,以使修改的配置生效。
开启内核加速功能后,高速类型网卡将以一个单独线程的形式在CVK内核中进行模拟,可以提升虚拟机网络性能,配置方法如下:
(1) 选择顶部“虚拟机”页签,在虚拟机列表中选择网关虚拟机,进入虚拟机概要页面。
(2) 单击<修改>按钮,单击“网络”页签,在类型为高速网卡的网卡“高级设置”中,启用“内核加速”功能,并设置队列个数与CPU个数*CPU核数相同,单击<应用>按钮,完成内核加速配置。
虚拟机处于关闭状态才可配置内核加速功能。
图6-28 启用内核加速功能
安全网关默认端口为8860,支持修改网关端口,修改网关端口命令帮助如下:
[root@localhost ~]# gateway server --help
Usage: gateway server [OPTIONS]
Config server attribute
Options:
-p, --server-port PORT Set Server Port.
--help Show this message and exit.
SSV是H3C Workspace的用户自助系统,网关默认未开启代理SSV。
执行gateway proxy –help可查看支持的命令,命令帮助如下:
[root@localhost ~]# gateway proxy --help
Usage: gateway proxy [OPTIONS]
Config proxy service attribute
Options:
-c, --controller IP Set controller IP for Gateway to proxy.
-p, --controller-port PORT Set controller port for Gateway to proxy.
-w, --platform-server IP Set platform-server IP for Gateway to
proxy.
-s, --platform-server-port PORT
Set platform-server port for Gateway to
proxy.
-t, --platform-server-http-type TYPE
Set platform-server http-type[http/https]
for Gateway to proxy.
-i, --idvvoi STATE Enable IDV/VOI[enable/disable] for Gateway
to proxy.
-n, --nextcloud STATE Enable nextcloud[enable/disable] for
Gateway to proxy.
-y, --nextcloud-http-type TYPE Set nextcloud http-type[http/https] for
Gateway to proxy.
-e, --nextcloud-ip IP Set nextcloud IP for Gateway to proxy.
-x, --nextcloud-port PORT Set nextcloud port for Gateway to proxy.
-v, --ssv STATE Enable SSV[enable/disable] for Gateway to
proxy.
-o, --ssv-port PORT Set SSV port for Gateway to proxy.
--help Show this message and exit.
其中,如下几个参数涉及到SSV功能:
· -c, --controller IP :默认反向代理的SSV功能访问的IP使用controller IP,如果设置了platform-server IP 参数,则以platform-server IP为反向代理的SSV IP。
· -v, --ssv STATE:开启或关闭SSV功能。
· -o, --ssv-port PORT:设置SSV的端口号,用于对接云上版本。云下版本的SSV的端口号默认为8083,无需修改。云上版本的SSV端口号与云下不同,云上版本使用SSV时需将端口号修改为8099。
· -w, --platform-server IP:设置管理平台访问路径,若未设置则默认使用controller IP,也可根据实际部署环境进行设置。
· 正常情况下,云下管理平台环境开启ssv功能只需执行gateway proxy -v enable即可。
· 开启后,即可通过https://网关对外IP地址:网关对外端口号/ssv/,访问ssv门户网站下载客户端,其中/ssv/最后的/不能省略,需要完整输入。
除了在管理平台中的虚拟化页面中配置网关网卡IP,还支持通过命令行配置网关网卡IP地址,命令行帮助如下:
[root@localhost nginx]# gateway network --help
Usage: gateway network [OPTIONS] IFACE
system network control, iface: eth0, eth1
Options:
-o, --onboot ONBOOT Set ONBOOT[yes/no] for Interface config file.
-b, --bootproto PROTO Set BOOTPROTO[static/dhcp/none] for Interface config
file.
-i, --ipaddr IP Set IPADDR for Interface config file.
-n, --netmask NETMASK Set NETMASK for Interface config file.
-g, --gateway GATEWAY Set GATEWAY for Interface config file.
-d, --dns DNS Set DNS for Interface config file.
--help Show this message and exit.
网关支持通过命令行开启或关闭系统端口,默认网关系统仅开放8860端口供访问使用,当需要进行网络故障排查时,可执行如下命令开启系统端口:
[root@localhost nginx]# gateway sys-port open //开启系统端口
当完成系统排查后,建议执行如下命令关闭系统端口:
[root@localhost nginx]# gateway sys-port close //关闭系统端口
网关支持配置用于平时维护用的ssh端口和访问网卡,网卡建议指定为内网访问网卡。命令帮助如下:
[root@localhost nginx]# gateway ssh-access --help
Usage: gateway ssh-access [OPTIONS] ACTION
ssh access control, action: open, close
Options:
-i, --interface INTERFACE Set interface for ssh access.
-p, --port PORT Set port for ssh access.
--help Show this message and exit.
如果要配置通过网卡eth0,端口12345以SSH方式访问网关,则命令为:
[root@localhost nginx]# gateway ssh-access -i eth0 -p 12345 open
输入以下命令禁用以SSH方式访问网关:
[root@localhost nginx]# gateway ssh-access close
网关默认未开启代理IDV/VOI客户端,开启之后IDV/VOI终端可通过网关连接管理平台。
IDV/VOI终端无法自动发现网关地址,需在IDV/VOI终端手动设置网关对外IP地址、端口号。
执行gateway proxy –help查看支持的命令,命令的帮助如下:
[root@localhost ~]# gateway proxy --help
Usage: gateway proxy [OPTIONS]
Config proxy service attribute
Options:
-c, --controller IP Set controller IP for Gateway to proxy.
-p, --controller-port PORT Set controller port for Gateway to proxy.
-w, --platform-server IP Set platform-server IP for Gateway to
proxy.
-s, --platform-server-port PORT
Set platform-server port for Gateway to
proxy.
-t, --platform-server-http-type TYPE
Set platform-server http-type[http/https]
for Gateway to proxy.
-i, --idvvoi STATE Enable IDV/VOI[enable/disable] for Gateway
to proxy.
-n, --nextcloud STATE Enable nextcloud[enable/disable] for
Gateway to proxy.
-y, --nextcloud-http-type TYPE Set nextcloud http-type[http/https] for
Gateway to proxy.
-e, --nextcloud-ip IP Set nextcloud IP for Gateway to proxy.
-x, --nextcloud-port PORT Set nextcloud port for Gateway to proxy.
-v, --ssv STATE Enable SSV[enable/disable] for Gateway to
proxy.
-o, --ssv-port PORT Set SSV port for Gateway to proxy.
--help Show this message and exit.
其中,如下参数涉及到网关代理IDV/VOI功能:
· -i, --idvvoi STATE:表示是否开启或关闭网关代理IDV/VOI功能。默认为关闭。
正常情况下,执行gateway proxy -i enable即可开启网关代理IDV/VOI功能。
网关默认未开启云盘代理,但是可以通过命令开启代理功能。
执行gateway proxy --help查看支持的命令,命令的帮助如下:
[root@localhost ~]# gateway proxy --help
Usage: gateway proxy [OPTIONS]
Config proxy service attribute
Options:
-c, --controller IP Set controller IP for Gateway to proxy.
-p, --controller-port PORT Set controller port for Gateway to proxy.
-w, --platform-server IP Set platform-server IP for Gateway to
proxy.
-s, --platform-server-port PORT
Set platform-server port for Gateway to
proxy.
-t, --platform-server-http-type TYPE
Set platform-server http-type[http/https]
for Gateway to proxy.
-i, --idvvoi STATE Enable IDV/VOI[enable/disable] for Gateway
to proxy.
-n, --nextcloud STATE Enable nextcloud[enable/disable] for
Gateway to proxy.
-y, --nextcloud-http-type TYPE Set nextcloud http-type[http/https] for
Gateway to proxy.
-e, --nextcloud-ip IP Set nextcloud IP for Gateway to proxy.
-x, --nextcloud-port PORT Set nextcloud port for Gateway to proxy.
-v, --ssv STATE Enable SSV[enable/disable] for Gateway to
proxy.
-o, --ssv-port PORT Set SSV port for Gateway to proxy.
--help Show this message and exit.
其中,如下参数涉及到网关云盘代理功能:
· -n, --nextcloud STATE:该参数用于开启或关闭云盘代理功能。
· -y, --nextcloud-http-type TYPE:该参数用于修改反向代理的云盘服务器的访问协议,默认是http。
· -e, --nextcloud-ip IP::该参数可以修改反向代理的云盘服务器的IP,默认使用controller IP地址。
· -x, --nextcloud-port PORT:该参数用于修改反向代理的云盘服务器的端口号,默认使用8888。
· 正常情况下,执行gateway proxy -n enable即可开启网关代理云盘功能。
· 开启云盘代理之前要保证已经在相应的管理平台上启用云盘功能,否则开启代理由于后台服务本身未启动也会无法正常使用。
配置完成后,管理平台支持对通过网关接入的IDV、VOI终端进行远程协助。
执行gateway proxy –-help查看支持的命令,命令的帮助如下:
[root@localhost ~]# gateway vnc --help
Usage: gateway vnc [OPTIONS] ACTION
Config vnc proxy service attribute, action:enable,disable or status
Options:
-p, --vnc-port PORT Set Port for VNC proxy service.
-a, --vnc-access-ip IP Set IP for browser to access.
--help Show this message and exit.
其中,如下参数涉及到开启VNC代理功能:
· --vnc-port PORT:网关上提供VNC代理服务的端口,若存在NAT设置,则需要将其通过NAT设备映射到公网。
· -a, --vnc-access-ip IP:网关上能够与管理平台互通的IP地址,用于在管理平台使用远程协助功能访问IDV、VOI终端。
网关默认代理协议为http,但是可以通过命令切换为https。
执行gateway proxy --help查看支持的命令,命令的帮助如下:
[root@localhost ~]# gateway proxy --help
Usage: gateway proxy [OPTIONS]
Config proxy service attribute
Options:
-c, --controller IP Set controller IP for Gateway to proxy.
-p, --controller-port PORT Set controller port for Gateway to proxy.
-w, --platform-server IP Set platform-server IP for Gateway to
proxy.
-s, --platform-server-port PORT
Set platform-server port for Gateway to
proxy.
-t, --platform-server-http-type TYPE
Set platform-server http-type[http/https]
for Gateway to proxy.
-i, --idvvoi STATE Enable IDV/VOI[enable/disable] for Gateway
to proxy.
-n, --nextcloud STATE Enable nextcloud[enable/disable] for
Gateway to proxy.
-y, --nextcloud-http-type TYPE Set nextcloud http-type[http/https] for
Gateway to proxy.
-e, --nextcloud-ip IP Set nextcloud IP for Gateway to proxy.
-x, --nextcloud-port PORT Set nextcloud port for Gateway to proxy.
-v, --ssv STATE Enable SSV[enable/disable] for Gateway to
proxy.
-o, --ssv-port PORT Set SSV port for Gateway to proxy.
--help Show this message and exit.
其中,如下参数涉及到网关代理协议http功能:
· -s, --platform-server-port PORT:该参数用于设置网关代理到管理平台的端口,管理平台协议为http时,端口为8083;管理平台协议为https时,端口为8480。
· -t, --platform-server-http-type TYPE:设置网关代理到管平台的访问协议,可设置为http或https,默认为http。
当管理平台的访问协议切换为https,安全网关代理协议也需同步切换为https。
输入以下命令设置网关代理协议为https:
[root@localhost ~]# gateway proxy –t https –s 8480
安全网关支持启用UDP协议,通过UDP协议可以提升广域网或者弱网环境下的用户体验。启用UDP命令帮助如下:
[root@localhost udplib]# gateway udp --help
Usage: gateway udp [OPTIONS] ACTION
UDP control, action: enable or disable.
Options:
--help Show this message and exit.
即执行gateway udp enable即可启用UDP协议,UDP端口跟TCP端口相同,默认也是8860,TCP端口修改后UDP端口也会同步修改,修改端口命令为gateway server -p命令。
如果需要安全网关代理虚拟应用和共享桌面,则需要在安全网关上启用VDP服务代理。启用VDP服务代理命令帮助如下:
[root@localhost ~]# gateway vdp-service --help
Usage: gateway vdp-service [OPTIONS] ACTION
Config VDP service gateway attribute, action: enable, disable or status
Options:
-p, --vdp-service-port PORT Set Port for VDP service Gateway.
-h, --vdp-service_hosts IP:PORT
Set Hosts for VDP service Gateway to proxy.
The setting form is IP1:Port1,IP2:Port2 or
any, any will allowed to connect to any
hosts(insecure)
--help Show this message and exit.
· -p, --vdp-service-port PORT:(可选)如果公网仅支持映射安全网关上的一个端口出去,则本参数可以不配置,不配置情况下跟安全网关连接云桌面的端口复用,即虚拟应用和共享桌面默认也走8860端口。如果手动配置该端口,则即可以通过配置的独立端口访问虚拟应用和共享桌面,也可以跟连接云桌面的端口复用。端口复用的优点是对公网仅需要暴露一个端口,缺点是同样连接数量,CPU占用会更高。
· -h, --vdp-service_hosts IP:PORT:(必选)配置安全网关代理的虚拟应用和共享桌面服务器的IP和端口。格式为IP1:Port1,IP2:Port2,如192.168.1.2:3389,192.168.1.3:3389,表示192.168.1.2和192.168.1.4两台是提供虚拟应用或者共享桌面的服务器,也可以设置为any,此时表示安全网关可以代理任意的虚拟应用或者共享桌面服务器。
网关默认未开启报表服务代理,可以通过命令开启并自定义服务端口。
执行gateway log-monitor --help 命令以查看支持的命令:
[root@localhost ~]# gateway log-monitor --help
Usage: gateway log-monitor [OPTIONS] ACTION
Config log monitor proxy attribute, action: enable or disable
Options:
-p, --log-monitor-port PORT Set Port for log monitor service.
-r, --log-monitor-server IP Set log monitor server for VDI Gateway to proxy.
-s, --log-monitor-server-port PORT Set log monitor server Port for VDI Gateway to proxy.
--help Show this message and exit.
· -p,--log-monitor-port PORT:网关上提供报表服务的端口,若存在NAT设置,则需要将其通过NAT设备映射到公网。
· -r,--log-monitor-server IP:报表服务器的IP地址。
· -s,--log-monitor-server-port PORT:报表服务器提供服务的端口。
若报表服务器IP为1.1.1.1,网关与报表服务器提供服务端口均为8702,则开启配置网关报表服务命令示例为:
gateway log-monitor -p 8702 -r 1.1.1.1 -s 8702 enable
当管理平台完成升级之后,必须将安全网关也升级到对应的版本。
· 进行网关升级操作之前,请确保升级网关上没有承载云桌面连接,网关升级过程中会重启相关服务,可能会导致网关上的云桌面连接中断。
· 如果是从E1011L06之前版本升级到新版本,升级成功后,需要重启安全网关所在的虚拟机或服务器。
安全网关升级操作步骤如下:
(1) 登录网关虚拟机后台,并上传网关安装包(安装包名称为H3C_Workspace_Gateway_Solution-version.tar.gz)到虚拟机后台。
(2) 执行如下命令解压安装包并切换至解压后的目录。此处,version表示版本号。
[root@localhost ~]# tar -xvf H3C_Workspace_Gateway_Solution-version.tar.gz
[root@localhost ~]# cd H3C_Workspace_Gateway_Solution-version
(3) 执行升级脚本升级网关。
[root@localhost ~]# ./install.sh –u
(4) 查看网关版本,确认升级结果。
[root@localhost ~]# gateway --version
· 网关升级完成后,原有的网关功能配置不会发生变化,如需启用新功能或变更网关配置,请按需执行配置命令。
· 登录虚拟机后台可采用以下任意一种方式:1、通过虚拟机控制台进入后台;2、通过SSH登录,登录前需开启指定端口,详细步骤可参考7.5章节;3、开启所有端口,详细步骤可参考7.4章节。
如需卸载网关虚拟机上安装的网关,请通过以下方法卸载:
(1) 在解压后的安装包路径H3C_Workspace_Gateway_Solution-version中,执行./install.sh –r命令完成网关卸载。
(2) 也可在路径/var/lib/vdigateway/中,执行./install.sh –r命令完成网关卸载。