- 产品与解决方案
- 行业解决方案
- 服务
- 支持
- 合作伙伴
- 关于我们
14-统一数字底盘异地容灾系统配置举例
本章节下载： 14-统一数字底盘异地容灾系统配置举例 (1.54 MB)
配置举例
资料版本：5W101-20250814
Copyright © 2025 新华三技术有限公司 版权所有，保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
除新华三技术有限公司的商标外，本手册中出现的其它公司的商标、产品标识及商品名称，由各自权利人拥有。
本文档中的信息可能变动，恕不另行通知。
3.5.4 （可选）配置License Server容灾连接
4.2 主备断连后，在主站点上删除异地容灾系统，导致备站点上配置残留如何处理？
4.3 升主降备过程中，主备之间网络异常，导致降备站点无法访问如何处理？
4.4 自动倒换模式下出现备用站点接管成功，主用站点无法自动降备如何处理？
异地容灾功能通过在异地（同城或跨地域）部署备用系统，构建主备双活或多活架构，确保在主数据中心因自然灾害、硬件故障、网络中断或人为操作失误等原因导致服务中断时，能够迅速切换与恢复业务系统，从而保障关键业务的连续性和数据安全。
在配置异地容灾系统之前，请确保已部署两套统一数字底盘系统，具体部署过程可参考《统一数字底盘部署指导》。如需配置自动倒换模式的异地容灾系统，需参考《统一数字底盘部署指导》部署仲裁服务。
· 手动倒换模式：当某一站点发生故障时，需要用户手动干预以触发倒换操作。
· 自动倒换模式：需要在主备站点之外的第三方位置部署仲裁服务，作为自动倒换的仲裁器。当异地容灾系统中的某个节点或网络发生异常时，仲裁服务将负责判断并决定是否进行自动倒换。
表1 部署说明
|
异地容灾模式 |
所需服务器数量（台） |
部署说明 |
|
1＋1手动倒换模式 |
2 |
用于部署两套统一数字底盘系统及其他控制组件 |
|
1＋1＋1自动倒换模式 |
3 |
2台服务器用于部署两套统一数字底盘系统及其他控制组件；1台用于部署仲裁服务 |
|
3＋3手动倒换模式 |
6 |
每3台形成集群，用于部署两套统一数字底盘系统及其他控制组件 |
|
3＋3＋1自动倒换模式 |
7 |
每3台形成集群，用于部署两套统一数字底盘系统及其他控制组件；1台用于部署仲裁服务 |
|
（3 Master+n Worker）+（3 Master+n Worker）手动倒换模式 |
6+2n |
每3个Master＋n（n≥0）个Worker形成集群，用于部署两套统一数字底盘系统及其他控制组件 |
|
（3 Master+n Worker）+（3 Master+n Worker）+1自动倒换模式 |
7+2n |
每3个Master＋n（n≥0）个Worker形成集群，用于部署两套统一数字底盘系统及其他控制组件；1台用于部署仲裁服务 |
企业B是一家专注于东南亚市场的跨境电商，其总部位于广州，分部位于厦门。采用1+1手动倒换模式的异地容灾系统，以确保总部主数据中心故障时，核心业务数据能够快速恢复。
将广州总部的站点系统配置为主站点，厦门的站点系统配置为备站点，搭建1+1手动倒换模式的异地容灾系统。
适用于统一数字底盘E71xx版本。
· 异地容灾系统页面的数据不支持备份与恢复，包括主备站点名称、主备站点IP、备站点用户名和密码以及仲裁站点IP。由于主备站点的配置存在差异，这些配置数据存储在数据库中，不随业务数据的备份与恢复而更新。
· 在创建异地容灾系统时，备站点的用户名和密码必须与当前登录的主站点保持一致。因为在建立容灾关系后，主备站点的业务数据将完全同步，包括所有业务用户及其密码。
· 在创建异地容灾系统时，备站点的用户名和密码必须与当前登录的主站点一致。这样，在建立容灾关系后，主备站点的业务数据将完全同步，包括所有业务用户及其密码。
· 在异地容灾场景下使用系统访问控制功能时，需要在主站点添加自身及备站点所有节点的IP，并在备站点添加自身及主站点所有节点的IP，以确保主备站点之间的业务交互正常。
· 主备站点的IP地址必须能够互相访问。
· 主备站点的CPU架构必须一致，例如均为x86架构。
· 主备站点的Matrix架构必须一致，例如均为Matrix单机或Matrix集群。
· 主备站点的NTP服务器必须保持一致。
· 主备站点的协议族必须一致，例如均为IPv4、IPv6或双栈。
· 主备站点的访问协议和端口必须一致，例如均为HTTP或HTTPS。
· 主备站点已部署的组件类型必须一致，且同一类型的组件版本号也必须一致。
· 主备站点的服务状态必须保持一致。
· 主备站点安装的统一数字底盘品牌和版本必须保持一致，例如均为H3C E7105版本。
在搭建双栈环境的异地容灾系统时，NTP服务器IP地址所使用的IP协议必须与异地容灾系统所用的IP协议保持一致。
搭建异地容灾系统时，主备站点的NTP服务器配置必须一致且唯一，可以参考以下两种方案：
· 方案一：配置一个第三方NTP服务，主备站点均选择外置服务器，并配置NTP服务器的IP地址。
· 方案二：主站点或备站点配置为内置服务器，另一站点则配置为外置服务器，外置NTP服务器地址需配置为对端的北向业务虚IP。例如，如果主站点的NTP服务器类型配置为内置服务器，则备站点的NTP服务器应配置为外置服务器，并将NTP服务器地址配置为主站点的北向业务虚IP地址。
(1) 在浏览器中输入“https://ip_address:8443/matrix/ui”，登录Matrix。其中“ip_address”为北向业务虚IP地址。
(2) 进入[部署>集群>集群参数]页面。
(3) 单击<修改>按钮，配置NTP服务器。
¡ 内置服务器：在“NTP服务器”下拉框中选择“内置服务器”。
¡ 外置服务器：在“NTP服务器”下拉框中选择“外置服务器”后，单击<增加NTP服务器>按钮，在弹出的窗口中输入NTP服务器的IP地址，然后单击<确定>按钮。
(4) 单击<确定>按钮，即可完成配置。
图1 NTP服务器配置
统一数字底盘主备之间的数据同步默认通过北向业务虚IP所在的网卡进行。在某些场景下，为了分离数据与管理网络流量，可能需要单独配置数据同步网络。如果不需要单独配置，可以忽略此步骤。
如果使用自定义虚IP进行数据同步，在搭建异地容灾系统时必须手动勾选“数据同步虚IP”。否则，即使配置了名称为“rdrDataSync”的虚IP，系统仍将使用北向业务虚IP作为数据同步虚IP。
(1) 进入Matrix的[部署>集群>集群参数]页面，单击<修改>按钮，勾选“自定义虚IP”，然后单击<增加自定义虚IP>按钮。
(2) 在弹框中配置自定义虚IP的名称、IP地址及需绑定的网卡。其中，“自定义虚IP名称”固定为“rdrDataSync”。配置完成后，单击<确定>按钮。
图2 增加自定义虚IP
(3) 集群参数配置完成后，在浏览器中输入“http://ip_address:30000”登录统一数字底盘，其中“ip_address”为北向业务虚IP。
(4) 进入[系统>应急管理>异地容灾]页面，勾选“数据同步虚IP”复选框以启用该功能。
图3 勾选数据同步虚IP
在异地容灾系统删除后，如果两个站点需要创建上下级关系，必须使用搭建异地容灾系统前备站点的备份文件来恢复备站点；否则，由于两套环境的regionID相同，将无法建立上下级关系。
在创建异地容灾系统之前，两个站点需各自执行备份操作，然后将备份文件下载并保存。如果在删除异地容灾后不需要恢复数据，可以忽略此步骤。
图4 备份主备站点数据
在创建异地容灾系统之前，需要配置License Server的异地容灾连接。请根据各方案的需求进行相应配置。
(1) 进入统一数字底盘的[系统>License管理>License信息]页面，配置License Server的主备连接地址信息。
(2) 配置完成后单击<连接>按钮。
图5 配置License Server异地容灾连接
(1) 登录统一数字底盘系统，进入[系统>应急管理>异地容灾]页面。
(2) 配置主站点的名称和IP地址。主站点IP地址必须是Matrix北向业务虚IP地址。
(3) 配置备站点的名称、IP地址、用户名和密码。备站点IP地址必须是Matrix北向业务虚IP地址。
(4) 配置倒换模式，可选择“手动倒换”或“带仲裁的自动转换”两种倒换模式，当选择“带仲裁的自动转换”模式时，需额外配置仲裁站点IP地址，并且仲裁站点IP地址必须是已部署仲裁服务的服务器IP地址。本例选择“手动倒换”模式。
(5) 可根据业务需求选择是否配置异地容灾系统虚IP和数据同步虚IP。若创建容灾系统时未勾选“数据同步虚IP”，系统将默认使用主备站点的IP地址作为虚IP地址。本例因不需要该功能，因此不进行配置。
表2 参数配置说明
|
配置项 |
说明 |
备注 |
|
主站点名称 |
首次建立容灾时配置为主角色的站点名称，用户自定义。 |
最长30个字符，区分大小写，仅支持中文、字母、数字和下划线。 |
|
主站点IP |
首次建立容灾时配置为主角色的站点北向IP，支持IPv4和IPv6。 |
主备站点IP必须是可达的，并且协议栈一致，都是IPv4或者都是IPv6。 |
|
备站点名称 |
首次建立容灾时配置为备角色的站点名称，用户自定义。 |
最长30个字符，区分大小写，仅支持中文、字母、数字和下划线。 |
|
备站点IP |
首次建立容灾时配置为备角色的站点北向IP，支持IPv4和IPv6。 |
主备站点IP必须是可达的，并且协议栈一致，都是IPv4或者都是IPv6。 |
|
备站点用户名 |
配置为备角色的站点系统的用户名。 |
必须是拥有管理员权限的用户，并且此用户必须正在主站点也存在。推荐使用admin用户。 |
|
备站点密码 |
配置为备角色的站点系统的用户密码。 |
-- |
|
倒换模式 |
目前支持手动倒换和带仲裁的自动倒换，两种模式。 |
· 手动倒换：系统异常时，需用户手动干预触发倒换。 · 自动倒换：系统异常时，系统根据心跳状态，关键服务状态等条件判断和仲裁是否需要倒换，并且触发自动倒换。 |
|
仲裁站点IP（可选） |
仲裁服务所在服务器的IP地址。 |
选中“带仲裁的自动倒换模式“时，仲裁站点IP必填。 |
|
异地容灾系统虚IP配置（可选） |
异地容灾系统对外提供的IP地址，始终落在角色为主的站点上。 |
· 主备站点、仲裁节点之间的IP都是可达的，并且协议栈一致，都是IPv4或者都是IPv6。 |
|
数据同步虚IP（可选） |
用于底座数据同步的专用IP地址。 |
勾选时，需提前在主备站点的Matrix系统上创建固定名称为rdrDataSync的自定义虚IP，如何配置可参考3.5.2 （可选）配置数据同步虚IP。 |
(6) 完成上述配置后，单击<连接>按钮，等待异地容灾系统的站点配置完成。当心跳链路连接状态显示“连接成功”时，表示站点配置成功。
图6 异地容灾页面
在异地容灾系统建立后，可以根据具体场景需求对以下配置进行更新：
· 备站点的用户名和密码
· 倒换模式
· 异地容灾系统虚IP配置
图7 异地容灾系统配置更新提示
异地容灾系统成功创建后，可以通过手动倒换来测试备用集群是否能够正常接管主集群的业务。
(1) 在倒换之前，请确认主备站点之间的心跳正常，且数据同步状态为“已同步”或“同步中”。单击<检查>按钮进行倒换前的检测，如发现异常，请先进行修复再进行倒换。
(2) 在手动模式下，发生站点故障时，可以登录原主用站点，进入异地容灾系统管理页面，单击“降备”图标；或者登录备用站点，单击“接管”图标以完成主备集群的切换。
图8 手动接管和降备
(3) 在倒换过程中，异地容灾页面会显示倒换进度，用户可以根据该进度了解当前的倒换状态。
倒换过程中，需要注意以下事项：
· 请勿进行任何业务操作。
· 原备，待升主的站点不能执行下电，中断网络，切主等异常操作。
· 原备站点、待升主的站点，禁止执行下电、中断网络、切主等异常操作。
· 组件降备或升主完成后，请刷新页面以获取最新信息。
图9 倒换进度
(4) 倒换结束后，请检查新主用站点的数据同步状态是否恢复正常。在稳定状态下，数据同步状态应显示为“已同步”。同时，观察新主用站点的北向和南向业务是否能够正常处理。
(5) 登录原主用站点，检查其是否已降为备用，并确认原主用（新备用）站点的数据同步状态是否为“已同步”。
当不再需要异地容灾系统时，请在异地容灾页面单击<删除站点>按钮以解除系统的容灾关系。
删除容灾关系期间，请勿进行任何业务操作。
图10 删除异地容灾系统
无论创建、倒换还是删除异地容灾系统的流程是成功还是失败，各组件的钩子脚本执行结果都会记录在流程日志中，以便于后续维护。以创建异地容灾系统为例，您可以单击<创建异地容灾系统日志>按钮来查看相关流程日志。
图11 查看流程日志
图12 创建异地容灾系统的流程日志
异地容灾创建，倒换和删除的过程，涉及调用各组件的钩子脚本，流程复杂，并且耗时久，当出现失败的情况时，可按以下步骤排查：
(1) 先查看流程日志，找到执行失败的钩子脚本
(2) 若无流程日志，比如E07XX版本，未支持流程日志，则从系统日志排查，“模块名称”选择“RDRS”，点击搜索，找到执行失败的日志
(3) 若还是未找到失败的脚本，则找对应的开发人员进行定位
图13 系统日志排查
在异地容灾场景下，当备站点宕机或与主站点网络异常时，若用户在主站点执行删除异地容灾系统的操作，备站点因无法接收主站点指令，会导致异地容灾相关配置残留，其组件仍处于异地容灾模式。可以通过执行删除备站点配置脚本进行修复。可通过以下步骤解决：
(1) 在备站点任意一个节点上执行如下命令。
[root@node-223-212 ~]# sh /opt/matrix/app/install/metadata/UNIFIED-PLATFORM-EXTENSION/rdr/scripts/clearMemberRdrConfig.sh
(2) 脚本执行后返回success表示修复成功。
图14 返回结果
在异地容灾场景的升主降备过程中，主备站点间网络异常，导致降备站点（原主）无法访问，页面显示异常。同时，由于网络问题，降备站点执行降备操作时无法与新主建立连接，进而引发数据库异常。可通过如下步骤处理：
(1) 如果新主异地容灾页面显示状态为升主失败，确保主备网络恢复正常后，登录新主用站点的统一数字底盘页面，进入[系统>应急管理>异地容灾]页面，单击容灾关系中组件的
按钮，等待升主成功即可。
(2) 如果新主异地容灾页面显示状态为主用状态，确保主备网络恢复正常后，在备站点上执行命令kubectl get pod -A -o wide | grep rdrs-pod查看异地容灾服务所在节点，在站点异地容灾服务所在节点上执行sh /opt/matrix/app/install/metadata/UNIFIED-PLATFORM-EXTENSION/rdr/scripts/forceDropProduct.sh命令，脚本执行日志提示如下图所示即可说明修复成功。
图15 返回结果
在带仲裁的自动倒换模式下，主用站点出现异常，备用站点自动接管成功。原主用站点异常恢复后，无法自动降备，出现双主状态。可通过一下步骤处理：
(1) 确保原主用站点恢复正常后，登录新主用站点的统一数字底盘页面，进入[系统>应急管理>异地容灾]页面，修改倒换模式为手动模式后，单击容灾关系中组件的
按钮，等待降备成功即可。
(2) 如果上述操作完成后故障仍无法排除，请联系技术支持工程师。
统一数字底盘支持多子网配置。其原理是在节点上启动BGP对等体，与上层交换机建立BGP路由交换，从而将节点上的虚IP路由发布出去，实现不同网段节点间的虚IP互通，满足所有节点对虚IP的访问需求。同理，若两个多子网集群配置了异地容灾虚IP，双方也需通过BGP交换异地容灾虚IP的路由信息。
这里首先需理解BGP的基本概念和核心逻辑，本文不涉及详细内容，仅说明相关关键概念。
· 自治系统（Autonomous System，AS）：是指在单一技术管理下组成一个大网络的互联集合，一般来说，一个自治系统有一个或多个路由器组成（同一个路由器可能属于多个自治系统），此处可以理解为一个路由器的一个或多个接口与其他路由器的一个或多个接口可以配置为一个自治系统。
· 对等体（Peer）：是指两个BGP路由器之间的一个会话。这些路由器通过BGP协议交换路由信息，从而让每个对等体能够了解通过另一方可到达的网络。
在多子网集群场景下，需先规划集群节点IP和虚IP。节点IP可以分布于不同网段；若两个节点位于同一网段，相同IP必须处于同一VLAN内。虚IP可与节点IP位于同一网段，也可跨网段配置。
物理网络需提前配置，确保节点之间互通，既可通过BGP配置实现，也可采用静态路由。以下将介绍基于BGP的互通配置。鉴于虚IP需通过BGP发布路由，建议节点间网络同样采用BGP进行互通。
在特殊场景下，若三个节点位于同一网络内，节点间天然互通，虚IP也能正常访问，同时支持多子网配置，此时无需在物理网络设备上配置BGP。
以下通过如下组网进行配置说明。
图16 组网图
三台交换机构成一个网络，交换机间通过192.168.0.X网段互连，且每台交换机通过不同的VLAN实现网络隔离。
· Switch1上VLAN 31的IP地址配置为31.0.0.0/24。
· Switch2上VLAN 32的IP地址配置为32.0.0.0/24。
· Switch3上VLAN 33的IP地址配置为33.0.0.0/24。
设备配置示例如下（以H3C设备为例），仅列出关键配置，接口及接口VLAN配置略。
[switch1]
[switch1]bgp 96
[switch1-bgp]router-id 2.2.2.2 #配置bgp的唯一id，一般为loopback口地址，注意需要全网唯一
[switch1-bgp]peer 31.0.0.10 as-number 31010 #配置与节点的邻居关系，用来发布vip路由
[switch1-bgp]peer 31.0.0.10 connect-interface Vlan-interface31 #邻居接入接口配置
[switch1-bgp]peer 192.168.0.97 as-number 97 #配置交换机之间邻居关系，用于发布路由
[switch1-bgp]peer 192.168.0.97 connect-interface Vlan-interface4094
[switch1-bgp]address-family ipv4 unicast #配置IPv4单播地址族
[switch1-bgp-ipv4]import-route direct #配置引入直连路由，将节点路由引入bgp中，保证节点互通
[switch1-bgp-ipv4]peer 31.0.0.10 enable #使能与节点的邻居关系。
[switch1-bgp-ipv4]peer 192.168.0.97 enable #使能与互联交换机的邻居关系
[switch2]
[switch2]bgp 97
[switch2-bgp]router-id 3.3.3.3 #配置bgp的唯一id，一般为loopback口地址，注意需要全网唯一
[switch2-bgp]peer 32.0.0.10 as-number 32010 #配置与节点的邻居关系，用来发布vip路由
[switch2-bgp]peer 32.0.0.10 connect-interface Vlan-interface32 #邻居接入接口配置
[switch2-bgp]peer 192.168.0.96 as-number 96 #配置交换机之间邻居关系，用于发布路由
[switch2-bgp]peer 192.168.0.96 connect-interface Vlan-interface4094
[switch2-bgp]peer 192.168.0.98 as-number 98 #配置交换机之间邻居关系，用于发布路由
[switch2-bgp]peer 192.168.0.98 connect-interface Vlan-interface4094
[switch2-bgp]address-family ipv4 unicast #配置IPv4单播地址族
[switch2-bgp-ipv4]import-route direct #配置引入直连路由，将节点路由引入bgp中，保证节点互通
[switch2-bgp-ipv4]peer 32.0.0.10 enable #使能与节点的邻居关系。
[switch2-bgp-ipv4]peer 192.168.0.96 enable #使能与互联交换机的邻居关系
[switch2-bgp-ipv4]peer 192.168.0.98 enable #使能与互联交换机的邻居关系
[switch3]
[switch3]bgp 98
[switch3-bgp]router-id 4.4.4.4 #配置bgp的唯一id，一般为loopback口地址，注意需要全网唯一
[switch3-bgp]peer 33.0.0.10 as-number 33010 #配置与节点的邻居关系，用来发布vip路由
[switch3-bgp]peer 33.0.0.10 connect-interface Vlan-interface32 #邻居接入接口配置
[switch3-bgp]peer 192.168.0.97 as-number 97 #配置交换机之间邻居关系，用于发布路由
[switch3-bgp]peer 192.168.0.97 connect-interface Vlan-interface4094
[switch3-bgp]address-family ipv4 unicast #配置IPv4单播地址族
[switch3-bgp-ipv4]import-route direct #配置引入直连路由，将节点路由引入bgp中，保证节点互通
[switch3-bgp-ipv4]peer 33.0.0.10 enable #使能与节点的邻居关系。
[switch3-bgp-ipv4]peer 192.168.0.97 enable #使能与互联交换机的邻居关系
(1) 集群参数配置
各节点需完成Matrix安装，并配置北向业务虚IP及集群网络模式，其他参数保持默认。
¡ 北向业务虚IP：BGP配置仅在各节点间交换该虚IP的路由；若需其他网络访问北向业务虚IP，必须在BGP中将该路由发布至相应网络。
¡ 集群网络模式：配置为“多子网”。
图17 配置集群参数
(2) 增加节点
新增节点时需逐个添加，并配置节点的Local和Peer参数。
节点1的配置及各参数说明如下：
¡ 节点IP地址、用户名及密码：节点的IP地址、SSH用户名和密码。
¡ Local中的Route ID使用节点的IP地址31.0.0.10，AS Number 则采用1. 物理网络配置中Switch1配置的31010。
¡ Peer中的IP使用1. 物理网络配置中VLAN 31的IP地址31.0.0.1，AS Number使用1. 物理网络配置中Switch1的96。
配置完成后，单击<增加>按钮添加Peer，随后单击<确定>按钮完成节点的添加。
图18 增加节点1
节点2的配置及各参数说明如下：
¡ 节点IP地址、用户名及密码：节点的IP地址、SSH用户名和密码。
¡ Local中的Route ID使用节点的IP地址32.0.0.10，AS Number 则采用1. 物理网络配置中Switch2配置的32010。
¡ Peer中的IP使用1. 物理网络配置中VLAN 32的IP地址32.0.0.1，AS Number使用1. 物理网络配置中Switch2的97。
配置完成后，单击<增加>按钮添加Peer，随后单击<确定>按钮完成节点的添加。
图19 增加节点2
节点3的配置及各参数说明如下：
¡ 节点IP地址、用户名及密码：节点的IP地址、SSH用户名和密码。
¡ Local中的Route ID使用节点的IP地址33.0.0.10，AS Number 则采用1. 物理网络配置中Switch3配置的33010。
¡ Peer中的IP使用1. 物理网络配置中VLAN 33的IP地址33.0.0.1，AS Number使用1. 物理网络配置中Switch3的98。
配置完成后，单击<增加>按钮添加Peer，随后单击<确定>按钮完成节点的添加。
(3) 部署集群
节点添加完成后，单击<开始部署>按钮进行集群部署。
图20 集群部署完成
(4) 查看BGP路由
分别在三台交换机上执行dis bgp peer ipv4和dis ip routing-table命令查看BGP对等体和路由表。以Switch1为例，其Peer包含节点1和Switch2。查看BGP路由时，虚IP此时位于节点1，Switch1上会显示指向节点1的虚IP路由。
当虚IP分别位于三个节点上时，在三个节点上均能ping通北向业务虚IP，即可确认BGP配置正常。
在Switch1上查看：
[switch1]dis bgp peer ipv4
BGP local router ID: 2.2.2.2
Local AS number: 96
Total number of peers: 2 Peers in established state: 2
Peer AS MsgRcvd MsgSent OutQ PrefRcv Up/Down State
31.0.0.10 31010 20 27 0 1 00:13:12 Established
192.168.0.97 97 175 259 0 10 03:12:18 Established
[switch1]dis ip routing-table
Destination/Mask Proto Pre Cost NextHop Interface
40.0.0.10/32 BGP 255 0 31.0.0.10 Vlan31
31.0.0.0/24 Direct 255 0 31.0.0.1 Vlan31
在Switch2上查看：
[switch2]dis bgp peer ipv4
BGP local router ID: 3.3.3.3
Local AS number: 97
Total number of peers: 2 Peers in established state: 2
Peer AS MsgRcvd MsgSent OutQ PrefRcv Up/Down State
32.0.0.10 32010 20 27 0 1 00:13:12 Established
192.168.0.96 96 175 259 0 10 03:12:18 Established
192.168.0.98 98 193 282 0 11 03:13:11 Established
Destination/Mask Proto Pre Cost NextHop Interface
32.0.0.0/24 Direct 255 0 31.0.0.1 Vlan32
40.0.0.10/32 BGP 255 0 192.168.0.96 Vlan4094
在Switch3上查看：
[switch3]dis bgp peer ipv4
BGP local router ID: 4.4.4.4
Local AS number: 98
Total number of peers: 2 Peers in established state: 2
Peer AS MsgRcvd MsgSent OutQ PrefRcv Up/Down State
33.0.0.10 33010 20 27 0 1 00:13:12 Established
192.168.0.97 97 193 282 0 11 03:13:11 Established
[switch3]dis ip routing-table
Destination/Mask Proto Pre Cost NextHop Interface
33.0.0.0/24 Direct 255 0 33.0.0.1 Vlan33
40.0.0.10/32 BGP 255 0 192.168.0.96 Vlan4094
多子网环境下搭配异地容灾集群时，需要配置两个集群节点之间的BGP路由交换，例如在两个集群交换机之间建立BGP对等体（peer），或配置路由反射器等。本文以简单组网为例，简要介绍组网方案及各设备配置。
图21 组网图
Switch4、Switch6、Switch1和Switch3可参考5.1.2 1. 物理网络配置进行配置，此处不再详细介绍。
Switch5的配置主要新增了两个集群之间的BGP对等体（peer），用于交换主备集群间的路由信息。
[switch5]
[switch5]bgp 94
[switch5-bgp]router-id 6.6.6.6 #配置bgp的唯一id，一般为loopback口地址，注意需要全网唯一
[switch5-bgp]peer 132.0.0.10 as-number 13210 #配置与节点的邻居关系，用来发布vip路由
[switch5-bgp]peer 132.0.0.10 connect-interface Vlan-interface132 #邻居接入接口配置
[switch5-bgp]peer 192.168.0.97 as-number 97 #异地容灾主备交换机之间邻居关系，发布两个集群间路由
[switch5-bgp]peer 192.168.0.97 connect-interface Vlan-interface4094
[switch5-bgp]peer 192.168.0.94 as-number 94 #配置交换机之间邻居关系，用于发布路由
[switch5-bgp]peer 192.168.0.94 connect-interface Vlan-interface4094
[switch5-bgp]peer 192.168.0.95 as-number 94 #配置交换机之间邻居关系，用于发布路由
[switch5-bgp]peer 192.168.0.95 connect-interface Vlan-interface4094
[switch5-bgp]address-family ipv4 unicast #配置IPv4单播地址族
[switch5-bgp-ipv4]import-route direct #配置引入直连路由，将节点路由引入bgp中，保证节点互通
[switch5-bgp-ipv4]peer 132.0.0.10 enable #使能与节点的邻居关系。
[switch5-bgp-ipv4]peer 192.168.0.97 enable #使能与互联交换机的邻居关系
[switch5-bgp-ipv4]peer 192.168.0.94 enable #使能与互联交换机的邻居关系
[switch5-bgp-ipv4]peer 192.168.0.95 enable #使能与互联交换机的邻居关系
Switch2的配置在原有基础上新增了与Switch5的邻居关系。
[switch2]
[switch2]bgp 97
[switch2-bgp]router-id 3.3.3.3 #配置bgp的唯一id，一般为loopback口地址，注意需要全网唯一
[switch2-bgp]peer 32.0.0.10 as-number 32010 #配置与节点的邻居关系，用来发布vip路由
[switch2-bgp]peer 32.0.0.10 connect-interface Vlan-interface32 #邻居接入接口配置
[switch2-bgp]peer 192.168.0.96 as-number 96 #配置交换机之间邻居关系，用于发布路由
[switch2-bgp]peer 192.168.0.96 connect-interface Vlan-interface4094
[switch2-bgp]peer 192.168.0.94 as-number 97 #异地容灾主备交换机之间邻居关系，发布两个集群间路由
[switch2-bgp]peer 192.168.0.94 connect-interface Vlan-interface4094
[switch2-bgp]peer 192.168.0.98 as-number 98 #配置交换机之间邻居关系，用于发布路由
[switch2-bgp]peer 192.168.0.97 connect-interface Vlan-interface4094
[switch2-bgp]peer 192.168.0.98 connect-interface Vlan-interface4094
[switch2-bgp]address-family ipv4 unicast #配置IPv4单播地址族
[switch2-bgp-ipv4]import-route direct #配置引入直连路由，将节点路由引入bgp中，保证节点互通
[switch2-bgp-ipv4]peer 32.0.0.10 enable #使能与节点的邻居关系。
[switch2-bgp-ipv4]peer 192.168.0.96 enable #使能与互联交换机的邻居关系
[switch2-bgp-ipv4]peer 192.168.0.98 enable #使能与互联交换机的邻居关系
[switch2-bgp-ipv4]peer 192.168.0.94 enable #使能与互联交换机的邻居关系
此时，在Switch5和Switch2上查看BGP路由。以Switch2为例，其BGP对等体（peer）包括Switch1、Switch3和Switch5。
[switch2]dis bgp peer ipv4
BGP local router ID: 3.3.3.3
Local AS number: 97
Total number of peers: 3 Peers in established state: 2
Peer AS MsgRcvd MsgSent OutQ PrefRcv Up/Down State
192.168.0.96 96 175 259 0 10 03:12:18 Established
192.168.0.98 98 176 269 0 10 03:12:18 Established
192.168.0.94 94 177 279 0 10 03:12:18 Established
(1) 集群参数配置，配置可参考5.1.2 2. (1)集群参数配置。
(2) 两个集群搭建完成后，集群间的路由通过Switch2与Switch5之间的peer进行交互。
此时在Switch2的peer中有node2的peer。
[switch2]dis bgp peer ipv4
BGP local router ID: 3.3.3.3
Local AS number: 97
Total number of peers: 3 Peers in established state: 2
Peer AS MsgRcvd MsgSent OutQ PrefRcv Up/Down State
192.168.0.96 96 175 259 0 10 04:12:18 Established
192.168.0.98 98 176 269 0 10 04:12:18 Established
192.168.0.94 94 177 279 0 10 04:12:18 Established
32.0.0.10 32010 20 27 0 1 00:13:12 Established
在Switch2的路由中有另外一个集群的的BGP路由。
[switch2]dis ip routing-table
Destination/Mask Proto Pre Cost NextHop Interface
32.0.0.0/24 Direct 255 0 31.0.0.1 Vlan32
40.0.0.10/32 BGP 255 0 192.168.0.96 Vlan4094
131.0.0.0/24 BGP 255 0 192.168.0.94 Vlan4094
132.0.0.0/24 BGP 255 0 192.168.0.94 Vlan4094
133.0.0.0/24 BGP 255 0 192.168.0.94 Vlan4094
140.0.0.10/32 BGP 255 0 192.168.0.94 Vlan4094
其他交换机信息类似，各个节点以及虚IP之间能够互通。
(3) 在创建异地容灾系统时，若需配置异地容灾系统的虚IP，该虚IP同样通过BGP进行路由交换。异地容灾虚IP地址与两个集群的IP地址可以不在同一网段。
图22 创建异地容灾
当两套环境的北向IP跨网段且需配置异地容灾虚IP时，建议在初期环境设计阶段将集群设置为多子网网络模式。若两套环境处于同一网段或不配置异地容灾虚IP，则可忽略此步骤。
多子网环境搭建时BGP路由配置以及多子网集群搭建异地容灾时两套集群的BGP配置均需提前在交换机上配置，具体请参考附录中文档《统一数字底盘多子网配置指导》。
多子网环境搭建时，BGP路由配置以及多子网集群异地容灾时两套集群的BGP配置均需提前在交换机上完成。具体操作请参见5.1 多子网。
各节点路由配置完成且成功安装并登录Matrix页面后，进行集群参数配置。集群网络模式选择多子网，配置北向参数后添加节点。新增节点页面将显示BGP相关配置项，请根据交换机上的BGP配置进行填写。
多子网模式不支持双栈部署，配置集群参数时若启用双栈模式，系统将自动切换为单子网模式并置为不可修改。
图23 集群网络模式选择多子网
图24 搭建多子网集群网络配置
集群搭建完成，集群网络模式显示为多子网。
图25 集群部署模式多子网
多子网模式下的异地容灾系统基本配置要求与单子网模式相同，此外还需注意以下两点：
· 当倒换模式选择带仲裁的自动倒换时，需提前在仲裁节点配置到各节点及北向的路由，确保仲裁节点与各站点IP互通。
· 异地容灾的虚IP可配置为任意合法地址，无需与集群处于同一网段，只需在本地配置相应路由，即可通过该地址访问异地容灾系统。但仍需确保所有Master节点IP对应网卡的名称保持一致。
图26 多子网集群异地容灾
不同款型规格的资料略有差异, 详细信息请向具体销售和400咨询。H3C保留在没有任何通知或提示的情况下对资料内容进行修改的权利!
支持
