08-系统管理

02-高可靠性介绍

高可靠性特性介绍

本帮助主要介绍以下内容：

○ 基本概念

○ 背景介绍

○ 应用场景

○ 基本概念

○ 流量组

○ 管理角色

○ 业务角色

○ 集群建立

○ 信息同步

○ 状态切换

○ 流量引导

○ 流量组规划

· 高可靠性工作模式

· 使用限制和注意事项

· 配置指南

背景介绍

高可靠性（High Availability），简称为HA，能够在通信线路或设备产生故障时提供设备级、业务级的冗余方案，保证用户业务不中断。根据组成系统的设备数量可以将高可靠性系统分为双机热备系统和集群系统。

大数据时代，随着各行各业数字化转型的蓬勃发展，网络承载的业务越来越多，越来越重要。如何保证网络的可靠性、业务的不间断传输成为网络建设中必须要解决的问题。

如图-1中的左图所示，Device部署在网络的出口，内、外网之间的业务均会通过Device处理和转发。如果Device出现故障便会导致内、外网之间的业务全部中断。由此可见，在这种网络关键位置如果只部署一台设备，无论设备的可靠性有多高，都会存在因设备的单点故障而导致网络中断的风险。

因此，企业通常会在网络的关键位置部署多台设备，以提升网络的可靠性。如图-1中的右图所示，当Device A出现故障时，流量会通过Device B转发，保证内、外网之间业务流量不间断传输。

图-1 HA部署提升网络可靠性示意图

对于传统的网络设备（如交换机、路由器），只需要做好链路和设备的冗余就可以保证底层数据通信的不间断。但是，对于需要对报文进行状态检测和策略处理的安全设备（如防火墙等）仅做到链路和设备的冗余，无法满足用户业务级的可靠性需求。这是因为安全设备上的很多安全类业务功能（如安全策略、NAT等）均是基于业务表项和策略规则对报文进行安全检测或业务处理。当正在传输的业务流量切换到备份设备进行处理时，会因备份设备上缺少相同的业务表项和策略规则，而导致用户业务中断或业务处理结果发生改变，最终无法保证用户业务的连续性。

HA功能可以有效解决以上问题。如图-1中的右图所示，HA通过RBM（Remote Backup Management，远端备份管理）协议将多台设备组建成高可靠性系统，HA在保证链路级冗余的同时，还能将设备上的业务表项和配置信息在多台设备之间进行同步，最终对用户业务达到了设备级、业务级的可靠性保障。

双机热备特性简介

高可靠性的双机热备是指将同一内网（或数据中心）的两台设备通过RBM协议组建成一个可靠性系统，简称“双机热备”，且其只能使用HA的主备和双主工作模式。

基本概念

双机热备技术包含的基本概念如下：

· 主、从管理设备：双机热备中的设备分为主、从两种管理角色，用于控制设备之间关键配置信息的同步。RBM通道建立成功后，只能在主管理设备上配置支持配置信息同步的相关功能，从管理设备上不能配置。“主管理设备”可以将自己的关键配置信息同步到“从管理设备”，并覆盖从管理设备上的相关配置，保证主备设备上的配置信息一致。

· 主、备业务设备：双机热备中包含主、备两种业务角色。主设备处理业务，并向备设备实时备份业务表项信息；备设备除接收主设备的业务表项备份信息外，在主设备发生故障后，备设备会转换成主设备，继续处理业务流量，保证业务不中断。

· RBM通道：用于两台设备之间交互RBM的运行状态信息，关键配置信息和业务表信息。

· 工作模式：双机热备支持主备和双主两种工作模式。

· RBM报文：RBM报文使用RBM协议承载两台设备之间需要交互的信息。其使用TCP作为传输层协议。

双机热备信息同步

RBM报文

RBM报文包括如下：

· 心跳报文（Keepalive报文）：两台设备通过定期互相发送心跳报文来检测对端设备是否存活。

· 控制报文：根据设备的运行状态来控制设备的主备状态切换。

· 配置信息和表项备份报文：用于两台设备之间进行配置信息和业务表项的备份。

· 配置一致性检查报文：用于检测两台设备的关键配置是否一致。

· 透传报文：用于设备间非对称路径业务报文的透传或复制。

RBM通道

RBM通道用于两台设备之间进行双机热备运行状态、关键配置和业务表项等信息的传输，包括以下几种类型的通道：

· RBM控制通道：可传输的报文类型包括双机热备的运行状态报文、一致性检查报文、备份配置信息和备份业务表项信息的报文等。

· RBM热备份通道：可传输的报文类型包括备份业务表项的报文。

RBM通道基于TCP协议来监测链路的连通性。RBM通道建立后，设备会周期性向对端设备发送Keepalive报文，如果达到最大发送次数后仍然没有收到对端的回应，则RBM通道断开，双机热备功能失效。

业务表项备份

双机热备能够将主设备上生成的业务表项信息实时备份到备设备，避免了主备设备切换时因备设备上缺失业务表项而造成的业务中断问题。

需要对报文进行状态检测的设备，对于每个动态生成的连接，都有一个会话表项与之对应。主设备在处理业务的过程中创建了很多会话表项；而备设备没有报文经过，因此也就没有创建会话表项。双机热备可以将主设备上的会话表项实时备份到备设备，当主备切换后，已有连接的后续业务报文可以通过匹配备份来的会话表项来保证业务不中断。

目前双机热备支持热备的业务表项包括：NAT端口块表项、AFT端口块表项、会话表项、会话关联表项和各个安全业务模块自身生成的业务表项。

配置信息备份

双机热备可以将主管理设备上的关键配置信息（支持配置信息同步的模块）备份到从管理设备，避免了主备设备切换时因备设备缺失对应的配置信息而造成的业务中断问题。

双机热备中主从管理设备之间的关键配置信息备份原理包括如下：

· 两台设备均正常运行情况下，配置信息只能从“主管理设备”同步到“从管理设备”，并覆盖从管理设备上对应的配置信息。

· 两台设备的任意一台重启情况下，重启后的设备向未重启的设备获取关键配置信息，并覆盖本设备上对应的配置信息。

双机热备支持自动和手动两种方式进行配置信息备份。

目前双机热备支持配置信息同步的业务模块如下。以下内容仅是从功能支持层面列出了双机热备支持配置信息同步的业务模块，但是每个业务模块在不同产品上的支持情况不同，请以设备支持的实际情况为准。

· 资源类：VPN实例、ACL、对象组、时间段、安全域、会话管理、APR、AAA。

· DPI相关模块：应用层检测引擎、IPS、数据分析中心。

· 策略类：安全策略、ASPF、攻击检测与防范、连接数限制、NAT、AFT、服务器负载均衡、智能路由负载均衡、带宽管理、应用审计与管理。

· 日志类：快速日志输出、Flow日志。

· VPN类：SSL VPN。

· 其他类：VLAN、信息中心。

配置信息一致性检查

双机热备通过交互一致性检查报文来检测两台设备的配置信息是否一致，用于防止由于两台设备配置信息不一致，而导致主备切换后业务不通的情况。当配置信息不一致时，设备会发送日志信息，以提示管理员进行配置信息的手动同步。

双机热备配置信息一致性检查的过程如下：

1. 主管理设备发送一致性检查请求报文给从管理设备，同时收集自身相关模块配置信息的摘要。

2. 从管理设备收到一致性检查请求后，会收集自身相关模块配置信息的摘要，然后封装到一致性检查报文返回给主管理设备。

3. 主管理设备收到从管理设备返回的一致性检查报文后，将自身配置信息的摘要与从管理设备配置信息的摘要进行对比，如果对比结果不一致，则主管理设备输出日志信息。

双机热备主备切换机制

主备切换是指双机热备中的一台设备或其链路等发生故障，另一台设备接替故障设备处理业务。设备通过设定不同的触发条件，对不同的故障事件进行监控，当故障发生时，能及时触发主备切换，保证业务不中断。

触发主备切换的事件如下：

· 控制通道断开

两台设备正常运行情况下，当控制通道断开后会进行主备切换。这时两台设备都变为主设备，进行业务处理，但是两台设备不再是双机热备状态，对后续的非对称流量会有影响。

· 主设备整机故障

整机故障后，控制通道断开，会触发主备切换。

· 主设备上双机热备监控的接口故障。

双机热备监控的任一接口故障后，会触发主备切换。

· 主设备上任意业务板故障

主设备上任意安全业务板故障会触发业务主备竞选。竞选过程中当两台设备上在位的安全业务板数量一样时，主备工作模式中，业务主就是管理主设备，业务备就是管理从设备；双主工作模式中，两台设备都是业务主。当两台设备上在位的安全业务板数量不一样时，任何工作模式中，都是安全业务板在位数量多的一方竞选为业务主，少的一方竞选为业务备。

· 主设备上所有主控板故障

在只有主用主控板出现故障的情况下，不会触发主备切换；只有主用和备用主控板同时故障后，才会触发主备切换。

· 主设备上所有交换网板故障

虽然双机热备通过以上监控手段可以进行主备切换，并及时引导流量到正常设备处理业务，保证用户业务不中断。但是，为了整个双机热备的长期可靠运行，建议管理员在发现故障后及时解决。

主备切换时，双机热备为将流量引到新的主设备，其通过与其他模块联动来实现，如：双机热备与VRRP联动时，双机热备将故障设备上的VRRP备份组状态都切为Backup状态。

双机热备联动VRRP

功能简介

在双机热备与VRRP联动的组网环境中，RBM将会控制设备在多个VRRP备份组中Master和Backup状态的统一切换。此功能可以使设备的上下行流量同时切换到新的主设备，保证业务不中断。

此处以主备模式为例，介绍双机热备与VRRP的联动组网情况，具体如下。

· 如图-2的左图所示，在仅有VRRP的组网环境中，当VRRP链路故障时会导致上、下行VRRP备份组中的Master设备不是同一台设备，造成流量中断。

· 如图-2的右图所示，将双机热备和VRRP关联后可以解决以上问题。RBM通道建立后，VRRP备份组内的设备状态将由RBM决定，VRRP自身的主备选择机制不再生效。当RBM通道断开后，VRRP自身的主备选择机制将会重新生效。

图-2 双机热备联动VRRP示意图

VRRP active/standby组

VRRP active组和VRRP standby组：用于将双机热备与VRRP进行关联，实现双机热备对多个VRRP备份组状态进行统一管理的目的。

VRRP active/standby组分别有两种状态：Master和Backup。VRRP成员设备在VRRP备份组中的状态与所属VRRP active/standby组的状态保持一致。例如，VRRP active备份组的状态是Master，则该组中所有设备在VRRP备份组中的状态均为Master。

VRRP active/standby组初始状态的实现机制如下：

· 主备模式下：主管理设备上VRRP active组和VRRP standby组的初始状态均为Master；从管理设备上VRRP active组和VRRP standby组的初始状态均为Backup。

· 双主模式下：此种模式下VRRP active/standby组的状态与主从管理设备角色无关，VRRP active组的初始状态为Master；VRRP standby组的初始状态均为Backup。

双机热备联动VRRP组网中Master设备的选举机制

如图-2的右图所示，将双机热备与VRRP关联成功后，VRRP备份组中Master/Backup状态的变化机制如下：

1. 正常情况下，Device A（假设其是主管理设备）上VRRP active组的状态是Master，所以Device A在VRRP备份组1和VRRP备份组2中的状态是Master设备。Device B（假设其是从管理设备）上VRRP standby组的状态是Backup，所以Device B在VRRP备份组1和VRRP备份组2中的状态是Backup。

2. 当Device A的下行接口Interface A2故障后，HA会收到接口故障事件。然后HA发送VRRP active/standby组状态信息变更报文给Device B，通知Device B将其VRRP standby组的状态变更为Master。

3. Device B收到VRRP active/standby组状态信息变更报文后，会将自身VRRP standby组的状态变更为Master，同时将Device B在VRRP备份组1和VRRP备份组2中的状态变为Master。变更完成后给Device A发送应答报文。

4. Device A收到Device B的VRRP standby组状态变更成功应答报文后，将自己VRRP active组的状态变更为Backup，同时将Device A在VRRP备份组1和VRRP备份组2中的状态变更为Backup。

当Device A的下行接口Interface A2故障恢复后，流量会进行回切，VRRP备份组中Master/Backup状态的变化与接口故障时的变化过程类似，不再重复介绍。

VRRP中的ARP学习

当VRRP备份组中的设备接收到虚拟IP地址的ARP请求报文后，只能由Master设备使用VRRP备份组的虚拟MAC地址响应此ARP请求，与此同时ARP报文传输路径上的二层设备也就学习到了此虚拟MAC地址的MAC地址表项。

集群简介

背景介绍

多活数据中心建设方案在很多行业已得到广泛应用，每个数据中心地位均等。正常情况下，此方案中的各个数据中心并行地为业务访问提供服务，充分利用资源；当一个数据中心发生故障或灾难时，其他数据中心可以正常运行并对业务进行接管，实现用户业务的“无感知”切换和不中断。

因为高可靠性双机热备功能仅支持同一数据中心的两台设备进行可靠性组网，所以双机热备功能显然不能满足多活数据中心场景的可靠性要求。

高可靠性集群（简称“集群”）功能可以有效解决以上问题，集群通过RBM（Remote Backup Management，远端备份管理）协议可以将多台设备跨数据中心组建成高可靠性系统，并通过专用通道进行集群成员之间配置信息和业务表项信息的同步。最终实现设备在多活数据中心场景中的可靠性部署。

应用场景

集群功能常见的应用场景包括多活数据中心负载分担场景和同一数据中心多业务负载分担场景。

多活数据中心负载分担场景

如图-3所示，在此场景中正常情况下，多个数据中心同时对外提供服务，充分利用现有的网络资源和应用服务资源等，不同数据中心设备之间的配置信息和业务信息可以相互备份。如图-4所示，当其中一个数据中心的某台设备故障不能对外提供服务时，首先让同一数据中心的其他设备立即接手这些流量，保证用户业务不中断；同理，当整个数据中心故障不能对外提供服务时，再由其他数据中心的设备立即接手这些流量，保证用户业务不中断。

图-3 正常情况下多活数据中心负载分担场景示意图

图-4 故障情况下多活数据中心负载分担场景示意图

同一数据中心多业务负载分担场景

如图-5所示，在此场景中正常情况下，数据中心的不同设备可以对外发布不同的业务，这样每台设备可以集中高效地处理某一种业务，同时设备之间又可以相互备份配置信息和业务信息。如图-6所示，当其中一台设备故障时，其他设备可以立即接手这些流量，保证用户业务不中断。

图-5 正常情况下同一数据中心多业务负载分担场景示意图

图-6 故障情况下同一数据中心多业务负载分担场景示意图

基本概念

如图-7所示，高可靠性集群功能的基本概念如下：

· 集群：即高可靠性集群，本文简称“集群”，可以对多台设备进行统一管理和控制，不仅提高了业务稳定性，增强了整个集群系统的处理能力，同时也有利于后期扩容。

· 流量组：即集群流量组，本文简称“流量组，是集群中处理业务的基本逻辑单元，一个集群流量组可以为一个数据中心或某一应用提供可靠性服务。

· 集群成员：是集群系统和流量组中最终处理业务的物理实体，具有相同集群ID的设备组建成一个集群。

· 管理角色：在控制层面，集群中的设备分为主（Primary）、从（Secondary）两种管理角色（也可以称为“主、从管理状态”、“管理主和管理从”），用于控制集群中设备之间关键配置信息的同步。

· 业务角色：在数据层面，集群中的设备分为主（Active）、备（Standby）两种业务角色（也可以称为“主、备业务状态”、“业务主和业务备”）。业务主处理业务，业务备不处理业务，但是对于同一台设备可以是不同流量组的业务主。

· RBM通道：用于集群成员设备之间交互集群的运行状态信息、关键配置信息和业务表项信息。

· RBM报文：集群使用RBM协议承载成员设备之间需要交互的集群信息。

图-7 集群概念逻辑示意图

流量组

如图-7所示，集群流量组是集群中处理业务的基本逻辑单元，一个集群流量组可以为一个数据中心或某一应用提供可靠性服务。

每个集群成员可以加入多个流量组，形成一主多备的结构。流量组中的业务主负责处理业务，并向业务备实时备份业务表项信息；业务备负责提供备份机制，不处理业务，只有业务主故障后，业务备升级为业务主后才可以处理业务。

设备的业务表项信息只能在本流量组中的成员之间进行备份。业务主备的切换也只是在本流量组中进行切换，不影响其他流量组中业务主备的切换。

流量组联动VRRP和动态路由等协议实现流量的自动切换，当业务主或其链路故障后，可以保证流量平滑切换到最优的业务备继续处理。

管理角色

管理角色简介

如图-7所示，在控制层面整个集群等同于一个集群管理组，集群管理组中设备分为主、从两种管理角色，用于控制集群中设备之间关键配置信息的同步。为保证集群中所有设备管理的便利性和配置信息的一致性，因此集群中同时只能有一个管理主，且只能在管理主上配置支持配置信息同步的相关业务功能，不能在管理从上配置业务功能。管理主上的关键业务配置信息会同步给本集群中的其他所有管理从，保证一个集群中所有成员设备上的关键业务配置信息一致。

管理角色竞选机制

如图-8所示，管理主通过选举产生，其选举条件的优先级从高到底依次为：管理主当选时长 > 集群成员优先级 > 集群成员ID。

图-8 管理角色竞选机制示意图

管理主的具体选举过程如下：

1. 首先比较本集群中已有管理主的当选时长，当选时间最长的设备成为本集群的管理主，初始状态下所有设备的主管理角色当选时长都是零。

2. 若管理主当选时长一样，则继续比较成员优先级（数值越大优先级越高），优先级最高的设备成为本集群的管理主。

3. 若成员优先级一样，则继续比较集群成员ID，数值最大的设备成为本集群的管理主。

管理主选举成功后，一般不会改变，后面加入的集群成员（即使优先级更高）也只能作为管理从。除非通过命令手工切换管理主，或者因管理主故障而脱离集群才会导致重新选举管理主。

业务角色

业务角色简介

如图-7所示，在数据层面集群中包含了多个集群流量组，其用于处理具体的业务流量。集群流量组中的多台成员设备分为主、备两种业务角色。集群流量组中同时只能有一个业务主，其他设备均为业务备。

业务主和业务备均是针对某一个集群流量组而言；对于一台设备而言，它既可以是集群流量组1的业务主，又可以是集群流量组2和流量组3的业务备。

业务角色竞选机制

如图-9所示，业务主通过选举产生，其选举条件的优先级从高到底依次为：业务接口在位数 > 安全业务板在位数 > 集群成员在流量组中的优先级 > 集群成员ID。

图-9 业务角色竞选机制示意图

业务主的具体选举过程如下：

1. 首先比较设备业务接口（被集群监控的接口）的在位个数，业务接口在位个数最多的设备成为本流量组的业务主。

2. 若业务接口在位个数一样，则继续比较在位的安全业务板个数，安全业务板在位个数最多的设备成为本流量组的业务主。

3. 若在位的安全业务板个数一样，则继续比较集群成员在流量组中的优先级（数值越大优先级越高），优先级最高的设备成为本流量组的业务主。

4. 若集群成员在流量组中的优先级一样，则继续比较集群成员ID，数值最大的设备成为本流量组的业务主。

业务主选举成功后，业务主会随选举条件的变化（仅包括业务接口在位数和安全业务板在位数变动）而动态选举出新的业务主，保证业务始终在流量组中条件最优的设备上进行处理。在其他条件一样的情况下，业务主的优先级变化不会触发重新选举业务主。

业务角色选举结束后，集群会根据比较结果对本流量组中的设备进行排名，比较结果越优的设备排名越靠前。排名第一位的为业务主，其他设备为业务备，当业务主或其链路故障时，首先将流量切换到排名最靠前的业务备，然后重新对所有业务备进行排名。