随着运营商转型业务的加速，传统数据中心（DC）机房向NFV/SDN化转型，不同业务（核心网/城域网/企业专线等）都在运营商不同局点进行了相应的试点，并取得了不少积极有效的成果。接下来，运营商为了打破不同业务的软“烟囱”，希望使用一套云+网的基础设施来承载所有移动和固网的业务，这对数据中心的网络、虚拟化云平台、运维管理等都提出了新的要求。本文从单数据中心重构的角度，重点阐述了如何进行应用驱动通信云的架构设计。

应用驱动通信云的整体架构

应用驱动通信云的根本目标是在统一的NFVI基础架构上承载不同业务网元，从CORD的角度来看，就是需要承载三类CORD业务。图1展示了应用驱动通信云在整体系统架构中的位置及与CORD的关系。

图1 应用驱动通信云在整体系统架构中的位置及与CORD的关系

按照这个目标，单数据中心应用驱动通信云的设计按照一套基础网络架构、一套虚拟化云平台、一套管理运维系统方式来建设，同时在数据中心边缘分CORD设置相应的接入网关，完成三大CORD的业务流量导入，如图2所示。接下来将从不同纬度阐述应用驱动通信云的设计及相应案例。

图2应用驱动通信云数据中心架构图

统一通信的网络设计

应用驱动通信云的网络架构设计旨在将城域网数据中心化，有效地利用各散落的POP点机房，将运营商的城域网与业务从网络基础架构的层面上实现统一。具体做法是在地市构建云计算中心部署云计算平台、SDN，作为核心节点。在网络部署上，整个城域网借鉴数据中心的架构，核心节点部署Spine-Leaf架构。整个城域网推荐采用分布式VxLAN网关+EVPN的方式部署，属于SDN弱控，可靠性高。整个核心数据中心的Fabric相当于一个逻辑的具备二、三层交换的高密度端口交换机。区县机房部署各类业务的接入设备，采用VxLAN隧道或者VLAN Hand off等方式灵活地接入数据中心。根据需要也可在边缘部署计算资源，以支持边缘计算需求。

地市核心机房：部署Spine交换机和Leaf交换机，Spine交换机可以选择部署在不同的机房，多套，实现ECMP负载分担和可靠性保障，作为城域网RR; Leaf交换机下挂NFV网元，按照分区部署原则，分为管理区、业务区、存储区等；管理区部署CVM、SDN控制器、云平台等；业务区部署部分用户处理R-Cord、E-Cord、M-Cord以及IT业务、物联网业务网元等。

存储区部署存储；核心机房还需要部署出口设备，实现业务的南北向访问；访问公网的需求以及实现DCI的需求，单独部署Bord-Leaf设备实现；对于部分需要走MPLS l3VPN的业务，比如ITMS、VOIP、专线等，建议分设PE实现，也可以和Bord-Leaf合设，视产品能力变动;为了可靠性和负载分担，出口设备均需要分布式多个部署。

边缘节点机房：传统的汇聚接入机房一般部署MSE硬件转发设备以及汇聚交换机、OLT等硬件设备。在应用驱动通信云的架构下，视需要在边缘节点部署VxLAN设备，边缘将业务汇聚分流至核心数据中心内部网元处理。

VIM的设计

为满足一套虚拟化云平台VIM承载所有业务网元的需求，除了需要满足电信级性能及可靠性要求外，还需要从以下方面考虑：

1.资源要求。CT的资源分配原则和IT完全不一样，IT资源分配是大限度地保证资源共享，因此往往需要资源的超分配，而CT资源分配重点考虑的是性能和稳定性。下面从以下方面进行说明。

● CPU：为保证CPU的高效利用和隔离，需要VIM支持CPU核绑定和NUMA亲和性/反亲和性等特性，同时需要将主机CPU、OVS的CPU都单独隔离使用。

● 内存：需要支持大页内存分配，建议以1GB为单位，以确保虚拟网元分配内存的连续性，同时NUMA亲和性可以保证CPU高效地访问内存。

● 存储 ：一般对存储没有特殊要求。

● 网络：网络方面根据业务对网络性能的要求，主要有两类网络:一类是共享使用虚拟交换机OVS，主要为对网络性能要求不高的业务网元使用，如控制面的网元。另外一类是使用物理层虚拟化的SRIOV网卡技术，这种方式相当于虚拟网元透传使用物理网卡。

2.网络要求。主要包括数量和解耦要求。

● 网络数量扩展：对于单业务承载的云平台来说，不存在网络数量不够的问题，而承载了众多不同厂家不同业务网元后，势必将导致需要使用的隔离网络数量超过VLAN 4094的限制，因此扩展网络数量也就势在必行。具体实现技术建议采用VxLAN的网络承载，同时引入SDN控制器。

● 网络解耦：为简化VIM的设计与管理运维，需要将业务网络与承载网络隔离。为达到这个要求需要支持VLAN透传，虚拟交换机和SR-IOV需为Flat、VLAN和VxLAN类型的虚拟网络提供基于QinQ的VLAN透传支持。

3.QoS要求。虽然VIM通过很多绑定类技术将CT网元使用的资源隔离独享使用，但还是存在一些资源必须共享使用的情况，网络和存储是两类具有明显共享特征的资源。因此VIM也需要引入QoS能力。

● 网络QoS：需支持为OVS和SR-IOV提供基于DSCP、最小带宽保证及最大带宽限制策略的QoS功能。

● 存储QoS：VIM需支持基于卷类型配置存储QoS功能，通过创建QoS策略，关联给卷类型后，从该卷类型创建的存储卷即可应用该QoS策略。

SDN设计

在数据中心虚拟化网络中，VxLAN是主流推荐的Overlay方式。根据VTep节点所在位置的不同，可分为网络Overlay和主机Overlay。SDN控制器通过给VIM提供相应的网络插件，实现VIM与SDN的联动，为业务网络提供混合Overlay网络支持。主机Overlay方式使用OVS作为VXLAN的VTep点，对于网卡SRIOV方式，一般采用上连的TOR交换机作为VxLAN的VTep点。同时在部署SDN时，需要考虑以下几点：

● 安全要求。SDN控制器管理采用Https或IPSec时，要求虚拟层支持Neutron到SDN控制器间的数字证书。

● VIM网络Neutron具备嵌入SDN控制器厂商提供的SDN Controller驱动的能力。

● Hypervisor应采用单一的虚拟交换机。虚拟交换机需支持OpenFlow协议及OVSDB配置协议，通过接收SDN控制器下发的流表，实现不同业务系统隔离、二/三层业务转发、虚拟机限速、虚拟机流量统计及端口镜像等功能。

● 虚拟交换机需支持SDN控制器主动模式，即由SDN控制器发起OVSDB连接请求，虚拟交换机应答。

● 虚拟交换机需支持分布式网关功能。

● Neutron需支持VxLAN类型的虚拟网络，Hypervisor需支持在启用了DPDK的虚拟交换机上建立VxLAN隧道的能力。

● 当Neutron对接了SDN控制器时，VIM需具备禁用所有VIM节点、Hypervisor节点上的Neutron-OVS-Agent（或同等作用的厂家私有服务）、Neutron-l3-Agent（或同等作用的厂家私有服务）的能力，但保留SR-IOV相关的Agent。

MANO及运维管理

多业务统一编排及运维管理是一个非常大的课题，在此不再展开。但由于在应用驱动通信云环境中管理运维至关重要，因此，要求管理运维相关节点部署在可靠安全的区域。同时为了保证可靠安全的管理接入，建议在有条件的情况下，建立物理隔离的管理网。如果没有条件，需要在现有网络中单独规划逻辑的隔离管理网（采用VLAN或VxLAN技术均可），同时在VIM中将相应的网络号剔除，以免业务网络使用冲突。具体网络规划建议如图3。

图3应用驱动通信云的管理网

承载案例

应用驱动通信云的架构可以统一承载运营商的各类CT和IT业务，包含家庭R-Cord业务、企业E-Cord业务和移动网M-Cord业务。下面通过R-CORD和E-CORD的案例来说明应用驱动通信云的承载。

1. R-Cord业务的承载

家庭业务主要包含宽带上网、ITMS、VoIP、IPTV几类，这其中ITMS、VOIP等业务属于大会话、小流量业务，适合将对应的承载NFV网元vBRAS部署在地市核心机房，便于统一管理、提高利用率，根据业务潮汐进行扩缩容、故障备份等。而宽带和IPTV这种业务属于大带宽业务，可以视情况将NFV网元部署在靠近用户的边缘机房，挂载在R-Cord接入设备Pool-GW之下，成为PPPoE资源池。IPTV作为运营商力推的自营增值业务，需要更高的用户体验性能，推荐采用基于交换机的转控分离的方式，边缘部署数据报文转发交换机，具体可用POP点HJSW交换机作为转发节点，核心数据中心内部部署控制层面的NFV网元，如图4所示。

按照这种模式，目前江苏电信、江西电信已经部署超过100万用户规模的业务承载，山东联通枣庄实现业界大规模的全业务承载，实现现网BRAS硬件设备的替代下线，事实证明已经具备商用能力。

图4 R-Cord业务承载

2. E-CorD业务承载

在核心数据中心内部部署NFV的vCPE网元资源池，用于处理企业业务，园区CPE设备和核心数据中心的园区汇聚交换机建立VxLAN隧道，园区汇聚接入交换机通过Hand Off的方式，和核心数据中心的Border设备（本例为Spine）建立VLAN连接，将园区业务接入数据中心，再通过数据中心内部的VxLAN网络访问vCPE设备，通过vCPE设备处理后，决定是访问公网还是转发至本地其他企业接入设备，如图5所示。按照此模式，在江苏、上海、广东等地很好地实现了双创园区的云网融合一体化应用。

图5 E-Cord业务的承载

结束语

本文重点从改造单数据中心入手，提出了一种可行的方案架构，可作为运营商实际数据中心云化改造的参考。同时，对于更大一级的区域数据中心如何改造，整体拉通区域数据中心、本地核心数据中心、边缘数据中心，做到全区域资源共享，业界也有多种不同的解决方案。如OpenStack的Nova Cell v2可以解决单OpenStack计算节点数量限制问题，以扩展单数据中心计算节点的数量；多OpenStack管理采用多区域（Region）、Cascading或Tricircle方案，可覆盖多数据中心、分级数据中心的场景，同时对应的网络及SDN设计也将变化，具体部署方案需要继续和运营商调研，并不断完善应用驱动通信云架构，以满足运营商业务转型的要求。