选择区域语言: EN CN HK
docurl=/cn/Solution/IndustrySolution/TV_Solution/Broadcast_Media/Solutions/201705/995497_30004_0.htm

一切为了打造精品“中央厨房”

【发布时间:2017-05-26】

为贯彻中央关于推动传统媒体和新兴媒体融合发展的指导意见,深入推动融合媒体的发展,近年来各地电视台纷纷上马建设“中央厨房”--融合媒体云平台,为融合媒体业务的创新和发展提供了坚实的基础设施平台。融合媒体云平台是这两三年才出现的新事物,整个电视台行业正在积极实践总结经验,完善系统方案。新华三集团作为最早参与电视台融合媒体云平台建设的解决方案供应商,从客户需求出发,不断完善优化产品特性和方案架构,目前已经形成了成熟的可规模应用部署的融合媒体云IaaS解决方案。

1.融合媒体云的建设需求


在一系列的电视台融媒云项目的实践中,我们和客户均看到,传统IT系统的建设方式、系统结构、运维模式已经无法满足融合媒体生产的需求。

而当前电视台传统IT系统的主要问题在于:

● 传统IT系统建设采用“生产岛”的专属建设模式,各业务部门之间的系统资源无法复用,总体利用效率低。

● 现有系统的生产流程固化,难以适应新媒体业务生产需要。

● 传统系统的任何扩展需经过固化的采购流程,速度慢,对突发需求缺少响应能力。

● 生产系统厂商绑定、过分依赖于系统集成商,扩容成本高。

● 硬件和应用系统紧耦合,无法面向不同渠道和客户终端进行融合媒体产品的交付。

● IT规模大且分散、繁杂,综合运维成本高、运维效率低下。

融合媒体云平台的建设目标是要实现电视台媒体生产的敏捷化、集约化。“敏捷化”主要体现在可以按需弹性地分配生产资源、按需动态地配置生产流程、随时随地提供生产服务;“集约化”则是指依托云平台的资源虚拟化、管理自动化、服务流程化特点,在有效降低整个平台的OPEX前提下,仍可确保平台的高效率。

2.融合媒体云的架构解析


电视台融合媒体云平台是一个兼具复杂性、开放性和智能化特征的软硬件综合体系统,本身具有SaaS、PaaS、IaaS三层服务模型。

IaaS层主要负责对IT资源的调度管理以及各种资源服务的流程化交付。融合媒体云平台完整的IaaS层可包括私有云IaaS资源、关联的专属云和公有云IaaS资源,电视台自建的PaaS层需南向调用API接口对三类IaaS资源进行统一对接和按需调度以供上层业务应用使用。电视台自建的私有云IaaS层需包含完整的架构,包括网络、计算、存储和安全硬件资源,各类资源的虚拟化系统、IaaS云业务管理平台,以及与IaaS层对应的IT资源运维管理系统等。

PaaS层主要负责对媒体生产工具的调度管理、生产流程的自定义、管理和交付;通过南向接口实现对IaaS层的IT资源服务的调用,及SaaS层通过其北向接口让用户按权限调用其中的媒体生产工具、自定义其所需的业务流程。

如图,按照总局科技司《电视台融合媒体平台建设技术白皮书(2015)》中对PaaS层架构的定义,其自下而上主要包括资源适配服务子层、公共能力服务子层、运营支撑服务子层和业务集成服务子层以及北向平台开发接口子层。由此,PaaS层在与IaaS层交互设计中有3点需要注意。第一,融媒云平台统一通过该层南向调用不同模式的IaaS层云业务管理平台API,与其对接,实现对不同IaaS资源的调用,以满足媒体生产业务对IT资源的需要,而非是不同IaaS层的云业务管理平台之间通过API相互调用和适配。第二,云平台整体上需遵循分层解耦的设计原则,PaaS层调用IaaS层的资源服务时,必须限定为通过IaaS的云业务管理平台API调用与其交互,不可直接调用IaaS层内部的计算虚拟化模块、存储虚拟化模块和网络虚拟化模块的API接口,破坏云平台的整体分层解耦设计原则。第三,在“多云”协同互动构建融媒云系统时,要求融媒私有云与公有云、专属云互联互通,此时,应由私有云的PaaS层去对接调用外部云平台的IaaS层,私有云的IaaS平台也需对外部云的IaaS资源做资源统计和监控。

SaaS层主要负责提供融合媒体云服务门户,在门户系统上提供用户单点登录、身份认证和服务产品的集中呈现。

单一厂商难以自研交付完整的三层融媒云方案,且这种“大包干”的做法也不利于融媒云自身的开放解耦。从云计算产业链自身的社会化分工来看,媒体应用软件厂商侧重提供融媒云的PaaS、SaaS产品和解决方案,而新华三在融媒云产业链的定位则是依托自身在IT硬件系统、IT资源虚拟化以及IaaS云软件上的长期积累,在深刻理解电视台融合媒体生产业务需求的基础上为电视台客户提供融合媒体云IAAS平台解决方案。该方案旨在为广电行业客户交付一个完整、开放、智能、弹性、安全的融合媒体云IAAS平台。

3.H3C融合媒体云IaaS平台方案


新华三融媒云IaaS平台方案包括了IT基础设施层、资源虚拟化层、IaaS云管理平台、云安全管理系统、IT资源自动化运维系统等5大子系统,其中每个子系统中又由各种不同的软硬件产品组件构成。

3.1计算资源池的构建


融合媒体云平台包含众多业务功能模块,对计算资源的需求差异明显,可归纳为几类。

● 可采用通用虚拟机:粗编、上载、文稿、打包、审片等;

● 需采用物理机:包括数据库、有卡工作站、部分业务管理系统;

● 高性能GPU虚机、物理微卡工作站:高清和4K的非编、转码;

对于部分数据库、有卡工作站应用场景,可采用H3C R4000和6000系列高性能多路机架式服务器。

除此之外,大部分业务可采用通用虚机和高性能GPU虚机作为计算载体。对于这部分计算资源需求,推荐采用高密刀片服务器作为通用虚机、高性能GPU虚机的宿主机,相比同等计算能力的机架式服务器而言,可有效减少机房部署空间、减少电力消耗、减少网络连线、简化运维管理。新华三提供H3C UIS8000、HPE C7000两种品牌的高性能超融合刀片服务器。

基于高密刀片服务器,通过安装H3C CAS计算虚拟化软件和VDI远程虚拟桌面软件来构建虚拟计算资源池,为前端工作人员按需提供通用虚机和高性能GPU虚机。

方案基于服务器虚拟化、GPU虚拟化、桌面云等技术实现非编站点的池化,形成非编虚机资源池,通过云平台实现非编虚机资源在各个业务部门(频道、栏目组)的动态分配与调度。基于云非编虚机资源池设计可以大大提高资源利用率、实现协同共享、降低运维成本。具体而言,H3C CAS通过将整个刀片机箱内所有刀片服务器配置的多核GPU卡虚拟化构建GPU资源池,并通过GPU核直通的方式将GPU资源池内的GPU核分配给业务虚机,并通过RGS协议,向非编工作人员动态交付高性能、具备物理显卡处理能力的云非编桌面,承载电视台的高清云非编业务。

在实际的项目工程中,我们通过测试和分析发现,针对高清、超清云非编应用场景,非编GPU虚机的宿主机内的CPU、内存和GPU配置设计需要综合考虑非编虚机的数量、单个非编虚机的非编性能要求(码率、层数),才能实现最优的资源效用。

GPU虚机资源通过云平台的动态调度能力,实现资源在云非编、合成、转码不同工具间的灵活转换,实现GPU资源的最大利用,更好的满足业务需求。

H3C CAS 3.0在基本的虚拟化功能基础上,集成更稳定、更高性能的虚拟化内核,提供更符合用户体验的新界面、更契合用户业务应用场景的虚拟化功能特性、更融合开放的合作生态圈,这些优化与特色功能(包括许多创新功能)使H3C CAS 3.0在诸多方面领先于其它厂商提供的服务器虚拟化产品,为客户提供一个集计算资源管理、网络资源管理、存储资源管理、虚拟机操作与性能监控管理、虚拟化安全管理的高可用的全融合虚拟化平台,并且,这些特色和优势功能在国内服务器虚拟化市场已经得到广泛而充分的应用与验证。

3.2网络资源池的构建


在云计算系统中,广泛使用的服务器虚拟化技术给传统网络带来了新的问题。传统IT系统中,服务器通过物理线路直连网络交换机的物理端口,服务器和交换机的互联端口固定,不存在位置的动态变化,所有交互流量必经物理网络,交换机和外部安全设备可感知监测到所有服务器间的流量。但是在服务器被虚拟化,物理服务器作为宿主机后,将带来以下问题:

● 同一宿主机内的VM流量由vSwitch交换,传统网络和安全设备无法有效感知和监管;

● VM需要按需在整个云平台内迁移,迁移范围将受限传统二层网络的规模;

● VM大规模部署带来流量大幅增长,传统二层网络采用的生成树等二层技术,带宽利用率低,无法满足流量承载要求;

● VM迁移时,导致配置在原有接入交换机上与其关联的网络策略无法自动跟随;

● 云平台内的VM属于不同的租户所有,需要网络逻辑隔离,传统网络提供的VLAN或VPN技术,不具备提供大规模租户逻辑隔离的能力,且VLAN存在规模部署时存在网络广播风暴问题,VPN存在部署复杂的问题。

Overlay技术正是因此应运而生,它是面向云数据中心的一项新兴网络虚拟化技术,是在物理IP网络上叠加逻辑网络的技术,实现业务应用在网络上的二层承载,并能与其它业务逻辑网络安全隔离。

从上图可看出,Overlay网络是指建立在已有网络上的虚拟网,由逻辑节点和逻辑链路构成Overlay网络。Overlay网络具有独立的控制和转发平面,对于连接在overlay边缘设备之外的终端系统来说,物理网络是透明的。Overlay网络是物理网络向云和虚拟化的深度延伸,使云资源池化能力可以摆脱物理网络的重重限制,是实现云网融合的关键。IETF在Overlay技术领域提出VXLAN、NVGRE、STT三大技术方案,VXLAN在产业链的接受度、成熟度都优于NVGRE、STT。因此新华三的融媒云方案可采用基于VXLAN的Overlay技术。

在融媒云网络内,将为每个云租户(频道、栏目组)的业务应用分配特定的VXLAN ID,流量报文被VXLAN网元封装在特定的VXLAN隧道内转发,确保安全隔离。云租户的VM在发生迁移时,它必须保持仍然在该VXLAN网络内,那云平台是如何控制迁移后的VM所属的VXLAN网络属性不变呢?这依赖于Overlay网络的控制平面设计。

方案在Overlay网络的控制平面采用了先进的SDN技术,由SDN控制器(即H3C VCFC)北向从云管理平台动态接受针对租户的网络部署或变更策略,并在南向通过Openflow、Netconf、Ovsdb等协议实现对物理和虚拟交换机设备下发转发表项、进行自动化网络配置,从而实现云平台内的业务流量听“指挥”智能地转发处理,VM在迁移后SDN控制器也能感知VM的网络位置变化,从而实现其网络策略的跟随。SDN控制器可构成多机集群,实现高可靠性保障。

3.3安全资源池的构建


融合媒体云作为电视台的重要生产基础平台,安全建设是重中之重。融合媒体云的安全建设可依据公安部、总局科技司、中央网信办的发布的相关等保规范要求,进行系统的等保定级和等保建设。总局科技司《广播电视相关信息系统安全等级保护定级指南》对各级电视中心相关信息系统安全等级保护的定级有明确要求。融合媒体云平台的等保定级按照“就高不就低”的原则,一般省级电视台的融媒云平台需按照三级等保级别进行设计建设。

融媒云的安全建设包括为物理层、资源抽象与控制层、云服务层提供全方位的安全防护,包括访问控制、应用监测、、漏洞扫描、操作系统和应用防护、网站防御、租户隔离、认证与审计、数据安全等模块,以满足三级等保要求。

如图所示,融合媒体云的安全系统建设包括四大部分。第一,融媒云系统与电视台内部各大IT系统之间的边界防护,包括与办公网、现有生产网系统等,需部署相应的高安全区、数据交换隔离区。第二,融媒云与外部各网络系统之间的边界防护,包括与Internet、第三方合作伙伴、公有云和专属云之间对接时需设置相应的外延域边界安全防护区。第三,融媒云内部各业务部门拥有的云资源之间的安全隔离、安全访问控制,以及具体业务应用需要数据库审计、Web防护、负载均衡等安全服务,这依赖于融媒云内部署的云内安全资源池所提供的云安全资源。第四,融媒云的运维安全需要考虑对运维人员身份的验证、运维权限的分配、运维行为的实时监控、运维终端的安全接入等多个方面,方案规划在云平台管理区设置云运维的安全接入和运维审计系统。

云内安全资源池的建设是当前的热点和难点,超越了传统IT安全技术的范畴,方案采用了新的安全服务链和安全虚拟化技术。

首先,因为云平台内的业务主机为虚机形式,虚机在云平台内的迁移时常发生,其物理位置是动态变化的,这导致传统IT安全所采用的“确定业务边界,划分安全域”的“围防”安全思想不再有效。云平台上业务系统的安全防护必须能够随业务虚机的位置变化实现“业务安全域”的动态重构,即安全服务能够动态跟踪虚机之间、虚机与外部网络之间的流量路径变化,在该路径上动态加载相应的防火墙、负载均衡、IPS等安全服务,这类似于“塔防”游戏的思路。

为实现云计算中的这种“塔防”安全需求,新华三融媒云方案中基于SDN、NFV和VXLAN技术实现了安全服务链技术,云管理平台可调用SDN控制器动态在虚机之间、虚机与外部网络之间部署安全节点提供服务,虚机的位置发生变化时,安全节点的服务可自动跟随不中断。基于安全服务链,可为融媒云内的各类业务提供南北向(内部业务系统与外部用户)和东西向(业务系统之间)的安全防护服务。

第二,云计算的最大价值在于对IT资源的虚拟化和按需分配,提升IT设备的资源利用率。如何实现安全设备资源的虚拟化和为云租户的业务进行按需分配?方案对云内安全资源池中的高性能防火墙、负载均衡、IPS等硬件安全设备实现了虚拟化,包括基于H3C安全集群框架(SCF)的多机的N:1虚拟化和基于H3C SOP架构的单系统的1:N虚拟化。云管理平台根据云用户的需求调用SDN控制器实现对虚拟安全资源的分配、部署。

3.4存储资源池的构建


存储资源池的使用包括云主机镜像存储,数据库存储,素材和节目等媒资的内容存储,以及为业务云主机提供按需分配和扩展的数据盘存储空间。

各类需求场景的存储需求特点包括:

计算资源分类

业务场景需求

技术特征

非编在线NAS存储

节目加工制作过程中素材存取所需的NAS存储,例如粗编、精编等应用所需的配套NAS存储

高带宽、高IOPS、低延时

媒资近线NAS存储

成品节目的NAS存储系统

容量大、带宽较高、IOPS较高

虚机镜像和数据库存储

虚机镜像文件、虚机数据盘、业务系统数据库系统的块存储系统

可靠性要求较高、IOPS较高、带宽较小

3.4.1 在线和近线NAS存储方案

电视台高清、超清节目的制作涉及的粗编、精编、转码、合成等环节,以及媒资系统都要求后端存储系统能提供高带宽、高IOPS、大容量、低延时的NAS存储服务,

在线制作系统中,非编的视频码率越大、层数越多,需要存储系统提供的稳定带宽也越大。非编对延时敏感,时延过大会导致视频画面出现丢帧和无法平滑流畅,特别是非编过程的读数据过程。

媒资近线存储系统中,以往近线、离线存储考虑使用高端磁带库,但是各地电视台使用下来,发现磁带的保管保养、机械驱动臂的升级带来各种问题。

新华三的融媒云方案针对电视台的NAS存储需求,提供了基于IP的分布式Server SAN存储产品提供NAS存储服务。OneStor存储系统基于多台大容量分布式存储服务器构建分布式存储系统,该系统无中心控制点,性能和容量基于Scale-out方式扩展,可通过增加存储服务器节点方式实现性能和容量的在线扩展,并基于多副本、纠删码机制提供99.999%的容错能力,相比传统基于Scale-up方式的NAS存储产品具有同等的可靠性和更好的高性价比、扩展性。OneStor系统提供了易用的管理平台,具备自动化的运维能力,降低了用户的使用门槛,通过系统自身的自动化运维特性,无需非常专业技能即可实现存储系统的管理维护,简单易用高可靠。

此外,OneStor存储软件还可提供块存储服务、对象存储服务。

在线生产的NAS存储系统如何设计才能既能充分满足业务对在带宽吞吐、IOPS、可靠性上的需求,又能尽可能减少采购成本?不详细评估业务需求,一味降低成本,可能导致存储系统成为瓶颈;一味追求高性能大容量,可能导致存储资源的浪费。科学评估业务生产对NAS存储的需求是重要前提。在实际的项目实践中,我们了解到粗编、精编、转码、合成等各种生产虚机站点对NAS存储的吞吐带宽和IOPS需求,各类站点的数量、高峰工作并发率、以及素材和节目存储量,都是决定NAS存储配置的重要因素,实际项目中需要详细评估。

3.4.2 VDI和数据库的块存储方案

融媒云平台中,业务系统的数据库应用、虚机的镜像文件、虚机的数据盘等应用的存储多采用块存储方式,具有数据量小、读写频繁、稳定性要求高的需求。对存储系统而言,要求高IOPS、高可靠性、本地或异地灾备能力。因此,该场景建议存储系统满足以下要求:

● 控制器架构:网格多引擎横向扩展架构

● 高可用高性能:卓越的ASIC芯片

● 底层虚拟化技术:突破性能瓶颈

● 专属优化特性:针对不同的应用软件,存储对其性能优化

● 架构的冗余:不同站点之间卷同步copy技术

基于以上分析,这类场景可采用双控或多控的中高端存储整列。方案推荐采用HP 3PAR中高端存储产品,对于IO、吞吐要求极高的需求场景,可采用3PAR全闪存存储阵列。3PAR存储采用业界领先的3PAR网格多引擎横向扩展架构,具备强大的扩展能力满足海量存储需求。3PAR可为关键业务数据提供完备的数据保护解决方案,为分布式数据中心间的业务容灾和双活提供保障。

同样,针对VDI和数据库的存储阵列设备的规划也需要详细考虑各种业务系统正常工作产生的存储带宽、IOPS、空间等需求,再结合业务系统的数量、并发情况来分析存储设备的配置。

3.5云管理和运维平台的构建


3.5.1云管理平台

将计算、存储、网络和安全物理资源虚拟化形成资源池仅是构建云平台的第一步,新华三的融合媒体云平台方案将H3Cloud OS作为IaaS层云业务管理平台,是整个平台不可缺失的重要组件。

H3CloudOS的价值在于以下几个方面:

● 将各类虚拟IT资源进行统一调度和管理,封装成云服务的形式被PaaS层调用;

● 为PaaS层提供了种类丰富的云服务,包括X86虚拟机、PowerVM虚拟机、X86物理机、云硬盘、云防火墙、防病毒、云负载均衡、云网络、云数据库、公网IP、物理服务器、大数据平台、云桌面等云资源服务。

● 为不同的云租户(或业务部门)在统一的物理云平台上提供了VDC(虚拟数据中心)形式的逻辑系统,实现租户之间的安全隔离。VDC在融媒云中等同于“虚拟生产岛”。业务部门可以将所分配的云主机、云网络、云防火墙、云负载均衡等云资源以图形化界面进行自由编排以搭建所需的“虚拟生产岛”,并根据业务需要进行变更。

● 实现对多种异构的计算虚拟化平台的统一管理,屏蔽不同计算虚拟化平台的差异性;

● 提供了完善的组织架构管理功能,按云平台管理员、组织管理员、最终用户、审计员等多种角色分别进行定义、权限划分,以实现对云资源和云业务的有序管理。

● 为最终用户提供了自助云服务门户,为管理员提供了云业务的审批管理和云资源的定价管理,实现了云服务交付的流程化。

● 为管理员和最终用户提供了丰富的资源数量、利用率和成本的统计分析功能,面向不同角色提供了对应的云资源运维界面。

● 提供了分级云管理功能,可实现本地云平台作为子平台被上级主云平台纳管,或作为主平台同步管理下级子平台的云资源和业务。

● 为PaaS层或上级云平台提供了丰富的API/SDK,便于系统对接。

H3Cloud OS云操作系统是基于业界最主流、最受欢迎的OpenStack平台开发,针对OpenStack Nova(计算)、Cinder(块存储)、Swift(对象存储)、Neutron(网络)、Glance(镜像)等核心组件进行大量深度地优化和开发。同时,融入H3C对电视台客户需求的深刻理解,赋予云平台更多贴合融合媒体生产需求的功能,为媒体生产用户带来更好的云计算体验。

3.5.2云运维平台

电视台融媒云平台如果仍然采用传统IT运维方式,不仅运维成本高昂,更严峻的是无法实现对云平台的有效运维管理。因为融媒云平台的软硬件IT系统类型和规模相比传统IT系统更多更大,云平台内的IT资源增减变动相比传统IT系统更频繁,用户业务变更更频繁且需求更多样。智能化的IT综合运维管理系统是云数据中心的重要构成。通过该系统,实现对底层计算、网络、存储和安全物理设备的统一系统安装、部署、管理和监控;实现对虚机、虚拟网络、虚拟安全设备等虚拟资源的可视化管理和监控;实现对上层操作系统,和中间件、数据库等应用的全面监管,极大提升云数据中心内部的IT资源运维工作效率,降低运维成本。

新华三针对融媒云平台的智能化IT运维提供了ADDC Director,它可对云平台内庞大的计算、存储、网络等IT资源进行从规划设计、部署配置、监控呈现到诊断优化的循环演进的全生命周期管理,还可对众多中间件、数据库等业务应用提供监控管理。

4.总结


电视台融合媒体云IaaS平台是整个融媒云的基础,针对它的业务、管理和运维需求相比传统媒体生产系统已经发生了明显变化,因此其内部架构、软硬件系统构成和关键技术也在发生深刻变化,对整个产业界的参与者提出了更高的研发要求。新华三集团作为全球领先的新IT基础架构领导者,已经走在了电视台融媒云解决方案研发和实践的最前沿,未来我们将更关注客户需求,以持续的技术创新推动电视台融合媒体事业的发展。