• 产品与解决方案
  • 行业解决方案
  • 服务
  • 支持
  • 合作伙伴
  • 新华三人才研学中心
  • 关于我们
docurl=/cn/Solution/IndustrySolution/Media/Home/Industry_Requirement_Analyse/Representative_Requirement/200711/320219_30004_0.htm

网站播客存储平台建设浅析

【发布时间:2007-11-30】

网站播客存储平台建设浅析

随着互联网技术不断变迁,近年来博客的空前繁荣加速激发了人们的原创热情。较博客更为生动的、以视频、音频为表达方式的播客也逐步成为追求时尚、个性的网络爱好者的新宠,并为其提供更为广阔的发挥空间。自2004年底播客进入中国迄今在两年多的时间里,各类播客网站、播客频道如雨后春笋般大量涌现,大批播客节目广泛传播,个性的播客队伍日益壮大,互联网世界形成了一道引人注目的播客景观 。

据美国研究机构DiffusionGroup的最新统计,未来几年内,美国的“播客”人数将呈现出井喷的增长态势,即由2005年的84万上升到2010年的5600万人。目前中国的播客人数没有具体的统计数字,但是我们可以预见,未来几年中国播客人数的增长速度将不亚于美国。

统计表明,目前国内宽频网站大约有150家左右。影响较大的有:土豆网、菠萝网、波谱播客、播客中国、中国播客网等。在众播客站点分割蛋糕的同时,中国门户网站并没有滞后,新浪、搜狐等门户网站也推出了自己的播客,我们看到全国播客网站在不断增加,而每个播客网站节目数量也一直处于加速增长中,各播客网站之间的竞争也不断凸现出来。因此网站播客业务的存储系统的设计也越发显出其重要的地位,

那么,在播客业务中,如何存放、管理海量的音频、视频数据,并确保互联网用户即时在线观赏和使用呢?大多网站都碰到同样的问题和挑战,也在同样思考这样的问题。

播客网站特点和内容形态分析

目前从播客业务内容的形式来看,播客节目主要有三种,除了音频、视频节目外,还包括少量以Video格式出现的Flash。据统计,目前视频分享已经占了主流。用户上传的音视频格式有MP3、WMP、MOV、REAL、MPEG等格式,最后通常都会通过应用服务器层的转码服务器转换成 *.flv  标准的flash格式。

播客系统的业务流程主要包括: 播客文件上传、文件转码和存储和节目发布,业务系统的建设主要包括业务层(可能包含Cache层)、存储层这两大层次,播客文件上传和节目发布的简便快速,直接决定着播客用户的满意度,实际上对于播客来说,要想赢得网民的青睐,不仅要拥有丰富的内容资源,最重要是在音频和视频文件的快速上传和快速点播、快速下载上下工夫。而音视频资料的快速上传和点播下载和我们的存储系统的建设密不可分。

存储需求分析

海量数据量,数据类型主要为音视频数据,需要大容量海量存储系统设计。且呈现快速增加趋势,因此存储系统的设计需要提供很好的可升级可扩展性。

存储容量大,大型播客业务通常能达到上千TB容量, 需要考虑投入产出比。

由于业务特点,暂不需要对音视频数据作实时数据保护。

可靠性要求高,无单一故障点

保证高带宽,以满足前端业务快速地上传、下载和点播播客文件。

管理难题:管理性要求高,能方面简便地实现统一管理,支持故障报警。

传统播客系统存储架构和问题

网站目前对传统播客存储系统设计多采用二层或者三层DAS存储架构,

上图是目前大中型网站播客存储系统一个三层典型架构,其中存储系统设计采用DAS直连存储方式,即服务器和存储设备一对一连接,直联存储采用磁盘柜的方式,Cache层驻留热门的节目,减少对后端存储的访问量。

但是和网站普通业务需求不同,DAS 直连存储方式针对播客业务有如下问题:

容量扩展性:面对播客用户成级数倍的增长和用户对高清晰视频内容的需求,播客系统对存储空间的需求也成倍的增长。这就要求存储的可扩展性要高,但DAS的连接方式制约了存储空间的扩容,阻碍播客业务的发展;

共享性:采用DAS方式连接,无法实现多台存储设备之间的资源调配和共享;

可管理性和可维护性:DAS设备分布到每台服务器后面,管理分散,不能实现统一集中管理,可维护性较差。

H3C播客存储解决方案

如上图,采用 IP存储和SAN架构构建播客存储系统,整个架构同样分三个层次,存储架构采用 IPSAN架构,在存储层采用IP存储EX1000系列组成存储池,在应用层和存储层之间采用IP以太网交换机进行连接,由于采用SAN架构,存储设备和应用服务器数量不必相对应。

由于传统DAS方式在容量扩展性、共享性和可管理维护性方面都存在一些问题,并不适应播客业务未来的发展,播客业务系统服务器数量多,存储量大,可扩展性、可管理、可维护性都要求高,建议采用SAN存储架构建设。 SAN(Storage Area Network)存储区域网络,是一种通过网络方式连接存储设备和应用服务器的存储架构,这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时,数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。非常适合大规模服务器数据集中和海量数据存储。

方案存储技术选择采用的是IP存储技术,2003年,以IBM等公司共同发起的iSCSI(Internet SCSI)协议,通过IETF组织的审议,公布为RFC标准。iSCSI标准一经公布,就以其低成本、高可管理性、天然的跨广域数据传输和管理能力、海量组网能力得到了业界的青睐。基于iSCSI协议构建的IP SAN存储,已崭露头角,成为新一代存储系统的标准,成为IT新时代围绕IP技术进行的网络与存储融合的标志性技术。

H3C 播客系统存储解决方案特点

采用IP SAN架构,适合各种规模的播客系统;

EX系列存储产品采用堆叠技术实现了分布式网格部署,在线扩容,性能和容量线性扩展,网络存储扩展性灵活,使系统整体瓶颈可调。

存储系统和服务器完全独立,没有物理上的绑定关系,服务器故障不影响存储

IP接入方式简单且低成本

存储设备之间资源可灵活调配和共享,一台Web服务器可带多个存储设备,减少了服务器硬件设备的投入。

EX系列存储产品采用基于JAVA的统一管理平台实现对存储设备的统一管理。

H3C 播客系统存储设计之管理受益

由于播客业务需要存储容量非常大,所以在管理维护方面需要提供更为便利的管理方式,且需要考虑后期管理维护成本,这也是传统DAS方式最突出的问题之一。采用H3C的IP SAN方案在管理方面具备如下特点和优势 :

所有存储设备统一可视化GUI界面管理

和DAS方式相比,网络存储设备EX系列采用可视化管理,在GUI管理界面上可以所见即所得地对磁盘、RAID组等进行配置操作和状态监控。不需要每台逐个登陆管理,大幅度减少了维护工作量。EX系列采用中文管理界面,便于操作使用。

CallHome功能-实现硬盘等故障邮件通知

由于网络存储有独立IP地址,支持CallHome远程告警功能,并能提供X-Ray检测工具,当设备出现故障时能够及时通知管理员,还能提供详细的故障信息便于问题定位和分析。不需系统管理员每日检查硬盘灯的情况,大量减少了维护工作量。

和全网管理软件集成

EX系列支持SNMP管理协议,其配置管理能够与H3C IMS网管系统融合,用户可以像管理其它网络设备一样,轻松管理EX系列。

结语

面对国内乃至全世界范围内的播客音视频浪潮的涌现,H3C的高品质IP存储解决方案,不仅满足播客业务及时读取的高性能要求,而且通过灵活的架构和独有的统一管理方式,保证了播客业务整体系统无限扩展和上千TB海量数据的简便管理,同时为我们的播客业务提供较佳的技术和服务,共同为互联网用户打造较佳的播客业务系统平台。

 

新华三官网
联系我们