• 产品与解决方案
  • 行业解决方案
  • 服务
  • 支持
  • 合作伙伴
  • 新华三人才研学中心
  • 关于我们

绿洲数据运营平台——全栈式一体化开发治理平台

背景介绍

DT时代,如何在智慧类领域快速的落地项目?如何把平台的各个组件的性能发挥到极致?尤其是对于智慧类项目而言,既要面对行业业务的理解,又要想在大数据领域有所作为变的越来越难。平台厂商不仅仅提供平台的能力,更需要构建符合DT时代的更具创新性、灵活性的组织机制和业务机制,来适应瞬息万变的市场,数据运营平台应运而生。

新华三绿洲·数据运营平台是H3C自研的一站式全域数据开发和治理平台,集成了先进的大数据技术,覆盖数据标准、数据开发、数据质量、数据资产、主数据管理、数据脱敏以及知识平台等数据使用场景,其中数据开发包含了实时计算、多维分析、数据访问、数据探查等分析能力,支持结构化数据、非结构化数据、图数据的分析和加工。产品与CloudOS深度融合,以打破“信息孤岛”消除“数据烟囱”为理念,帮助企业把数据用起来,以发挥数据最大价值。

功能架构

数据运营平台功能架构如上图所示,主要包含数据标准、数据质量、数据开发、数据资产、主数据管理、数据脱敏、以及知识平台等相关能力,提供一套一站式数据开发和治理平台能力。

数据标准

规范化数据标准的能力,数据标准提供了对国家标准、部级标准、行业标准以及本地标准进行管理和维护的功能,其中包括数据元管理、数据项管理、数据集管理、代码管理及版本管理等,解决数据格式不统一,数据内容不规范的问题。

数据标准

数据开发

全链路数据开发,处于平台和应用的中间层,解决了HADOOP开发难的痛点,将数据集成、离线分析、实时计算等模块深度融合,通过把各个业务线的共同需求经过提炼后进行能力沉淀,为应用开发和数据开发减负,降低大数据使用开发门槛,实现了应用和平台的解耦。数据开发主要包括实时计算、多维分析、业务流程、任务调度、数据访问以及全文检索等能力。

数据开发

数据质量

检核数据质量的能力,数据质量可以监控到数据开发全流程中涉及的各个数据实体,实现数据质量问题的全面筛选和精准定位,以可视化方式实现对数据质量的全局掌控和管理。依托数据质量的全库质量评估能力,可高效、方便的对整个数据库的数据质量进行检查与管理。数据质量划分为质量评估,质量检查,质量报告,引入业务系统、业务部门、责任人、数据源,4种规则管理维度。质量评估增加了对表主键、代码字段、标准覆盖率、数据源接入信息、数据规模等信息的探查。

数据质量

数据资产

盘清数据资产的能力,理清数据的来龙去脉,以体系化的方式实现数据的可用、好用,用较小的数据成本获得较大的数据收益,为业务应用和数据获取夯实基础。数据资产主要包含元数据采集、数据目录、数据地图以及数据血缘等能力。数据地图提供元数据全局统一的搜索入口,多维搜索(标签、责任人)。

数据资产

数据安全

为了保护数据安全,支持数据静态脱敏以及动态脱敏能力,通过对敏感信息自动发现、分级分类、数据变形、安全审计等一体化功能实现对敏感隐私数据的可靠保护。支持数据水印的能力,通过将水印信息嵌入数据中,当数据泄漏时,通过提取水印,进行追踪溯源,能够提高数据使用者安全意识。支持数据存证的能力,通过数据上链为用户提供安全可信的数据存证。数据脱敏主要包含数据发现、数据访问、风险审计、以及配置管理等能力。数据水印主要包含水印嵌入和水印提取等能力。

数据tuomin

数据水印

知识平台

知识平台是一个集知识数据的管理、存储、查询、分析、可视化为一体的一站式知识图谱平台,包括对图谱数据的统计分析、知识源管理、知识抽取、图谱管理、知识应用和知识探查。以数据目录的形式高效的管理知识图谱的数据来源,包括结构化和非结构化数据;支持通过AI模型将非结构化数据转换为结构化数据;为用户提供高效、便捷的图谱构建能力,实现从“数据”到“知识”的进化;提供多维度关联数据的分析与挖掘,支撑智能应用,为客户提供基于数据的决策支持。总之,知识平台是一个功能齐全的知识数据管理和分析工具,为企业提供了全方位的知识数据管理和分析解决方案。

完善的数据服务体系

数据运营平台集成了离线计算(Hadoop、Spark)、流式计算(Flink、SparkSQL)等多种数据引擎,以及MySQL、Oracle、HDFS、 HBase、 Hive、 ElasticSearch、 Kafka、DLH、Vertica、SealSQL、SQL Server、DRDS等多种存储服务,可满足多方面需要。

数据运营平台从数据标准、数据开发、数据质量到数据资产都提供标准的流程,并为流程的每一阶段提供了标准工具,保障了流程规范和目标可控。同时提供统一的数据管理视图管理元数据和数据血缘,有效保障数据运营和治理及时性和规范性。

简单易用的可视化界面

数据运营平台基于数据运营的深刻理解,整体设计理念贯穿真个数据应用生命周期,通过简单易用的可视化界面,用户可以通过可视化的操作界面使用大数据,涵盖从数据分析、计算、管理、检索到服务的一系列环节,帮企业快速构建高效大数据应用开发,降低企业使用数据成本。

先进的数据资产化理念

数据运营平台通过对数据资产的统一管理,以全局多维度资产视图,快速盘清资产数据的分布和统计情况,依据业务属性自定义对数据按照主题、分层进行不同维度统计,清理全数据链路自动形成数据流转血缘关系图,实时了解数据的来龙去脉。同时提供数据目录和数据地图特性,提升数据资产的管理和检索能力。

丰富的数据开发类型

支持多人在线协作开发,支持Java、MR、SparkSQL、RDSSQL、PySpark、Clickhouse、Shell、Flink多种数据处理类型,作业开发支持SQL编辑器和画布拖拉拽多种方式,提供丰富的调度配置策略与海量的作业调度能力。

可复用行业知识库

沉淀智慧行业套件知识库,涉及数字政府、教育、医疗、企业等,涵盖行业数据标准、数据模块、行业数据主题库、专题库、行业算法库,加速交付能力,引领行业标准化实践。

属性

最低配置

推荐配置

机器数量

3

≥3(支持扩展)

CPU

2路× 12核

≥2路× 14核

内存

256GB

≥256GB及以上

系统盘

600GB SAS盘,2块RAID1

≥600GB SAS盘,2块RAID1

数据盘

7.2krpm SATA盘,1TB以上,4块

≥10krpm SAS盘及以上,1.2TB以上,4块

网卡

千兆网卡

双千兆,双万兆

获取更多资源与支持

需要技术帮助?

如果您需要更多更准确的技术帮助

去往技术论坛 >

新华三官网
联系我们