• 产品与解决方案
  • 行业解决方案
  • 服务
  • 支持
  • 合作伙伴
  • 新华三人才研学中心
  • 关于我们

SeaSQL DWS MPP

过去十年,互联网行业经过由慢到快的发展,积累了大量的信息和数据,在数据爆发式增长的情况下,针对海量数据需要一种新的计算方式。传统的计算方式已不足以应对海量数据的处理,弊端显而易见,除了在造价成本高昂之外,技术上也难以满足数据计算性能指标,传统主机的Scale-up模式遇到瓶颈,SMP(Symmetrical Multi-Processing,对称多处理)架构难以扩展,并且在CPU计算和IO的吞吐上不能满足海量数据计算要求。

在此背景下,拥有处理PB级别数据量的超强性能分析能力的分布式数据库H3C SeaSQL DWS应运而生。H3C SeaSQL DWS基于无共享MPP(大规模并行处理)架构,具有良好的弹性和线性扩展能力,内置并行存储、并行通讯、并行计算和优化技术,兼容 SQL 标准,具备强大、高效、安全的PB级结构化、半结构化和非结构化数据存储、处理和实时分析能力,同时支持涵盖OLTP型业务的混合负载,为客户打通业务-数据-洞见-业务的闭环,可部署于企业裸机或私有云中,支撑着包括金融、证券、电信、政府、制造、交通运输等各行业的大量核心生产系统。

H3C SeaSQL DWS 作为一款分布式数据库,其采用 Shared-Nothing 架构、主机、操作系统、内存、存储都是自我控制,不存在共享。H3C SeaSQL DWS 数据库的主要特性如下:

* 大规模并行处理架构。

* 既支持行存,也支持列存。每张表或表分区可以由管理员根据应用需要,分别指定存储和压缩方式。

* 支持多种压缩方法,包括 Zlib,RLE 等。

* 支持多级分区表,分区支持多种模式,包括范围,列表等。

* 支持 B 树、位图和 GiST 等索引。

* 认证机制支持多种方式,包括 LDAP 和 Kerberos 等。

* 扩展语言支持:SeaSQL DWS 支持使用多种流行语言实现用户自定义函数,包括 Python,R,Java,Perl,C/C++等。

* 地理信息处理:通过集成 PostGIS,SeaSQL DWS 支持对地理信息进行存储和分析。

* 内建数据挖掘算法库:通过 MADlib(现在是 Apache 孵化项目)算法库,可以内建几十种常见的数据分析和挖掘算法到 SeaSQL DWS 数据库中,包括逻辑回归,决策树,随机森林等。不需要写任何算法代码,通过 SQL 就可以使用其中的所有算法。

* 文本检索:SeaSQL DWS 可以支持高效灵活丰富的全文检索功能。与 MADlib 合用,可以进行并行文本分析和挖掘。

* 高性能加载,使用 MPP 技术,提供 Petabyte 级别数据量的加载性能。

* 大数据工作流查询优化。

* 多态数据存储和执行。

* 基于 Apache MADlib 的高级机器学习能力。

* 支持 SQL 92 ANSI/ISO、SQL 99 ANSI/ISO、SQL 2003 ANSI/ISO、SQL 2006 ANSI/ISO标准,支持 C API、ODBC、JDBC 等国际接口规范,支持 DDL,DML,DCL 语法,支持基本数据类型、基本完整性约束、基本表管理、搜索条件、表连接、子查询、插入、修改、删除、事务控制。

产品主要特性与优势

标准支持与事务

H3C SeaSQL EDW 作为分布式分析型数据库支持 SQL92、SQL99、SQL2003、SQL2008 标准;支持 ODBC、JDBC、ADO.NET 和 OLEDB标准接口规范;支持 ACID 强事务一致性,提供分布式事务机制;支持单表、多表并发 IUD(Insert、Update、Delete)。开发者可以像使用传统关系型数据库一样使用 H3C SeaSQL EDW,简单易用。

产品优势特性

云化部署

SeaSQL DWS 支持 CloudOS5.0 云平台的部署安装,能够支持云化部署。用户可以通过 CloudOS界面统一管控所有资源并统一调度管理,可以灵活管理分配资源,提升整体的资源利用率。

扩容不中断

SeaSQL DWS 数据库可以按照客户需求进行两种扩容方式:主机扩容和实例扩容。扩容过程中只需要对系统表元数据进行更新即完成扩容,不需要对数据库进行停止操作,数据库扩容后采用了 Jump Consistent Hash 算法大大减少了数据重分布过程中数据的移动。

行列混合存储

SeaSQL DWS 数据库提供了多种类型的存储模型:行存、列存、行列混合存储,可以根据业务的需要制定数据的存储模式。

OLAP 函数

SeaSQL DWS 提供丰富 OLAP 函数包括:Rollup、cube、窗口函数、递归操作等,用于支持复杂的分析操作,侧重于对决策人员和高层管理人员的决策支持。可根据分析人员的要求,快速灵活地进行大数据量的复杂查询处理,以便他们准确掌握企业的经营状况,了解被服务对象的需求,制定正确的方案。

多租户

SeaSQL DWS 数据库的多租户特性可以将一个数据库划分给多个租户来使用,不同的租户的物理资源互相隔离,多租户特性主要体现下面几个方面优势:

* 不同租户对物理资源的要求不一样,各个资源相互隔离互不干扰,防止某些租户在业务波峰的时候抢占其它用户的资源。

* 租户之间的数据互相隔离,提高数据的安全性。

* 系统资源空闲的时候 CPU、内存资源可以弹性使用,当资源比较繁忙的时候租户之间的资源按照设置时候的参数来限制,提高整个系统的资源利用率。

强大的并行装载能力

数据的导入性能指标对于数据仓库的使用体验有很重要的作用,SeaSQL DWS 数据库在进行数据加载的时候可以使用整个集群所有的节点的资源,加载性能随着节点数的增加而线性增加,在大规模的集群中数据加载速率可以达到 20TB/小时。

集成 MADLib 机器学习库

MADlib 不是面向程序员的,而是面向数据库开发或 DBA 的,能将 SQL 的简单易用与数据挖掘的复杂算法结合起来,充分利用两者的优势和特点,大大提高开发人员的开发效率。

对用户而言,MADlib 提供了可在 SQL 查询语句中调用的函数,其中不但包括基本的线性代数运算和统计函数,还提供了常用的、现成的机器学习或数据挖掘模型函数。用户不需要深入了解算法的程序实现细节,只需要清楚函数的使用方法即可,大大的提高了开发效率,节约开发成本。

集成 PostGIS 地理空间数据处理

PostGIS 是对象关系型数据库系统的一个扩展,PostGIS 通过向数据库添加对空间数据类型、空间索引和空间函数的支持,将数据库管理系统转换为空间数据库。

SeaSQL DWS 集成了 PostGIS 空间数据库将空间数据和对象关系数据库完全集成在一起,实现以 GIS为中心向以数据库为中心的转变。这样,用户就不需要专门的 GIS 数据引擎去处理和操纵空间数据了,应用程序只需要通过 SQL 语言就能轻松的操纵空间数据。

透明加密

SeaSQL DWS 透明加密模块实现了对整个数据库的加密,该加密对于客户端是完全无感知的。当把数据块写入磁盘时,对数据进行加密;当从磁盘读取数据时,进行解密。能够保证存储在磁盘上的数据一直处于加密状态,即使获取磁盘内容也无法读取里面的明文数据。同时业务层面对于加密动作完全无感知,不需要针对加密进行任何适配修改。加密方式采用 AES 的 XTS 加密模式,保证了数据加密的安全性。

数据脱敏

数据脱敏(Data Masking),又称数据漂白、数据去隐私化或数据变形。指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用,如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。

SeaSQL DWS 数据库提供多样化的脱敏方式,定义脱敏规则以后,用户可以通过以下两种方式访问脱敏数据:

静态脱敏:去除库内敏感信息,数据库内敏感数据被覆盖不可恢复。

动态脱敏:对指定用户屏蔽敏感信息,其他未被脱敏的用户仍将访问原始数据。

FDW 数据邦联

FDW 是 SQL 标准 SQL/MED(SQL Management of External Data)的实现。FDW 提供了一系列统一的公共接口,使得扩展程序可以轻松地在优化、执行、扫描、更新和统计等核心部分和 SeaSQL深度集成,从而可以用 SQL 语句直接查询和操作外部数据源。 例如 FDW for MySQL,用户可以像操作本地表一样地直接查询、排序、分组、过滤、Join 甚至插入和更新 MySQL 数据库的数据。

根据数据源的不同,SeaSQL 实现的FDW 模块包括:postgres_fdw、file_fdw、oracle_fdw、mysql_fdw、 json_fdw、redis_fdw、hdfs_dfw,如下图所示:

Roaringbitmap 压缩位图

RoaringBitMap 是一种高效的位图压缩算法,可以有效提升位图内存的使用效率,解决稀疏位图不适应稀疏存储的问题。Bitmap 位计算非常适合大数据基数计算,常用于去重、标签筛选、时间序列等计算中。gpdb_roaringbitmap 插件将 Roaringbitmap 功能集成到 SeaSQL DWS 数据库中,将 Roaringbitmap 作为一种数据类型提供原生的数据库函数、操作符、聚合等功能支持。

SeaSQL DWS 数据库是一款由新华三打造的一款企业级分布式分析型 MPP 数据库。它具有良好的弹性和线性扩展能力,拥有处理 PB 级别数据量的超强性能分析能力,同时支持涵盖 OLAP 和 OLTP 型业务的混合负载,为客户打通业务-数据-洞见-业务的闭环,助力客户加速数字化转型。


SeaSQL DWS 支持本地物理机部署,也支持部署在私有云上,数据源可以是本地存储、HDFS、云存储或者其他关系型数据库比如 Oracle、MySQL 等等,这些数据通过 ETL 工具或者 Kafka 等集成到 SeaSQL DWS 数据库。SeaSQL DWS 分布式数据库基于无共享大规模并行架构,具备 PB 级数据处理能力,提供强大的查询优化器,对 SQL 进行了完善的兼容。在接口层,SeaSQL DWS 除了提供标准的 JDBC/ODBC 接口之外,还提供常用编程语言 Python/R/Java/Perl/C 的接口,也提供机器学习库 MADLib、全文检索和 PostGIS 的接口,供应用层调用。

SeaSQL DWS为分布式架构,横向扩展能力很强,可实现上千个节点互联,支持数千个CPU。其强大的数据处理和运算能力适用于以下场景:

* 适用于面向分析的应用,比如构建企业级的ODS/EDW、数据集市等。

* 适用于需要处理海量数据的应用,比如数据仓库、商业智能等。

* 适用于离线数据的分析和数据挖掘,如客户行为分析、人物画像、行为预测建模等。

属性

配置

CPU

2 路 12 核,主频 2.2GHz 以上

内存

256GB DDR4-2400P 内存以上

网卡

2 个万兆网口,2 个千兆口以上

Raid 卡

1GB Raid0/5卡(带超级电容)

硬盘

系统盘:2*10krpm 600G SAS 盘 ,数据盘:12*4T 盘,硬盘最好根据实际数据量配置


项目

描述

H3C SeaSQL-MPP分布式分析数据库License-1个节点

按节点授权,3节点起

必配

H3C CloudOS 数据库服务-SeaSQL MPP标准版License

云上版本功能授权license

云上版本必配

H3C数据库系统定制开发License费用-1人天

选配

大数据产品技术支持服务

必配

获取更多资源与支持

需要技术帮助?

如果您需要更多更准确的技术帮助

去往技术论坛 >

新华三官网
联系我们