架构
|
|
大数据平台依赖CloudOS云操作系统（本文中简称“云平台”）。大数据平台依托云操作系统基础平台，提供大数据平台运行的服务支撑能力，包括控制台管理框架、统一用户组织管理、工单流程管理、资源池管理等。大数据平台服务支持部署在裸金属和虚拟机上，用户可以根据实际业务场景需求灵活选择。 |
大数据平台架构如图-1所示，说明如下：
系统管理：系统管理提供数据平台运行的支撑能力，包括统一用户管理、流程管理、操作日志、软件授权、系统升级等。大数据平台支持部署在物理机或虚拟机上，用户可以根据实际业务场景需求灵活选择。
大数据集群：提供丰富的大数据组件即服务，包括但不限于分布式文件系统、NoSQL数据库服务、内存数据库服务、离线计算、流式计算、内存计算、SQL on Hadoop等服务，同时还提供自研统一SQL服务，可兼容标准SQL，对外提供统一的数据查询/分析服务，提升平台的整体易用性。
管理中心：提供可视化安装部署、监控告警、主机扩容、大数据组件、日志统一等管理能力，大幅提升大数据平台运维效率。
安全中心：提供基于Kerberos安全认证体系以及基于角色的用户权限管理体系。对用户身份进行认证，拒绝非法用户访问，恶意用户“进不来”；对用户操作行为进行不同维度的审计，非法用户“逃不掉”；通过角色绑定用户授予访问不同组件数据的权限，数据“拿不走”；将密钥的权限与用户绑定，对数据进行透明加密，数据“看不懂”。
数据工厂：提供一站式可视化的数据开发环境，全托管的数据处理流程调度，实现一整套完整的数据集成、数据表及文件管理、数据处理脚本程序开发、拖拽式工作流及调度、作业状态监控运维等全生命周期数据开发服务。
