产品架构

数据运营的架构如图-1所示。

图-1 数据运营功能架构

 

数据运营产品核心功能模块及其说明如下：

以宏观视角对经过分析和治理的数据进行多种维度的统计，统一管理多种数据源的元数据，拉通数据全生命周期流程形成数据全链路血缘关系。

提供了数据目录的整体规划（分层、主题等）、数据地图查看等功能，方便数据目录的构建。

提供了系统中资源与数据的全方位探查。用户可以通过SQL直接进行查询数据操作，也可以通过全文检索或数据搜索进行特定的资源或数据快速查询。

提供了构建数据标准，数据模型的功能，详细介绍如下：

将以往文件形式的国家标准和行业标准进行系统化，帮助数据管理者构建自己的标准体系。通过定义数据规范，并实现标准的落地，来提升数据的可用性和关联价值。

提供了构建通用数据模型的功能，基于数据模型可快速构建物理表，提升配置效率。

提供表和文件管理、数据标签、实时计算、离线分析、业务流程、任务调度等数据加工处理端到端的工具集；支持复杂的数据处理流程构建；提供一站式可视化开发与管理界面，支持全托管的作业调度与灵活的调度策略；具有良好的扩展性，支持算子、函数及作业的自定义开发，极大地降低了用户构建数据处理的复杂度，帮助企业专注于数据价值的挖掘和探索。

内置多种基础规则模型用于数据质量检测，也支持用户根据业务逻辑定义自己的可复用模型。通过规则模型与数据列进行绑定，建立数据质量规则库，即时或定时检查数据的问题发生情况，及时帮助用户发现和分析数据问题。同时，还支持通过指定质量评估方案，对数据源进行多维度全方位评估，帮助用户了解数据源状况。此外，还支持进行数据对账，保障源端和目标端数据的一致性。

数据通常不能直接且全量的暴露给业务使用，往往需要事先对数据中一些隐私、敏感类等信息进行掩盖或加密处理，以降低或避免数据资产外泄的风险、数据脱敏提供识别配置、敏感数据识别、脱敏处理、安全审计等功能，通过对敏感信息识别、数据变形等手段实现对隐私、敏感数据的可靠保护。数据水印提供了向数据中添加水印和从数据中解析水印的功能，实现在数据泄露后可追踪溯源。

此外，还提供了数据存证功能，将操作记录进行固化，使其不可修改，以便作为凭证，实现审计与追溯，从而使数据处理安全可信。

提供了对非结构化数据和HDFS数据的界面化管理功能。

将关键业务数据与多业务共用数据等定义为主数据，对数据进行管理，并支持订阅与分发。体外，还可以通过配置数据与业务关系，展示数据流向与规划，方便用户整体掌控主数据。

知识平台集知识数据的管理、存储、查询、分析、可视化为一体的一站式知识图谱平台。知识平台是一种用图模型来描述知识和建模世界万物之间关联关系的技术方法，旨在从数据中识别、发现和推断事物与事物之间的复杂关系，以及事物关系的可计算模型。