快速入门

数据质量支持对数据表中的字段进行质量监控,还支持对数据源进行整体质量评估。

表-1 数据质量功能使用流程图

 

前提条件

执行数据质量监控和数据质量评估任务之前,需要需要配置数据来源。

数据质量监控

数据质量模块支持使用规则创建针对数据字段的指标,并构成质量监控任务,按调度配置持续执行检测,从而实现对数据质量的持续监控,形成数据质量监控方案。

表-2 数据质量监控使用流程说明

操作

说明

开始

-

准备数据

对数据源中已有数据进行质量监控:将待检测数据所属的数据源加入[工程配置/数据源管理]中,并识别其中的数据表、字段等。相关操作为数据源管理、数据运营-数据资产模块的功能

对业务流程所创建数据表中的数据进行质量监控:无需额外准备,仅需确保业务流程已成功运行完成即可

对于手动创建的数据表中的数据进行质量检测:在[数据运营/智能数仓][表管理]中手动创建数据表,并存入数据(可以通过业务流程写入或自行直接连接数据库写入)

规则模型

根据规划录入质量检测规则模型

指标管理

将规则模型与数据表中字段相结合,构建质量检测指标

质量监控

将一组质量检测指标汇总成一个任务,并调度配置,形成对数据质量的监控任务

质量报告

质量监控任务运行完成后,可以查看基于数据表的质量报告,还可以查看基于指标的多次检测结果变化趋势

结束

-

 

数据质量评估

数据质量模块还支持对数据源进行整体的质量评估。

表-3 数据质量评估使用流程说明

操作

说明

开始

-

评估配置

创建质量评估任务,指定数据源,设置选择调度参数,配置质量权重、数据倾斜度和告警设置

评估报告

质量评估任务运行完成后,可以查看指定数据源整体的质量评估报告

结束

-