快速入门

数据质量支持对数据表中的字段进行质量检查,还支持对数据源进行整体质量评估。

表-1 数据质量功能使用流程图

 

前提条件

执行数据质量检查和数据质量评估方案之前,需要需要配置数据来源。

数据质量评估

数据质量模块还支持对数据源进行整体的质量评估。

表-2 数据质量评估使用流程说明

操作

说明

开始

-

新建评估模板

新建质量评估模板,配置探查项和评估项

新建质量评估方案

新建质量评估方案,指定数据源,选择对应的评估模板,配置调度参数、告警设置

调度质量评估方案

执行质量评估方案

评估报告

质量评估方案运行完成后,可以查看指定数据源整体的质量评估报告

结束

-

 

数据质量检查

数据质量模块支持使用规则创建针对数据字段的质量规则,并构成质量检查方案,按调度配置持续执行检测,从而实现对数据质量的持续监控,形成数据质量检查方案。

表-3 数据质量检查使用流程说明

操作

说明

开始

-

准备数据

对数据源中已有数据进行质量检查:将待检测数据所属的数据源加入[工程配置/数据源管理]中,并识别其中的数据表、字段等。相关操作为数据源管理、数据运营-数据资产模块的功能

对业务流程所创建数据表中的数据进行质量检查:无需额外准备,仅需确保业务流程已成功运行完成即可

对于手动创建的数据表中的数据进行质量检测:在[数据运营/数据开发][表管理]中手动创建数据表,并存入数据(可以通过业务流程写入或自行直接连接数据库写入)

新建自定义规则模型

根据规划录入质量检测规则模型,如果系统内置的规则模型已经可以满足使用需求,则不需要再新建自定义规则模型

新建质量规则

将规则模型与数据表中字段相结合,构建质量检查规则

新建检查方案

将一组质量规则汇总成一个任务,并调度配置,形成对数据质量的检查方案

调度质量检查方案

执行质量检查方案

质量报告

质量检查方案运行完成后,可以查看质量检查报告

结束

-