数据质量支持对数据表中的字段进行质量检查,还支持对数据源进行整体质量评估。
表-1 数据质量功能使用流程图
执行数据质量检查和数据质量评估方案之前,需要需要配置数据来源。
数据质量检查通常以数据源中的数据表(或表中字段)为基本维度,对表中的数据进行质量检查,因此需要提前在数据源管理中增加数据源,并识别其中的数据表。系统可识别的数据表通常为:
对数据源进行元数据采集,识别出的数据源中已有的数据表。
在本系统的表管理功能中,手动创建的数据表。
在本系统中,业务流程运行时创建的数据表。
数据质量评估会对数据源整体进行评估,因此需要提前在数据源管理中增加的数据源。
数据质量模块还支持对数据源进行整体的质量评估。
表-2 数据质量评估使用流程说明
|
操作 |
说明 |
|
开始 |
- |
|
新建质量评估模板,配置探查项和评估项 |
|
|
新建质量评估方案,指定数据源,选择对应的评估模板,配置调度参数、告警设置 |
|
|
执行质量评估方案 |
|
|
质量评估方案运行完成后,可以查看指定数据源整体的质量评估报告 |
|
|
结束 |
- |
数据质量模块支持使用规则创建针对数据字段的质量规则,并构成质量检查方案,按调度配置持续执行检测,从而实现对数据质量的持续监控,形成数据质量检查方案。
|
操作 |
说明 |
|
开始 |
- |
|
准备数据 |
对数据源中已有数据进行质量检查:将待检测数据所属的数据源加入[工程配置/数据源管理]中,并识别其中的数据表、字段等。相关操作为数据源管理、数据运营-数据资产模块的功能 对业务流程所创建数据表中的数据进行质量检查:无需额外准备,仅需确保业务流程已成功运行完成即可 对于手动创建的数据表中的数据进行质量检测:在[数据运营/数据开发]的[表管理]中手动创建数据表,并存入数据(可以通过业务流程写入或自行直接连接数据库写入) |
|
根据规划录入质量检测规则模型,如果系统内置的规则模型已经可以满足使用需求,则不需要再新建自定义规则模型 |
|
|
将规则模型与数据表中字段相结合,构建质量检查规则 |
|
|
将一组质量规则汇总成一个任务,并调度配置,形成对数据质量的检查方案 |
|
|
执行质量检查方案 |
|
|
质量检查方案运行完成后,可以查看质量检查报告 |
|
|
结束 |
- |