数据质量支持对数据表中的字段进行质量监控,还支持对数据源进行整体质量评估。
表-1 数据质量功能使用流程图
执行数据质量监控和数据质量评估任务之前,需要需要配置数据来源。
数据质量监控通常以数据源中的数据表(或表中字段)为基本维度,对表中的数据进行质量监控,因此需要提前在数据源管理中增加数据源,并识别其中的数据表。系统可识别的数据表通常为:
对数据源进行元数据采集,识别出的数据源中已有的数据表。
在本系统的表管理功能中,手动创建的数据表。
在本系统中,业务流程运行时创建的数据表。
数据质量评估会对数据源整体进行评估,因此需要提前在数据源管理中增加的数据源。
数据质量模块支持使用规则创建针对数据字段的指标,并构成质量监控任务,按调度配置持续执行检测,从而实现对数据质量的持续监控,形成数据质量监控方案。
|
操作 |
说明 |
|
开始 |
- |
|
准备数据 |
对数据源中已有数据进行质量监控:将待检测数据所属的数据源加入[工程配置/数据源管理]中,并识别其中的数据表、字段等。相关操作为数据源管理、数据运营-数据资产模块的功能 对业务流程所创建数据表中的数据进行质量监控:无需额外准备,仅需确保业务流程已成功运行完成即可 对于手动创建的数据表中的数据进行质量检测:在[数据运营/智能数仓]的[表管理]中手动创建数据表,并存入数据(可以通过业务流程写入或自行直接连接数据库写入) |
|
根据规划录入质量检测规则模型 |
|
|
将规则模型与数据表中字段相结合,构建质量检测指标 |
|
|
将一组质量检测指标汇总成一个任务,并调度配置,形成对数据质量的监控任务 |
|
|
质量监控任务运行完成后,可以查看基于数据表的质量报告,还可以查看基于指标的多次检测结果变化趋势 |
|
|
结束 |
- |
数据质量模块还支持对数据源进行整体的质量评估。
|
操作 |
说明 |
|
开始 |
- |
|
创建质量评估任务,指定数据源,设置选择调度参数,配置质量权重、数据倾斜度和告警设置 |
|
|
质量评估任务运行完成后,可以查看指定数据源整体的质量评估报告 |
|
|
结束 |
- |