规则模型

规则模型指数据质量检测中使用的规则,是进行质量检测与监控的基础。在构建数据质量监控方案时,需要针对数据对象的特点,制定各类检测所需的规则模型。

无论是系统内置的规则模型,还是用户自定义的规则模型,均需要满足数据的完整性、唯一性、准确性、有效性、及时性和连续性六个维度要求,并且每个规则模型仅能针对一个维度。

表-1 质量规则维度介绍

维度

说明

完整性

衡量数据完整程度,如空值校验,通常用于检查必须有值的数据列中是否存在空值(如名称等)

唯一性

衡量数据在某数据项或某组中的重复情况,如唯一性约束校验,通常用于检查需要具备唯一性的数据列中是否存在重复值(例如ID等)

准确性

衡量数据是否能够反映真实的内容,如值域校验、SQL条件检验等,通常用于检查必须符合某种限制条件的数据列是否存在不合格的值(如城市名称等)

有效性

衡量数据是否符合数据定义或业务定义的要求,如格式校验等,通常用于检查有格式、构成要求的数据列是否存在不合格的值

及时性

衡量数据的更新频率是否满足要求,如时间戳数据间隔校验等,通常用于检查记录数据生成时间的列是否存在与前一值间隔过长的值

连续性

衡量数据元素的类型与含义等方面的一致性,保证数据连续可用,如数据表一致性校验,通常用于检查数据迁移或加工前后数据表的一致性

 

[规则模型]页面展示系统中已创建的规则模型,包括系统内置的规则模型、自定义新创建的规则模型,同时支持对新创建的规则模型执行编辑、删除等操作。

进入规则模型的步骤如下:

  1. 在顶部导航栏中选择[数据运营/数据治理],进入数据治理模块。

  1. 单击左侧导航树中的[数据质量/规则模型]菜单项,进入规则模型页面。