新建质量规则

通过选择规则模型与类型、指定数据字段、配置过滤条件、及告警条件等配置,生成数据质量检查规则。

新增质量规则包括单条新增质量规则或批量新增质量规则两种方式,根据实际需要任意选择一种即可。

进入“质量规则”页签的步骤如下:

  1. 在顶部导航栏中选择[数据运营/数据质量],进入数据质量模块。

  1. 单击左侧导航树中的[质量检查]菜单项,质量检查页面。

  1. 在页面中,选择“质量规则”页签。该页签中提供了多种新建质量规则的方式。

新建单条质量规则

当实际业务场景中需要新增同一类型的一条或少量质量规则时,可使用单条新建质量规则功能。

  1. 在“质量规则”页签中,单击列表上方的<新建>按钮,跳转到新建质量规则页面。

  1. 配置质量规则参数,参数说明见下表。

表-1 质量规则参数说明

字段

说明

规则模型

指定需要配置的规则模型,包括:空值校验、值域校验、格式校验、长度校验、唯一约束校验和SQL条件校验六种内置规则模型,及自定义规则模型

规则类型

选择规则的类型。部分规则类型为固定规则类型,不可选择。规则类型包括行级和表级:

  • 行级规则:质量规则在检核的过程中扫描的数据量是单个数据表中的一行或多行(例如,通过正则表达式校验指定字段与同一行中其他字段)

  • 表级规则:质量规则在检核的过程中扫描的数据量是单个数据表的所有行(例如,通过唯一性校验会在全表中校验)或者关联的多个数据表(通过主外键关联的数据表)

条件语句

SQL条件校验需配置该参数

配置SQL条件语句,用于校验指定对象是否满足条件要求

长度校验

仅长度校验需配置该参数

指定长度范围,用于校验指定对象是否满足长度要求。如需指定区间,可通过后方按钮,增加区间的端点值

校验类型

仅格式校验需配置该参数

选择格式类型,系统预置了多种常见的格式类型,用于校验指定对象是否符合格式类型要求

约束类型

仅值域校验需配置该参数

选择约束的类型,用于校验对象值是否属于约束范围内。约束类型包括:

  • 范围约束:指定取值范围,需要配置字段类型和字段范围。字段类型为数字或日期;字段范围为对应的取值范围,如需指定区间,可通过后方按钮,增加区间的端点值

  • 多值约束:指定取值的具体值。需要配置多值范围:可以手动输入(多个时需用回车分隔);也可以导入标准管理中码表内的代码,单击<导入标准值域>按钮,在弹出窗口中选择导入内容并勾选代码,单击<选中项导入>按钮即可导入

  • 代码表约束:单击<选择代码表>按钮,选择标准管理中的码表,将码表中的所有代码作为取值范围。

描述

输入该质量规则的描述信息

 

  1. 配置规则模型绑定的字段。

在规则字段配置区域中选择数据源、模式、数据表和字段,并单击<添加>按钮,即可完成规则字段添加。如需同时增加多个同类型的规则字段,可重复此步骤。

此处指定的每个字段均会和选择的规则模型形成一条质量规则,在后续形成质量检查后,系统会使用规则对字段中的数据进行检测。

规则字段添加完成后支持以下可选操作:

在告警条件设置区域中配置错误率及对应的告警级别,当检测的数据中错误数据达到告警条件时,会产生对应级别的告警。

  1. 配置完成后,可执行以下操作:

批量导入质量规则

当实际业务场景中需要新增大量不同类型的质量规则时(如新建一整套质量检查方案时),可使用批量导入质量规则功能,提高效率。

  1. 在“质量规则”页签,单击页面右上角的<模板下载>按钮,即可将批量导入质量规则时需要的模板文件下载至本地。

  1. 根据模板文件中参数要求,批量录入质量规则的相关信息。相关参数的说明可参见单条新建质量规则

  1. 在模板文件中将待批量录入的质量规则相关参数配置完成之后,保存文件。然后单击列表右上角的<导入>按钮,选择待导入文件并配置文件中数据源与系统数据源的对应关系(提高识别的准确性)后,单击<下一步>按钮可选择是否更新重复的数据内容,然后单击<确定>按钮即可执行导入操作。

  1. 文件导入成功后,在“上传文件”窗口的“导入记录”页签可查看导入记录的详情,并可下载查看导入明细。

  1. 返回列表,通过批量导入方式上传成功的所有质量规则均会在质量规则列表中显示。

智能生成规则

除手动创建质量规则外,系统还支持自动生成质量检测规则。通过该方式自动生成规则的前提为,目标数据的字段已关联了数据标准。

  1. 在“质量规则”页签中,单击右上角的<智能生成规则>按钮,弹出智能生成规则窗口。

  1. 选择目录类型

  1. 选择具体的目录,支持多选。

  1. 配置单次生成的规则条数上限,默认限制为1000条,范围为1010000

  1. 单击<确定>按钮,系统会开始自动生成质量规则。