创建指标

通过选择规则模型与类型、指定数据字段、配置过滤条件、及告警条件等配置,生成数据质量检测指标。

新增指标包括单条新增指标或批量新增指标两种方式,根据实际需要任意选择一种即可。

新建单类指标

当实际业务场景中需要新增同一类型的一条或少量指标时,可使用单条新增指标功能。

  1. 在指标管理页面中,单击右上角的<新建>按钮,跳转到新增指标页面。

  1. 配置指标参数,参数说明见下表。

字段

说明

指标类型

指定需要配置的规则模型,包括:空值校验、值域校验、格式校验、长度校验、唯一约束校验和SQL条件校验六种内置规则模型,及自定义规则模型

规则类型

选择规则的类型。部分指标类型为固定规则类型,不可选择。规则类型包括行级和表级:

  • 行级规则:指标在检核的过程中扫描的数据量是单个数据表中的一行或多行(例如,通过正则表达式校验指定字段与同一行中其他字段)

  • 表级规则:指标在检核的过程中扫描的数据量是单个数据表的所有行(例如,通过唯一性校验会在全表中校验)或者关联的多个数据表(通过主外键关联的数据表)

条件语句

SQL条件校验需配置该参数

配置SQL条件语句,用于校验指定对象是否满足条件要求

长度校验

仅长度校验需配置该参数

指定长度范围,用于校验指定对象是否满足长度要求。如需指定区间,可通过后方按钮,增加区间的端点值

校验类型

仅格式校验需配置该参数

选择格式类型,系统预置了多种常见的格式类型,用于校验指定对象是否符合格式类型要求

约束类型

仅值域校验需配置该参数

选择约束的类型,用于校验对象值是否属于约束范围内。约束类型包括:

  • 范围约束:指定取值范围,需要配置字段类型和字段范围。字段类型为数字或日期;字段范围为对应的取值范围,如需指定区间,可通过后方按钮,增加区间的端点值

  • 多值约束:指定取值的具体值。需要配置多值范围:可以手动输入(多个时需用回车分隔);也可以导入标准管理中码表内的代码,单击<导入标准值域>按钮,在弹出窗口中选择导入内容并勾选代码,单击<选中项导入>按钮即可导入

  • 代码表约束:单击<选择代码表>按钮,选择标准管理中的码表,将码表中的所有代码作为取值范围。

描述

输入该指标的描述信息

 

在指标字段配置区域中选择数据源、模式、数据表和字段,并单击<添加>按钮,即可完成指标字段添加。如需同时增加多个同类型的指标字段,可重复此步骤。

此处指定的每个字段均会和选择的规则形成一条指标,在后续形成质量监控后,系统会使用规则对字段中的数据进行检测。

指标字段添加完成后支持以下可选操作:

在告警条件设置区域中配置错误率及对应的告警级别,当检测的数据中错误数据达到告警条件时,会产生对应级别的告警。

  1. 配置完成后,可执行以下操作:

批量导入指标

当实际业务场景中需要新增大量指标时(如新建一整套质量监控方案时),可使用批量导入指标功能,提高效率。

  1. 在指标管理页面,单击页面右上角的<模板下载>按钮,即可将批量导入指标时需要的模板文件下载至本地。

  1. 根据模板文件中参数要求,批量录入指标的相关信息。相关参数的说明可参见新建单类指标

  1. 在模板文件中将待批量录入的指标相关参数配置完成之后,保存文件。然后单击指标列表左上角的<导入>按钮,选择待导入文件并配置文件中数据源与系统数据源的对应关系(提高识别的准确性)后,单击<下一步>按钮可选择是否更新重复的数据内容,然后单击<确定>按钮即可执行导入操作。

  1. 文件导入成功后,在“上传文件”窗口的“导入记录”页签可查看导入记录的详情,并可下载查看导入明细。

  1. 返回指标列表,通过批量导入方式上传成功的所有指标均会在指标中显示。