通过选择规则模型与类型、指定数据字段、配置过滤条件、及告警条件等配置,生成数据质量检测指标。
新增指标包括单条新增指标或批量新增指标两种方式,根据实际需要任意选择一种即可。
当实际业务场景中需要新增同一类型的一条或少量指标时,可使用单条新增指标功能。
在指标管理页面中,单击右上角的<新建>按钮,跳转到新增指标页面。
配置指标参数,参数说明见下表。
指标参数说明
|
字段 |
说明 |
|
指标类型 |
指定需要配置的规则模型,包括:空值校验、值域校验、格式校验、长度校验、唯一约束校验和SQL条件校验六种内置规则模型,及自定义规则模型 |
|
规则类型 |
选择规则的类型。部分指标类型为固定规则类型,不可选择。规则类型包括行级和表级:
|
|
条件语句 |
仅SQL条件校验需配置该参数 配置SQL条件语句,用于校验指定对象是否满足条件要求 |
|
长度校验 |
仅长度校验需配置该参数 |
|
校验类型 |
仅格式校验需配置该参数 选择格式类型,系统预置了多种常见的格式类型,用于校验指定对象是否符合格式类型要求 |
|
约束类型 |
仅值域校验需配置该参数 选择约束的类型,用于校验对象值是否属于约束范围内。约束类型包括:
|
|
描述 |
输入该指标的描述信息 |
指标字段配置
在指标字段配置区域中选择数据源、模式、数据表和字段,并单击<添加>按钮,即可完成指标字段添加。如需同时增加多个同类型的指标字段,可重复此步骤。
此处指定的每个字段均会和选择的规则形成一条指标,在后续形成质量监控后,系统会使用规则对字段中的数据进行检测。
指标字段添加完成后支持以下可选操作:
在下方的指标字段列表中,配置指标的编号,还可以配置表别名。指标的编号需要在组织中唯一。
在操作列中,可以对字段设置过滤条件,进一步缩小指标检核数据的范围。单击操作列中的<设置过滤条件>按钮 ,在弹出的过滤条件窗口中配置过滤条件,并单击<校验>按钮进行校验,校验无问题后,单击<确定>按钮。
单击操作列中的<移除>按钮,可删除对应的字段。
单击操作列中的“更多”链接,并从下拉菜单中选择“表数据预览”可以查看表数据预览。
SQL执行预览和查看血缘关系,需要在执行检验操作(参见步骤3)后,才可查看。两项功能可分别预览SQL执行结果及查看字段的血缘关系。
告警条件配置
在告警条件设置区域中配置错误率及对应的告警级别,当检测的数据中错误数据达到告警条件时,会产生对应级别的告警。
配置完成后,可执行以下操作:
单击<校验>按钮,可校验指标字段是否能全部检核通过,校验通过的指标才可保存。校验操作执行后,在指标字段配置区域中的字段列表中可查看每个指标字段的校验状态。
单击<保存>按钮,会先对指标进行字段校验,在指标字段配置区域中的字段列表中可查看每个指标字段的校验状态。此时:
若指标字段校验全部通过,则直接保存该指标,即完成新增指标。
若指标字段校验未全部通过,则需要调整指标参数配置或删除不通过的校验字段后,重新进行校验和保存。
单击<保存为草稿>按钮,可以将配置不完整的指标保存至草稿箱中,后续可以直接在草稿箱中找回并继续编辑。
单击<取消>按钮,表示放弃新增指标操作,且相关配置不保存。
当实际业务场景中需要新增大量指标时(如新建一整套质量监控方案时),可使用批量导入指标功能,提高效率。
在指标管理页面,单击页面右上角的<模板下载>按钮,即可将批量导入指标时需要的模板文件下载至本地。
根据模板文件中参数要求,批量录入指标的相关信息。相关参数的说明可参见新建单类指标。
在模板文件中将待批量录入的指标相关参数配置完成之后,保存文件。然后单击指标列表左上角的<导入>按钮,选择待导入文件并配置文件中数据源与系统数据源的对应关系(提高识别的准确性)后,单击<下一步>按钮可选择是否更新重复的数据内容,然后单击<确定>按钮即可执行导入操作。
文件导入成功后,在“上传文件”窗口的“导入记录”页签可查看导入记录的详情,并可下载查看导入明细。
导入记录的详情
序号:导入操作在当前列表中的序号。
导入人:提交导入操作的用户名。
文件原名:导入文件的名称。
状态:导入操作的执行结果状态。
操作:文件导入完成后,支持下载导入明细,导入明细中展示每一条规则模型的导入结果,若导入结果失败还可以直接查看失败原因。
返回指标列表,通过批量导入方式上传成功的所有指标均会在指标中显示。