· 规则模型名称具有唯一性,在系统中创建多个规则模型时名称不能重复。 · 自定义规则模型时,通常可以从完整性、准确性、有效性、唯一性、及时性、连续性维度考虑数据需要进行的质量检测。 · 自定义创建校验规则时,定义关系中的条件需为不合格数据的匹配条件。系统会将匹配自定义规则的数据识别为不合格数据。 |
根据实际的数据特点,若系统中内置的规则模型无法满足需求,支持自定义创建规则模型。创建规则模型包括单条创建规则模型或批量导入规则模型两种方式,根据实际需要任意选择一种即可。
在[数据质量]模块,选择左侧导航树中的[规则模型]菜单项,进入规则模型页面。
当实际业务场景中需要创建一条或少量自定义规则时,可使用单条创建规则模型功能。
在规则模型页面,单击页面右上角的<新建>按钮,即可执行单条创建规则模型的操作。
在创建规则模型窗口,根据提示配置对应参数项的值,如下:
模型名称:自定义输入符合命名规则的模型名称。
维度:仅支持单选,可选完整性、准确性、有效性、唯一性、及时性、连续性中任意一个。
描述:自定义添加规则模型的描述信息,以便于快速了解规则模型相关信息。
定义关系:输入SQL语句,定义规则匹配数据的条件关系,例如,匹配空字符串,可以输入:select ${column} from ${table} where ${column} = ''。单击<表参数>按钮或<字段参数>按钮,可以分别在输入框中光标位置插入${table}、${column},作为定义关系中的一部分。定义完成后,单击<语义校验>按钮可以进行语义校验,以确定定义关系的合法性。
【注意】使用该规则模型进行数据检测时,符合定义关系中SQL查询语句条件的数据会被认定为错误数据,不符合SQL查询语句的则为正常数据。
配置完成后,单击<确定>按钮即可新建规则模型,单条创建规则模型成功后直接在规则模型列表中显示。
模板文件中第二行数据为填写说明,实际使用模板文件时可保留;第三行数据仅为样例展示,实际使用模板文件时需要删除。 |
当实际业务场景中需要创建大量自定义规则时,可使用批量导入规则模型功能,提高效率。
在规则模型页面,单击页面右上角的<模板下载>按钮,即可将批量导入规则模型时需要的模板文件下载至本地。
根据模板文件中参数要求,批量录入规则模型的相关信息,参数说明如下:
模型名称:必填,自定义输入符合命名规则的模型名称。
描述:选填,自定义添加规则模型的描述信息,以便于快速了解规则模型相关信息。
维度:必填,定义规则模型所属的业务分类。仅支持单选,可选完整性、准确性、有效性、唯一性、及时性、连续性中任意一个。
定义关系:输入输入SQL语句,定义规则匹配数据的条件关系,如:select ${column} from ${table}。
【注意】
使用该规则模型进行数据检测时,符合定义关系中SQL查询语句条件的数据会被认定为错误数据,不符合SQL查询语句的则为正常数据。
定义关系中多表操作(如union、except、intersect、join)、聚合函数(如 count、max等)可能会造成检核结果不准确,请谨慎用。
不支持insert、update、delete、truncate、create、drop语句。
在模板文件中将待批量录入的规则模型相关参数配置完成之后,保存文件。然后单击规则模型列表右上角的<导入>按钮,选择待导入文件并选择是否更新重复的数据内容之后,单击<确定>按钮即可执行导入操作。
文件导入成功后,在“上传文件”窗口可查看导入记录的详情,并可下载查看导入明细。
导入记录的详情
序号:导入操作在当前列表中的序号。
导入人:提交导入操作的用户名。
文件原名:导入文件的名称。
导入时间:导入开始执行的时间。
结束时间:导入完成的时间。
状态:导入操作的执行状态。
操作:文件导入完成后,支持下载导入明细,导入明细中展示每一条规则模型的导入结果,若导入结果失败还可以直接查看失败原因。
返回规则模型列表,通过批量导入方式上传成功的所有所有规则模型均会在规则模型列表中显示。