在数据导入页面的列表中,点击某个任务的任务名称,弹出任务分组聚合信息,即该任务运行时切分的各子任务详情统计信息。
数据范围:由六位数字组成(即年份和月份),表示该条信息统计对象是从来源表中该时间段的数据对应切分出的子任务信息。切分出的子任务会按照各自处理数据的时间范围进行归类,例如:子任务处理的数据范围为:2021-10-01 00:00:00——2021-10-03 00:00:00,则该子任务会被统计到“202110”的数据范围中。点击数据范围,可进入该数据导入范围的子任务列表页面。
总任务个数:对应数据范围下切分出子任务的总个数。
异常任务个数:对应数据范围下执行失败的子任务的总个数。
在任务分组聚合信息窗口中,点击某个数据范围,可跳转到该数据导入范围的子任务列表页面。
该页签的列表中包含了如下信息:
子任务id:子任务对应的id。
数据起始时间:子任务处理来源表中数据范围的开始时间点。
数据结束时间:子任务处理来源表中数据范围的结束时间点。
解析状态:子任务的执行状态,包括WAITING、RUNNING、FINISHED。
提交时间:子任务提交到任务队列的时间点。
执行时间:子任务发送到各个子节点执行的时间点。
预估条数:子任务预计处理数据的条数。
读取条数:子任务在某个节点执行时,从来源表中读取的数据条数。
有效数据:子任务执行时初步判断符合要求的数据条数。
脏数据:子任务执行时初步判断不符合要求的数据条数。
重复条数:子任务执行时按照设置的来源表的主键字段过滤出的重复数据条数。
解析结果:子任务的执行结果,true表示成功,false表示失败。
解析错误:子任务执行过程中数据处理报错产生的错误日志条数。点击条数数字,可跳转到对应的错误日志详情列表页面。
操作:提供了子任务重新运行功能。单击<重试>按钮,可重新运行某个子任务。
在数据导入范围的子任务列表页面的列表中,单击某个任务对应错误日志列的<查看>按钮,即可跳转到该任务的解析日志页面。
该页签的列表中包含了如下信息:
解析时间:解析数据出错的时间点。
日志级别:该条错误日志的级别,包括warning、error。
目标表:该条数据对应的待插入的目标Elasticsearch表名称。
日志信息:具体的错误原因。