同步作业页面通过列表的形式展示了同步作业的信息,并提供了相关的维护操作链接。列表中包含如下信息:
序号:列表中同步作业的序号。
作业名称:同步作业的名称。
类型:同步作业的类型信息。类型包括:FILE、DB_LOG、HBase、ES、MYSQL、POSTGRESQL、GREENPLUM、达梦、STDB、Vertica。
状态:同步作业的当前状态。同步作业的状态包括:READY、RUNNING、UNKNOWN、FAILED、FAILING、CANCELLING、SUSPENDING、SUSPENDED、CANCELLED、RECONCILING、FINISHED、RESTARTING、SUBMITTING和SUBMIT_FAILED。
是否编辑完成:同步作业是否初始化完成,只能初始化完成才可以上线。
创建时间:同步作业的创建时间。
修改时间:同步作业最后一次修改的时间。
操作:提供了同步作业当前支持的操作链接。
在同步作业列表上方的搜索区域中,可以根据时间、类型、作业状态和作业名称四种条件搜索同步作业。条件之间无关联关系,可仅使用其中一个条件进行搜索。
在列表上方的时间选项选取时间范围。
在类型下拉框选取作业类型。
在作业状态下拉框选择作业的状态。
在作业名称输入框中输入名称关键字。
对于可以启动的状态的同步作业,支持执行启动操作,状态包括:READY、FAILED、SUSPENDED、CANCELLED、FINISHED、SUBMIT_FAILED。
在同步作业列表中,单击待启动作业对应操作列中的“启动”链接,弹出确认对话框,选择任务上线方式:偏移量、分区偏移量、时间。偏移量:有三种上线方式:GROUP_OFFSETS,EARLIEST、LATEST;分区偏移量:输入每个分区上线的偏移量,每个分区后面有参考值范围;时间:在选择时间框下有一个时间范围参考值,如果时间区间过小,会导致无法选择。
在分区偏移量和时间可以提供<刷新>按钮,可以刷新分区偏移量和时间范围参考值。
单击<确定>按钮,作业启动完成。
对于RUNNING状态的同步作业,可以执行停止操作。
在同步作业列表中,单击RUNNING状态作业对应操作列中的“停止”链接,弹出确认对话框。
单击<确定>按钮,等待页面相应,作业停止完成。
对于RUNNING状态的同步作业,可以执行监控操作。
在同步作业列表中,单击已经启动作业对应操作列中的“监控”链接, 进入同步作业监控页面。
同步作业监控页面展示了运行中的同步作业的监控信息。页面由消费进度和各监控指标两部分构成,各监控指标包括:作业健康状态、数据源发送和接收数据、网络传输、内存&CPU。
消费进度:包含管道每个分区的分区号、最新点位、最新点位时间、当前消费点位、当前消费点位时间、剩余未消费数量、消费进度指标;还有一个总计,统计所有分区的最新点位、当前消费点位、剩余未消费点位、总消费进度。
作业健康状态:查看当前作业的运行时间、TaskManager的个数、checkpoint的完成情况、slot资源和错误数据量。
数据源发送和接收数据:查看当前作业数据源的输入输出条数以及输入输出速率。
网络传输:查看流经每一个算子的输入输出条数和速率。
内存&CPU:查看当前作业的JobManager和TaskManager对应的CPU使用情况、堆内存使用情况和堆内存总量。
在同步作业列表中,单击任务操作的“历史记录”链接, 进入同步作业历史记录页面,默认按照近90天,状态为"全部",查询任务的历史记录。
时间:用户可以选择相应时间范围。
状态:选取状态下拉框中的状态,其中状态包括:RUNNING、CANCELED、FAILED、FINISHED、全部。
作业ID: 展示任务启动一次的数据库ID;
运行ID:展示任务提交到yarn上的ID;
开始时间:展示任务一次提交的时间
结束时间:展示任务一次结束的时间
偏移量:展示任务消费的偏移量
并行度:展示任务新建设置的并行度
消费数据量:展示任务消费的总的数据量