实时作业操作

编辑实时计算作业

  1. 在作业管理页面“实时”页签中，选择待修改作业所在的目录，右侧列表中展示了该目录下的所有作业。

  1. 在列表中，单击待修改作业对应操作列中的<修改>按钮，会弹出编辑作业窗口。编辑作业各配置参数，类型不可修改。各参数说明请参见新建实时计算作业。

  1. 对于FLINK_GRAPH类型作业，单击作业名称链接，会进入该作业的画布编辑页签。画布编辑与参数说明请参见实时计算作业画布操作。

  1. 单击<确定>按钮，实时计算作业编辑完成。

 

查看实时计算作业

  1. 在作业管理页面“实时”页签中，选择待查看作业所属目录（默认为“全部”目录，会在作业列表中展示全部作业），在右侧作业列表中，单击作业名称链接。对于FLINK_JAR类型作业，会弹出查看作业窗口；对于FLINK_SQL类型作业，会进入该作业的SQL编辑页签；对于FLINK_GRAPH类型作业，会进入该作业的画布编辑页签。

  1. FLINK_JAR类型作业的各参数说明请参见新建实时计算作业。FLINK_GRAPH类型作业的画布编辑与参数说明请参见实时计算作业画布操作。

删除实时计算作业

·          仅可以删除未被业务流程使用的实时计算作业，如果作业已被业务流程所使用，则必须先从业务流程中移除，才能进行删除。

·          对于FLINK_JAR类型的实时作业，删除该作业，不会删除创建该作业时上传的自定义作业JAR包。

·          对于FLINK_GRAPH类型作业，如果作业画布被其他用户锁定，则当前用户不能删除该作业。删除该类型作业，为该作业所做的配置数据都会被删除，且如果该作业还存在血缘关系以及调试数据等，这些资源数据也将同时被删除。

删除操作风险较高，请谨慎执行。操作前请确认实时作业已经不再需要，且无业务流程或用户使用该作业，待充分确认后再删除。

 

  1. 在作业管理页面“实时”页签中，选择待删除作业所在的目录，右侧列表中展示了该目录下的所有作业。

  1. 在列表中，单击待删除作业对应操作列中的<删除>按钮，弹出删除确认对话框。

  1. 单击<确定>按钮，实时计算作业删除完成。

 

共享实时计算作业

  1. 在作业管理页面“实时”页签中，选择待共享作业所在的目录，右侧列表中展示了该目录下的所有作业。

  1. 在列表中，单击待共享作业对应操作列中的<共享>按钮，即可将该作业共享给其他用户。

共享后，<共享>按钮变为<取消共享>按钮。单击<取消共享>按钮，可以取消共享该实时作业。

·          仅作业的创建者和管理员可以共享该作业。

·          作业被共享以后，其他用户即可对该作业进行编辑和删除操作。

 

导出实时作业

作业管理提供了FLINK_SQL类型和FLINK_JAR类型实时作业导出功能，支持导出部分实时作业和全部实时作业。

·          FLINK_GRAPH类型（即可画布编辑）的实时作业不支持导出。

·          仅每个组织的组织管理员可以导出所属组织的作业。

·          导出实时作业操作的导出文件为zip格式。如需修改实时作业，请解压zip文件并进行修改，但请勿改动Excel文件的名称或者格式，否则会导致修改后重新导入系统时系统解析错误。导出文件中可能含有Jar文件（当导出作业中包含FLINK_JAR类型作业），对于多个使用同一个Jar文件的FLINK_JAR作业，导出文件中只会有一份Jar文件。导出文件中可能含有SQL文件（当导出作业中包含FLINK_SQL类型作业时会有该类文件），一个SQL文件对应Excel文件中的一个SQL作业。

·          导出文件解压后，再次压缩时，请选择直接压缩Excel、Jar等文件，请勿将这些文件所属的文件夹进行压缩，否则会造成压缩后的zip格式压缩包内部多一层目录，影响导入解析。

 

导出部分实时作业

  1. 在作业管理“实时”页签中，选择待导出作业所在的目录，右侧列表展示了该目录下的除FLINK_GRAPH类型外的其他所有作业。

  1. 在列表中，勾选待导出的部分作业，然后点击作业列表上方的<导出>按钮，即可导出部分作业。

  1. 执行导出操作后，系统会提示导出“导出任务提交成功”，单击页面右上角的<导出记录>按钮，弹出导出记录窗口，窗口中展示了导出记录列表。

  1. 在列表中，单击导出记录对应操作列的<下载>按钮，即可获得导出的实时作业文件。

导出全部实时作业

  1. 在作业管理页面中，选择“实时”页签。

  1. 单击页面右上角的<全部导出>按钮，即可导出当前系统除FLINK_GRAPH类型外的其他所有实时作业。

  1. 执行全部导出操作后，系统会提示导出“导出任务提交成功”，单击页面右上角的<导出记录>按钮，弹出导出记录窗口，窗口中展示了导出记录列表。

  1. 在列表中，单击导出记录对应操作列的<下载>按钮，即可获得导出的实时作业文件。

导入实时作业

作业管理提供了作业导入功能。

·          FLINK_GRAPH类型（即可画布编辑）的实时作业不支持导入。

·          组织中的用户，在执行导入操作时，请务必确认仅有该用户在执行导入操作。多人同时操作，会导致更新的作业内容被其他用户的操作覆盖，出现部分用户查看到导入更新的作业内容不一致的情况。

·          各组织中的所有用户均可执行导入操作。

·          导入成功后，请用户在使用作业前务必检查作业内容，并按照业务逻辑对SQL进行修正，确保作业可以正常预执行及保存。

·          实时作业导入操作不保证导入后的作业可以立即运行，因此请执行完导入操作后，逐个检查作业内容。

·          导入FLINK_JAR类型的作业时，请注意导入的Jar文件不可与当前组织已存在的作业使用的Jar文件重名。

 

  1. 在作业管理页面中，选择“实时”页签。

  1. 单击页面右上角的<导入>按钮，弹出导入窗口。

  1. 在导入弹窗中，单击<上传文件>按钮，选择上传的文件。只支持上传zip格式的文件。

  1. 文件上传成功后，系统会自动解析上传文件中的内容，检测待导入作业与系统中已存在的作业重名情况，并在列表中对能否更新进行了说明，请用户参考说明内容确认无误后，选择操作。

  1. 单击<确定>按钮，系统即开始执行导入操作。

  1. 在“导入记录”页签中可以查看导入任务执行情况。对于执行失败的记录，请单击操作列中的<下载>按钮，下载导入结果文件，文件中会对导入失败原因进行说明，请按照提示对导入文件进行修改。

查看导出记录

  1. 在作业管理页面中，单击页面右上角的<导出记录>按钮，弹出导出记录窗口。

  1. 窗口中以列表的形式展示了导出操作记录，表中包含了导出操作的记录名称、操作创建者、操作的状态、操作提交时间和结束时间，并提供了导出作业的下载功能。

查看实时作业血缘关系

FLINK_GRAPH和FLINK_SQL类型实时作业，在创建或更新完成后，执行保存操作，系统会自动生成血缘关系，可通过[数据资产/血缘管理]查看血缘关系。

 

并非所有的画布或者SQL作业都支持生成血缘关系，部分特殊情况说明如下：

·          Hive数据源（非hudi表）不支持生成血缘关系。

·          Kafka数据源的message类型的表不支持生成血缘关系。

·          外部表不支持生成血缘关系。

·          FLINK_SQL作业血缘关系的生成依赖DDL语句中的元数据信息（注释语句）。