CDC作业设计画布

·          作业只能由一个用户进行编辑,使用同一用户在两个地方进行登录,也不能同时编辑同一作业。当组织内有其他用户在编辑某一作业时,单击作业的<编辑>按钮会弹出“此作业模板在设计器缓存中已存在,继续加载将清理先前设计器数据,是否继续加载?”提示,当你单击<确定>时,其他用户不能再编辑该作业。

·          已经下发作业中的任务不会受到编辑任务的影响。

·          修改任务后,引用该任务的作业需要停止后重新下发才能使修改后的任务生效。任务保存后如果引用该任务的作业正在运行,请谨慎执行作业的停止操作,需要明确作业短暂停止不会影响现场业务的情况下才能停止。

·          修改任务后未保存,长时间停留在任务设计器页面,可能会出现操作超时,导致修改的数据丢失,任务修改后请及时保存。

 

用户可根据实际需要在实时作业画布中设计需要的作业。CDC任务是由一个源端抽取组件和一个或多个目的端加载组件组成,源是需要配置源数据库以及抽取的表,目的端加载组件是将抽取的数据写入到目的。任务添加到作业设计页面上后,需要根据各任务类型配置要求进行参数配置。

  1. 在数据集成模块下选择[作业管理/作业定义],进入作业定义页面。

  1. 在页面顶部导航栏选择工作空间,页面显示对应工作空间下的作业目录。

  1. 作业定义页面进入作业画布的方式有两种:

  1. 实时作业设计画布说明如下:

表-1 映射结果与备注说明

是否有效

备注

说明

有效

已存在

映射结果有效,目标表/topic已存在目的端。

有效

运行时将自动创建

映射结果有效,在任务运行时自动创建表/topic/路径到目标端。

无效

目标库不支持创建表

映射结果无效,需用户手动创建表。

无效

映射配置未设置自动创建表

映射结果无效,需用户手动创建表或在JDBC加载组件“表名映射”页签下配置自动建表为“是”。

无效

无法匹配目标topic

映射结果无效,该源表未匹配目标topic,需用户在KAFKA加载组件中配置该源表的映射关系。

无效

无法匹配目标表路径

映射结果无效,该源表未匹配目标表的路径,需用户在HUDI加载组件中配置该源表映射关系。

 

  1. 实时作业画布右上角可进行全局表名映射,主要用来配置CDC作业全局表名映射。单击<全局表名映射>窗口,进入全局表名映射配置页面。该配置对工作空间下所有CDC作业生效,如果加载组件自己配置了表名映射,则以加载组件自己的配置为准。