· 作业只能由一个用户进行编辑,使用同一用户在两个地方进行登录,也不能同时编辑同一作业。当组织内有其他用户在编辑某一作业时,单击作业的<编辑>按钮会弹出“此作业模板在设计器缓存中已存在,继续加载将清理先前设计器数据,是否继续加载?”提示,当你单击<确定>时,其他用户不能再编辑该作业。 · 已经下发作业中的任务不会受到编辑任务的影响。 · 修改任务后,引用该任务的作业需要停止后重新下发才能使修改后的任务生效。任务保存后如果引用该任务的作业正在运行,请谨慎执行作业的停止操作,需要明确作业短暂停止不会影响现场业务的情况下才能停止。 · 修改任务后未保存,长时间停留在任务设计器页面,可能会出现操作超时,导致修改的数据丢失,任务修改后请及时保存。 |
用户可根据实际需要在实时作业画布中设计需要的作业。CDC任务是由一个源端抽取组件和一个或多个目的端加载组件组成,源是需要配置源数据库以及抽取的表,目的端加载组件是将抽取的数据写入到目的。任务添加到作业设计页面上后,需要根据各任务类型配置要求进行参数配置。
在数据集成模块下选择[作业管理/作业定义],进入作业定义页面。
在页面顶部导航栏选择工作空间,页面显示对应工作空间下的作业目录。
作业定义页面进入作业画布的方式有两种:
作业定义页面,双击页面左侧目录树中的实时作业名称,会进入实时作业设计画布。
作业定义页面,单击已创建好的实时作业对应的<编辑>按钮,可进入该实时作业的设计画布中。
实时作业设计画布说明如下:
作业画布中已预置了源CDC组件和转换组件,用户需拖入加载组件从而完成整个CDC实时作业的配置。
源CDC组件:源CDC组件捕获源数据库所配置的表的数据,将该数据解析传输到目的端进行入库操作。
加载组件:加载组件用来对目标库的表进行数据写入,支持JDBC加载、写入Kafka、HUDI加载,用户可根据需要拖入多个加载组件进行并行加载。
任务详情:进入作业设计画布,画布右侧会展示任务详情,并可配置任务失败重试次数及重试间隔。
概览:概览展示了当前CDC作业的源端数据库、抽取方式及源表与目标表的表名映射关系。其中表名映射结果可能为“有效”或者“无效”,系统会在“备注”中对映射结果进行详细说明,用户可根据备注中的说明,对引起映射无效的问题进行处理。关于映射结果的具体解释可参照表-1。
是否有效 |
备注 |
说明 |
有效 |
已存在 |
映射结果有效,目标表/topic已存在目的端。 |
有效 |
运行时将自动创建 |
映射结果有效,在任务运行时自动创建表/topic/路径到目标端。 |
无效 |
目标库不支持创建表 |
映射结果无效,需用户手动创建表。 |
无效 |
映射配置未设置自动创建表 |
映射结果无效,需用户手动创建表或在JDBC加载组件“表名映射”页签下配置自动建表为“是”。 |
无效 |
无法匹配目标topic |
映射结果无效,该源表未匹配目标topic,需用户在KAFKA加载组件中配置该源表的映射关系。 |
无效 |
无法匹配目标表路径 |
映射结果无效,该源表未匹配目标表的路径,需用户在HUDI加载组件中配置该源表映射关系。 |
任务设置:可配置任务的失败重试次数及重试间隔。其中失败重试次数可配置任务执行失败后重试的次数;失败重试间隔可配置任务执行失败后,每次失败重试中间的时间间隔。
实时作业画布右上角可进行全局表名映射,主要用来配置CDC作业全局表名映射。单击<全局表名映射>窗口,进入全局表名映射配置页面。该配置对工作空间下所有CDC作业生效,如果加载组件自己配置了表名映射,则以加载组件自己的配置为准。
映射搜索:支持通过源端数据源名称、配置的类型、源模式/表名、目标模式/表名/前后缀搜索表名映射。
映射展示列表:全局表名映射页面展示了当前工作空间下的全局表名映射列表,展示信息包括源端数据源名称、配置的类型、源模式/表名、目标模式/表名/前后缀。单击<编辑>按钮可修改对应映射,单击<删除>按钮可删除对应映射,编辑或删除表名映射不会影响当前正在运行的作业。
单击<添加映射>,弹出添加映射窗口,用户可在该页面进行全局表名映射配置。单击<增加>按钮可新增表名映射规则。
源端数据源:选择需要进行表名映射的数据源。
类型:表名映射的类型,可选重写模式名、重写表名等。
类型-重写模式名:将“源模式/表名”列对应的模式名修改为“目标模式/表名/前后缀”列对应的模式名。
类型-重写表名:将“源模式/表名”列对应的表名修改为“目标模式/表名/前后缀”列对应的表名。
类型-模式名加前缀:将“源模式/表名”列对应的模式名加上前缀,前缀为“目标模式/表名/前后缀”列配置的值。
类型-表名加前缀:将“源模式/表名”列对应的表名加上前缀,前缀为“目标模式/表名/前后缀”列配置的值。
类型-模式名加后缀:将“源模式/表名”列对应的模式名加上后缀,后缀为“目标模式/表名/前后缀”列配置的值。
类型-表名加后缀:将“源模式/表名”列对应的表名加上后缀,后缀为“目标模式/表名/前后缀”列配置的值。
源模式/表名:源CDC组件抽取的模式名或表名。可以使用*模糊匹配,例如di-table1、di-table2可匹配di-*;只输入*时匹配所有表。
目标模式/表名/前后缀:源CDC组件抽取的模式名/表名映射后的模式名/表名。