· 参数的命名要求准确无歧义的描述该变量,可以在部署模板时减少由于名称含糊造成的麻烦。 · 页面上方的控制区域,包含保存、放大、缩小、还原和直接退出等操作按钮。 |
用户可根据实际需要在作业模板设计画布中设计需要的作业模板。通过已经创建好的作业,将变量部分替换为参数得到作业模板。作业模板可通过填入参数值直接生成作业。作业模板功能适用于有大量重复作业,且这些作业的差异集中在部分参数设置值不同的场景中。
在数据集成模块下选择[作业管理/作业模板],进入作业模板页面。
在页面顶部导航栏选择工作空间,页面显示对应工作空间下的作业模板列表。
作业模板页面进入作业模板设计画布的方式有两种:
作业模板页面,单击<新建>按钮,用户新建作业模板后,会自动进入作业模板设计画布。
作业模板页面,单击已创建好的作业模板对应的<编辑>按钮,可进入该作业模板的设计画布中。
作业模板设计画布说明如下:
作业模板设计画布左侧为模板替换参数区域,参数类型分为普通参数、数据库连接、HBase连接、HDFS连接、Redis连接、Kafka连接和ES连接。单击<增加参数>按钮可新增参数,参数名称请根据实际参数作用自定义取名,参数替换值不可更改(请直接将替换值复制至任务信息对应的参数处)。
作业模板设计画布右侧为作业设计页面,用户可将各类型任务拖拽到作业设计画布中进行作业设计,关于各任务节点详细的配置说明可参见作业设计画布。作业设计时可将任务中的配置项替换为模板参数,后续模板在部署时,填写模板参数即可完成任务中参数的配置。比如页面左侧增加了替换参数“{{para1}}”,将{{para1}}直接配置在任务节点配置参数中,后续模板部署时,用户配置的{{para1}}的值会直接替换到作业中。
不支持对Kettle Trans、Kettle Job、JOB三类环节中的配置项做模板参数替换,如果在作业模板中添加了这三种类型的环节,则必须准确配置对应环节运行所需配置项,然后作为整个流程中的一个固定节点。其他任务模板可替换参数说明如下:
ETL任务模板参数:由于任务涉及的参数众多,此处不进行详细说明,请参考各组件配置的帮助信息,自定义识别需要替换的参数。
Sqoop任务模板参数:用户可将SSH连接、执行用户、其他参数、Sqoop命令等替换为模板参数值。
Shell任务模板参数:用户可将SSH连接、Shell脚本内容等替换为模板参数值。
SQL任务模板参数:用户可将数据库连接、SQL脚本内容替换为模板参数值。
Flume任务模板参数:用户可将SSH连接、配置文件名、文件夹路径、JAVA_HOME、监听端口、Flume脚本内容等替换为模板参数值。
DataX任务模板参数:用户可将SSH连接、DataX配置等替换为模板参数值。
CDC任务模板参数:由于任务涉及的参数众多,此处不进行详细说明,请参考各组件配置的帮助信息,自定义识别需要替换的参数。