MQ实时作业是实时获取消息队列中的数据,可配置转换、过滤组件对数据进行加工处理,然后将处理后的数据写入到目标端的过程。
在数据集成模块下选择[作业管理/作业定义],进入作业定义页面。
在页面顶部导航栏选择工作空间,页面显示对应工作空间下的作业目录。
作业定义页面进入作业画布的方式有两种:
作业定义页面,双击页面左侧目录树中的MQ实时作业名称,会进入实时作业设计画布。
作业定义页面,单击已创建好的MQ实时作业对应的<编辑>按钮,可进入该实时作业的设计画布中。
实时作业设计画布说明如下:
将任务添加到作业设计画布中并建立连接。建立连接有两种方法:一是将鼠标放置在连线的起始组件上单击鼠标中键,拖拽连线至目标组件即可;二是右键单击连线起始组件,选择建立连接选项,拖拽连线至目标组件单击鼠标左键即可。
画布中仅允许存在一个消息抽取组件且该组件只能是画布的起点。
用户可根据实际需要添加需要的任务节点到设计画布中,不同任务节点所需配置不同。
支持的组件:
消息抽取:消息抽取组件,用于抽取相关消息中间件服务(支持Kafka、RabbitMQ、ActiveMQ、IBMMQ等)的消息队列的数据。
其他组件:MQ作业支持的作业组件,除了消息抽取组件,还支持NEW ETL任务下的所有组件,例如表抽取组件、文件抽取组件等。关于这些组件的详细介绍可参见NEW ETL任务下的组件介绍。