配置各类组件参数的步骤如下:
将组件拖拽到画布中后,双击该组件,右侧边栏会弹出编辑窗口。
配置组件的相关参数,参数说明请参见后续各组件介绍中的表格。
单击<确定>按钮,组件配置完成。
数据源组件是业务流程画布中用来关联数据表的组件,包含RDB、HDFS、HBase、Elasticsearch、MPP、 Kafka、Hive、STDB类型。
在业务流程运行过程中,数据源节点的主要作用是在整个业务流程中表征数据的流向,监控作业涉及数据表的运行数据。数据源节点中数据表的选择,不会对上下关联的作业造成影响。
表-1 数据源组件配置参数介绍
数据集成组件是业务流程画布中用来关联数据集成作业的组件,包含DI和数据同步两种组件。
数据集成的作用是通过集成服务,将本系统外的数据经过一定的处理后存入本系统相关的数据存储系统中。
表-2 数据集成组件配置参数介绍
数据集成 |
说明 |
DI |
DI组件用来关联[融合集成平台/数据集成/作业管理]模块下的DI作业。关于DI作业和新增方法的介绍可参见[融合集成平台/数据集成/作业管理]的联机帮助。该组件配置参数说明如下:
节点类型不可编辑;其他参数会根据DI作业自动加载,不可编辑 |
数据同步 |
数据同步组件用来关联数据同步任务。关于数据同步任务的介绍和新建,请参见数据同步管理。该组件配置参数说明如下:
节点类型不可编辑;其他参数会根据数据同步任务自动加载,不可编辑 |
离线分析组件是业务流程画布中用来关联离线作业的组件,包含MR、SparkJar、HiveSQL、Java、KoalaJob和Shell类型。
MR、SparkJar、Java、Shell类型的组件可以选择任务管理下对应类型的类型的任务作为模板,加载后适当修改参数,即可为完成配置(参数是非必要的)。
HiveSQL组件可以在配置作业名称、Hive SQL语句和JDBC URL,即可完成配置(其他参数是非必要的)。该组件配置参数说明如下:
作业名称:必填,配置作业的名称。
描述:配置作业的描述信息。
prepare:对应Oozie中的prepare标签元素,用于创建或者删除指定的HDFS目录。
configuration:指定Mapper类和Reducer类等MapReduce客户端配置参数,鼠标悬于后方的图标上,可以查看该参数的说明。支持配置多项,点击后方的
图标可以新增一项,点击
图标可以删除一项。
sql:必填,输入SQL语句。
jdbcUrl:必填,配置连接Hive的JDBC URL。
passWord:配置连接Hive所需的密码。
KoalaJob组件可以选择离线作业管理下的离线分析作业(描述信息会自动按所选作业的描述填充),即可完成配置。KoalaJob组件是用来关联需要到Hadoop集群上以SparkSQL方式运行的Spark任务。
实时计算组件是业务流程画布中用来关联实时作业的组件,包含StreamingJob类型。实时计算组件可以选取实时作业管理下的实时作业。
StreamingJob组件是用来关联需要到Hadoop集群上运行的Flink任务。
该组件配置参数说明如下:
作业名称:选择实时作业。