业务流程组件配置参数介绍

配置各类组件参数的步骤如下:

  1. 将组件拖拽到画布中后,双击该组件,右侧边栏会弹出编辑窗口。

  1. 配置组件的相关参数,参数说明请参见后续各组件介绍中的表格。

  1. 单击<确定>按钮,组件配置完成。

数据源组件

数据源组件是业务流程画布中用来关联数据表的组件,包含RDBHDFSHBaseElasticsearchMPP KafkaHiveSTDB类型。

在业务流程运行过程中,数据源节点的主要作用是在整个业务流程中表征数据的流向,监控作业涉及数据表的运行数据。数据源节点中数据表的选择,不会对上下关联的作业造成影响。

表-1 数据源组件配置参数介绍

数据源

说明

RDBMPP

RDB组件用来关联关系数据库数据,支持的关系数据库类型有:MySQLOraclePostgreSQL、达梦、Vertica

MPP组件用来关联MPP类型数据库数据,支持的MPP类型数据库有:GREENPLUM

各组件配置参数相同,说明如下:

  • 数据源类型:选择数据源类型

  • 数据源名称:选择数据源

  • 表名称:选择数据源中的表

节点类型不可编辑;备注和结构会根据表自动加载,不可编辑

HDFS

该组件用来关联Hadoop集群HDFS存储数据的。该组件配置参数说明如下:

  • 文件目录:在弹出窗口中选择HDFS文件夹或文件。点击输入框,弹出HDFS文件窗口,在窗口的列表中选择目标文件夹或文件,并单击<确定>按钮即可。在列表中双击文件夹名称,可以进入该文件夹;窗口中提供了图标,可以返回上层文件夹;提供了图标,可以刷新窗口

数据源类型不可编辑,HDFS组件参数配置完成后,在画布中只显示最后一级目录或者文件的名称,不会显示全路径

HBaseElasticSearchHiveSTDB

HBase组件用来关联Hadoop集群的HBase数据

ElasticSearch组件用来关联Hadoop集群的ElasticSearch数据

Hive组件用来关联Hadoop集群的Hive数据

STDB组件用来关联数据运营平台时空服务的时空数据源

各组件配置参数相同,说明如下:

  • 数据源名称:选择数据源

  • 表名称:选择数据源中的表

数据源类型不可编辑;其他参数会根据表自动加载,不可编辑

Kafka

该组件用来关联Hadoop集群的Kafka数据。该组件配置参数说明如下:

  • 数据源名称:选择数据源

  • 管道名称:选择数据源中的管道

节点类型不可编辑;其他参数会根据表自动加载,不可编辑

 

数据集成组件

数据集成组件是业务流程画布中用来关联数据集成作业的组件,包含DI和数据同步两种组件。

数据集成的作用是通过集成服务,将本系统外的数据经过一定的处理后存入本系统相关的数据存储系统中。

表-2 数据集成组件配置参数介绍

数据集成

说明

DI

DI组件用来关联[融合集成平台/数据集成/作业管理]模块下的DI作业。关于DI作业和新增方法的介绍可参见[融合集成平台/数据集成/作业管理]的联机帮助。该组件配置参数说明如下:

  • DI作业:选择DI作业

节点类型不可编辑;其他参数会根据DI作业自动加载,不可编辑

数据同步

数据同步组件用来关联数据同步任务。关于数据同步任务的介绍和新建,请参见数据同步管理。该组件配置参数说明如下:

  • KAFKA数据源:选择Kafka数据源

  • 管道名称:选择管道

  • 任务名称:选择数据同步任务

节点类型不可编辑;其他参数会根据数据同步任务自动加载,不可编辑

 

离线分析组件

离线分析组件是业务流程画布中用来关联离线作业的组件,包含MRSparkJarHiveSQLJavaKoalaJobShell类型。

 

实时计算组件

实时计算组件是业务流程画布中用来关联实时作业的组件,包含StreamingJob类型。实时计算组件可以选取实时作业管理下的实时作业。

StreamingJob组件是用来关联需要到Hadoop集群上运行的Flink任务。

该组件配置参数说明如下:

节点类型不可编辑;其他参数会根据实时作业任务自动加载,不可编辑。