实时计算组件

实时计算组件是业务流程画布中用来关联实时作业的组件,包含StreamingJob组件。实时计算组件可以选取实时作业管理下的实时作业。

StreamingJob组件是用来关联需要到Hadoop集群上运行的Flink任务。

该组件配置参数说明如下:

节点类型不可编辑;其他参数会根据实时作业任务自动加载,不可编辑。

可根据需要配置作业的运行资源,包括执行队列、管理节点内存、工作节点内存、作业的并行度(作业并行度最小值为1,最大值分两种情况:当数据运营平台集群未配置时,并行度最大值为30;当数据运营平台集群配置后,并行度最大值为所使用的DataEngine大数据集群中Kafka组件节点数量的10倍)以及检查点的间隔时间和模式。

对于管理节点内存和工作节点内存配置参数,请根据作业所要处理的数据量以及机器资源情况,尽可能调大两个参数的值,避免作业因为所要处理的数据量过大导致作业内存溢出等情况的发生。

对于作业并行度参数,建议用户根据作业所要使用的数据源表情况(Kafka表对应的Topic分区数量)来设置该参数。

高级参数对于FLINK_JAR类型的实时作业为默认参数,若用户在作业内部(Jar文件中的代码内)设置了以上参数,则以作业内部设置的参数为准。