实时计算作业画布操作

仅FLINK_SQL类型实时作业可以通过画布进行编辑。

进入可视化编辑实时作业页面有以下两种方式：

• 新建FLINK_SQL类型作业完成时，会直接进入可视化编辑作业页面。

• 在实时作业目录树列表中，选择Flink_SQL类型的作业名称，作业管理页面右侧区域也会展示该作业的可视化编辑区域。

可视化编辑区域中，上方为工具栏，左侧为FLINK_SQL实时作业组件列表，右侧为画布。

• 工具栏：工具栏左端提供了画布的放大、缩小、画布自适应、刷新、删除、保存和启动（以及停止、恢复或暂停）操作图标；右端提供了锁定、调试、切换SQL、进入监控页面的功能按钮。

• FLINK_SQL实时作业组件：组件列表中展示了数据源表、数据维表、数据处理和数据结果表四类组件。

• 数据源表：代表实时计算作业的输入数据来源，用于指明数据处理所要操作的表。用户只需拖拽该组件到画布中，在该组件中选取表，输入参数即可。

• 数据维表：不可单独作为实时计算的输入，用于作为流的关联表，与join算子配合使用。用户只需拖拽该组件到画布中，在该组件中选取表，输入参数即可。

• 数据处理：代表实时计算作业的业务逻辑，即对数据做何种处理以及转换等操作。

• 数据结果表：代表实时计算作业的输出，即计算出来的结果数据的输出地。

• 画布：画布中可以对组件进行可视化编辑。

实时作业画布编辑

关于实时作业画布的基本操作步骤如下：

1. 用户在编辑画布前，单击画布上方工具栏中的<锁定>按钮，锁定该画布的编辑权限。

2. 根据实时作业设计，从左侧组件列表中拖拽相关组件到右侧作业设计画布中。实时作业需至少包含一个数据源表组件、一个数据处理组件、一个数据结果表组件。

3. 选中某组件，组件的下边缘会出现用于连接不同组件的锚点，将鼠标悬于锚点上，鼠标会变为图标，此时按住鼠标左键，并拖至其他组件，即可进行组件间的连接。在不同组件之间建立连接，即可得到实时作业。

作业的连线限制如下： ·          不允许数据源线/数据维表和数据结果表直接连线。 ·          同一节点不能和自己连线。 ·          节点的每个锚点只能连一条线。 ·          数据维表只能和数据处理的join节点连线，且join只能和一个数据维表连线。 ·          topN后只能和数据结果表连线。 ·          cep后不能和cep、aggregate、overAggregate、windowJoin连线。

 

4. 双击画布中各组件图标，弹出组件配置窗口，不同组件的参数说明请参见实时作业组件配置参数介绍。

5. 编辑完成后，点击工具栏中的图标，保存作业。

6. 单击工具栏右端的<调试>按钮，进入作业调试界面。仅锁定状态且已保存的作业才可进行调试。

1. 单击界面右上角的<导入文件>按钮或<添加数据>按钮，向数据源表/数据维表中添加对应字段的数据。

2. 添加完数据后，单击<调试>按钮进行作业运行，调试信息展示在下方黑色背景区域中。

3. 调试信息将会自动刷新至作业调试完成，用户也可单击<刷新调试信息>按钮自行刷新调试信息。

4. 调试完成后，单击<查看结果>按钮查看作业调试后的数据。

调试功能的注意事项如下： ·          进入调试界面前请对作业进行保存，调试仅对已保存的作业进行数据调试。 ·          导入文件仅支持CSV格式的文件，格式要求：换行符为回车，分隔符为英文逗号，编码格式为UTF-8，且文件大小小于10M。文件中请填写字段及字段类型匹配的内容，若存在不匹配，则文件上传成功后，将会出现空值。 ·          若存在多个表，则添加的数据/导入的数据只添加到当前tab页对应的表中。若需向其他表添加数据，请切换tab标签后重新添加/导入数据。 ·          调试功能不支持对使用自定义函数、时空函数的作业或数据维表、数据结果表为HBase表的作业进行调试。 ·          调试是对作业逻辑的模拟运行，不代表真实运行情况，读取的也仅为调试数据，不代表对真实数据源中数据的处理，具体数据处理以作业运行为准。 ·          调试为方便对时间类型字段（DATE和TIMESTAMP）进行显示，约定DATE类型输出格式为yyyy-MM-dd格式，输入的调试数据也请以此格式为唯一标准格式。约定TIMESTAMP类型输出格式为yyyy-MM-dd HH:mm:ss，输入的调试数据也请以此格式为唯一标准格式。此约定仅适用于调试数据和调试结果数据，实际作业对于这两个字段的格式要求请以具体的数据源为准。 ·          调试数据中，对于数值类型，如INT、FLOAT、DOUBLE、BIGINT等，请勿在数值类型中输入非数字字符，或者超过相应数值类型最大值等。避免调试解析调试数据出现问题，从而影响调试功能。 ·          如果作业中的数据源表开启了时间属性，请将数据处理算子的窗口缩短在一分钟以内。

 

7. 调试完成后，可通过单击<切换可视化>进入实时作业画布编辑界面。

8. 单击<解锁>按钮，释放权限。

切换SQL

画布编辑完成后，单击工具栏右端的<切换SQL>按钮，进入SQL界面。SQL界面只展示当前实时作业的SQL语句，单击<格式化>按钮，可以对语句格式结构进行整理。

切换SQL不需要保存作业画布即可查看。但需要使作业画布中组件达到作业构成的基本结构，且各个组件参数均填写完成，才可查看当前作业的SQL。

 

进入监控页面

画布中还提供了进入监控页面的入口：

单击工具栏右端的<进入监控页面>按钮，进入作业运维页面，在该页面的列表中，可以进入该作业的监控页面，查看监控信息，详细说明请参见实时作业监控。