离线SQL-画布作业操作

仅离线SQL-画布作业可以通过画布进行编辑。

进入离线SQL-画布作业编辑区域有以下两种方式:

离线SQL-画布作业编辑区域中,上方为工具栏,左侧为SQL-画布作业组件列表,右侧为画布。

编辑离线SQL-画布作业

关于编辑离线SQL-画布作业的基本操作步骤如下:

  1. 用户在编辑画布前,单击画布上方工具栏中的<锁定>按钮,锁定该画布的编辑权限。

  1. 根据离线作业设计,从左侧组件列表中拖拽相关组件到右侧作业设计画布中。

  1. 选中某组件,组件的下边缘会出现用于连接不同组件的锚点,将鼠标悬于锚点上,鼠标会变为图标,此时按住鼠标左键,并拖至其他组件,即可进行组件间的连接。在不同组件之间建立连接,即可得到离线作业。

通常情况下,以数据源中的组件作为作业的起始节点,落地、导出或数据转换组件作为最终节点。

 

  1. 双击画布中各组件图标,弹出组件配置窗口,不同组件的参数说明请参见离线作业组件配置参数介绍

  1. 编辑完成后,单击工具栏中的<保存>按钮,可以保存作业;单击工具栏中的<暂存>按钮,可以暂时保存作业。离线SQL-画布作业可在保存时设置自定义运行参数,参数说明如下。

表-1 自定义参数说明

参数

说明

自定义运行参数

  • executor.instances:配置执行实例数

  • executor.cores:配置执行核心数

  • executor.memory:配置执行内存大小

  • driver.cores:配置驱动核心数

  • driver.memory:配置驱动内存大小

  • yarn.executor.memory.overhead:配置执行内存开销

  • driver.memory.overhead:配置驱动内存开销

  • queue:队列

  • 自定义参数:输入自定义参数,每个参数需以--conf开头,参数间以英文逗号(,)分隔

 

查看SQL

画布编辑完成单击<保存>按钮进行保存后,单击工具栏右端的<查看SQL>按钮,可以查看业务逻辑转化成的SQL语句。

进入监控页面

画布中还提供了进入监控页面的入口:

单击工具栏右端的<进入监控页面>按钮,进入作业运维页面,在该页面的列表中,可以进入该作业的监控页面,查看监控信息,详细说明请参见离线作业监控