SQL调试

SQL调试可用于使用SparkSQL或Hive引擎执行SQL语句。

• Hive引擎可使用对应大数据集群中的所有Hive原生表。

• SparkSQL引擎可使用对应大数据集群中所有Hive原生表及已完成注册的离线表。

进入SQL调试页面的步骤如下：

1. 在顶部导航栏中选择[数据运营/数据开发]，进入数据开发页面，默认使用SparkSQL引擎。

2. 单击左侧导航树中的[SQL调试]菜单项，进入SQL调试页面，可以选择使用SparkSQL或Hive引擎。

·          如已在[系统]模块下的[系统配置/大数据集群资源]配置页面中，为所在组织配置了Kerberos用户及队列信息，，则SQL调试也将按照配置的队列提交相关任务。 ·          在编辑SparkSQL引擎的SQL时，如使用函数作为结果字段，则需为该字段配置别名。

 

SQL调试页面中：

• 顶部提供了执行、SQL上传、选中执行、格式化、语法校验的功能按钮。

• 中部的SQL语句编辑区域展示了SQL语句内容。在SQL语句编辑区域中输入的SQL语句中所包含的表名需使用离线表表名。SQL语句支持通过SQL上传功能导入，或者手动编辑：

• 导入文件：单击工具栏中的<SQL上传>按钮，弹出文件选择窗口。选择本地的SQL文件后，单击<打开>按钮，即可将文件中的SQL语句导入到编辑区域中。导入的SQL语句还可以在编辑区域修改。

• 手动编辑：在编辑区域中，手动输入SQL语句。编辑区域支持对SQL关键字和表名的联想功能，可以方便输入；还支持从表信息中拖拽表名至编辑区域。

• 下方执行结果区域展示了被选中schema的表信息、被选中表的表字段信息及SQL语句的执行记录、动态日志和执行结果。

当前SQL编辑器中对查询返回的数据条数进行了限制，查询结果最大返回1000条数据。 如果对数据量过大、逻辑复杂的SQL进行了语法校验，可能会导致超时或者执行失败，并影响Spark Thrift Server的稳定性。

 

1.      执行SQL

SQL语句编辑完成后，可以执行SQL并查看执行结果，以确认SQL语句是否符合作业要求。

SQL编辑区域中提供了对选中的SQL语句和完整SQL语句的执行的功能。执行选中SQL时，仅支持管理员用户进行删除操作。查询结果默认返回最多1000条结果。

• 执行：单击编辑区域上方的<执行>按钮，此时会执行编辑区域中所有SQL语句内容。执行完成后，会在执行结果区域中显示执行的结果。

• 执行选中：选中编辑区域中需要执行验证的部分SQL语句，单击编辑区域上方的<执行选中>按钮，此时会执行选中的SQL语句内容。执行完成后，会在执行结果区域中显示执行的结果。

2.      SQL上传

单击编辑区域上方的<SQL上传>按钮，选择已经编辑好的SQL语句文件，可以快速生成SQL语句。

3.      格式化

单击编辑区域上方的<格式化>按钮，可以将编辑区域的SQL语句格式进行标准化，以方便查看。

4.      语法校验

SQL语句编辑完成后，可以校验SQL语句语法，以检查SQL语句是否符合语法要求。

SQL编辑区域中提供了对选中的SQL语句和完整SQL语句的语法校验功能。

• 校验全部SQL语句语法：单击编辑区域上方的<语法校验>按钮，此时会在弹框中展示所有SQL语句的语法校验结果。

• 校验选中SQL语句语法：选中编辑区域中需要进行语法校验的部分SQL语句，单击编辑区域上方的<语法校验>按钮，此时会在弹框中展示选中SQL语句的语法校验结果。

5.      表和字段信息查看

页面下方的表信息页签中，展示了系统中存在且可用的表信息。

• 执行引擎选择Hive引擎时，将展示系统中新建或采集的Hive表信息。

• 执行引擎选择SparkSQL引擎时，将展示Hive数据表信息及注册的离线表信息。

在搜索区域中，选择schema名称并输入表名称关键字，作为筛选条件，列表中将展示符合条件的表信息。在表信息区域中单击某表名称，字段信息页签中即可展示该表中的字段信息。

6.      执行记录列表查看

执行SQL语句后，可在页面下方查看执行记录、动态日志。如果被执行的单条SQL语句或多条SQL语句的结尾包含查询操作，则执行成功后可查看执行结果。

在执行记录列表上，对于单次执行，也可以进行取消（仅运行中状态可取消）、删除（非运行中状态可删除）、查看日志、强制失败（仅运行中状态可强制失败）等操作。

取消任务时，极端情况下可能会由于集群YARN组件异常而导致无法取消成功。 强制失败功能仅适用于通过集群组件无法取消任务时，将该任务状态置为Failed以避免其他调试任务受阻的场景。