SQL调试

在SQL查询功能中，对于Hive类型的数据源，可使用Hive或SparkSQL引擎执行SQL语句，进行SQL查询。

Hive引擎可使用对应大数据集群中该Hive数据源下的所有Hive原生表。

SparkSQL引擎可使用对应大数据集群中该Hive数据源下所有Hive原生表，及该Hive数据源对应schema下已完成注册的离线表。

切换引擎的步骤如下：

在左侧的数据源目录中，选择Hive类型的数据源，右侧即可展示该数据源的查询页面。

系统默认使用Hive引擎，单击编辑区域上放个工具栏最后的选择框，可以切换SparkSQL或Hive引擎。

· 如已在[系统]模块下的[系统配置/大数据集群资源]配置页面中，为所在组织配置了Kerberos用户及队列信息，则查询也将按照配置的队列提交相关任务。

· 在编辑SparkSQL引擎的SQL时，如使用函数作为结果字段，则需为该字段配置别名。

· SQL查询中提交运行SparkSQL使用livy用户以Livy的方式运行，若工作空间分配的大数据集群未开启Kerberos，只开启了Ranger，需要手动在Ranger界面修改HDFS和Hive的权限，都添加livy用户。Ranger界面地址http://${集群虚拟IP}:6080/，登录的用户名为admin，密码为CloudOS5#DE3@Ranger

· 当select两个表的同名字段时，需要使用as对同名字段重命名。例如：select a.id as a_id,b.id as b_id,b.name from a join b on a.code=b.code

· 对于ORCFILE存储方式的Hive表，如果修改了字段类型，使用SparkSQL引擎查询可能会出错，处理方法请参见对于Hive数据源中ORCFILE存储方式的Hive表修改字段类型后使用SparkSQL引擎查询数据失败

Hive数据源查询页面中：

顶部提供了执行、SQL上传、选中执行、格式化、语法校验的功能按钮。

中部的SQL语句编辑区域展示了SQL语句内容。在SQL语句编辑区域中输入的SQL语句中所包含的表名需使用离线表表名。SQL语句支持通过SQL上传功能导入，或者手动编辑：

导入文件：单击工具栏中的<SQL上传>按钮，弹出文件选择窗口。选择本地的SQL文件后，单击<打开>按钮，即可将文件中的SQL语句导入到编辑区域中。导入的SQL语句还可以在编辑区域修改。

手动编辑：在编辑区域中，手动输入SQL语句。编辑区域支持对SQL关键字和表名的联想功能，可以方便输入；还支持从表信息中拖拽表名至编辑区域。

下方执行结果区域展示了被选中schema的表信息、被选中表的表字段信息及SQL语句的执行记录、动态日志和执行结果。

当前SQL编辑器中对查询返回的数据条数进行了限制，查询结果最大返回1000条数据。

如果对数据量过大、逻辑复杂的SQL进行了语法校验，可能会导致超时或者执行失败，并影响Spark Thrift Server的稳定性。

1. 执行SQL

SQL语句编辑完成后，可以执行SQL并查看执行结果，以确认SQL语句是否符合作业要求。

SQL编辑区域中提供了对选中的SQL语句和完整SQL语句的执行的功能。执行选中SQL时，仅支持管理员用户进行删除操作。查询结果默认返回最多1000条结果。

执行：单击编辑区域上方的<执行>按钮，此时会执行编辑区域中所有SQL语句内容。执行完成后，会在执行结果区域中显示执行的结果。

执行选中：选中编辑区域中需要执行验证的部分SQL语句，单击编辑区域上方的<执行>按钮，此时会执行选中的SQL语句内容。执行完成后，会在执行结果区域中显示执行的结果。

2. SQL上传

单击编辑区域上方的<SQL上传>按钮，选择已经编辑好的SQL语句文件，可以快速生成SQL语句。

3. 格式化

单击编辑区域上方的<格式化>按钮，可以将编辑区域的SQL语句格式进行标准化，以方便查看。

4. 语法校验

SQL语句编辑完成后，可以校验SQL语句语法，以检查SQL语句是否符合语法要求。

SQL编辑区域中提供了对选中的SQL语句和完整SQL语句的语法校验功能。

校验全部SQL语句语法：单击编辑区域上方的<语法校验>按钮，此时会在弹框中展示所有SQL语句的语法校验结果。

校验选中SQL语句语法：选中编辑区域中需要进行语法校验的部分SQL语句，单击编辑区域上方的<语法校验>按钮，此时会在弹框中展示选中SQL语句的语法校验结果。

5. 表和字段信息查看

页面下方的表信息页签中，展示了系统中存在且可用的表信息。

执行引擎选择Hive引擎时，将展示系统中新建或采集的Hive表信息。

执行引擎选择SparkSQL引擎时，将展示Hive数据表信息及注册的离线表信息。

在搜索区域中，选择schema名称并输入表名称关键字，作为筛选条件，列表中将展示符合条件的表信息。在表信息区域中单击某表名称，字段信息页签中即可展示该表中的字段信息。

6. 执行记录列表查看

执行SQL语句后，可在页面下方查看执行记录、动态日志。如果被执行的单条SQL语句或多条SQL语句的结尾包含查询操作，则执行成功后可查看执行结果。

在执行记录列表上，对于单次执行，也可以进行取消（仅运行中状态可取消）、删除（非运行中状态可删除）、查看日志、强制失败（仅运行中状态可强制失败）等操作。

取消任务时，极端情况下可能会由于集群YARN组件异常而导致无法取消成功。

强制失败功能仅适用于通过集群组件无法取消任务时，将该任务状态置为Failed以避免其他调试任务受阻的场景。