Spark函数管理

函数管理页面中,选择“Spark”页签,查看Spark函数。

Spark函数管理中内置多种函数,也支持用户创建自定义函数。在创建作业时,可以根据需要选择不同的内置函数或自定义函数。

·          内置函数:系统事先已经定义好的函数,可以在SQL语句中直接使用。

·          自定义函数:为了实现内置函数不能够满足的场景需求而自己定义的函数,需要用户自行开发,可以参考Spark自定义函数开发

 

Spark函数管理包括目录管理、函数中心、JAR包中心。Spark函数的基本操作流程如下:

  1. 用户可以参考中的样例开发自己需要的函数功能。

  1. 将开发好的代码以JAR包的形式上传至Spark函数管理中。

  1. Spark函数管理中,使用上传好的JAR包新建自定义函数。

  1. 在作业开发中即可在SQL语句里与调用内置函数一样直接调用自定义函数。

目录操作

在函数管理页面的目录区域中,用户可以在“Spark”页签的“自定义函数”目录下,创建子目录,以便于对用户自定义函数进行分类管理和查看。“Spark”页签下的目录操作与“Flink”页签下相同,请参见目录操作

函数中心

函数中心用于管理用户创建的自定义函数及查看内置函数。Spark的函数中心操作与Flink的函数中心相同,请参见函数中心

JAR包中心

JAR包中心用于管理自定义Spark函数所使用的的JAR包,各项操作与FlinkJAR包中心相同,请参见JAR中心