新建数据源连接
|
|
新建数据源连接时所连接的集群仅支持数据工厂所在CloudOS平台上部署的HDFS存储类型的集群。 |
在左侧导航树中选择[连接管理/数据源连接]，进入数据源连接页面。
数据源连接页面，单击<新建连接>按钮，弹出新建数据源选择窗口。
选择需要创建的数据源，单击进入数据源配置页面，不同类型的数据源显示的配置项不同，详情请参见数据源配置参数说明。
配置完成后，单击<测试连通性>按钮，测试数据源连通性。
单击<确定>按钮，完成数据源连接的创建。
数据源配置参数说明
表-1 数据源配置参数说明快速链接
|
数据源类型 |
数据源 |
大数据存储
1. HBase
表-2 HBase数据源配置参数说明
|
参数 |
说明 |
|
数据源名称 |
必填，同一用户下数据源名称不能重复 |
|
HBaseZookeeperQuorum |
必填，HBase所在集群依赖的Zookeeper集群地址列表，即hbase-site配置中hbase.zookeeper.quorum的值 |
|
Zookeeper端口号 |
必填，Zookeeper服务client使用的端口号，即hbase-site配置中hbase.zookeeper.property.clientPort的值，缺省为2181 |
|
HBase根ZNode |
必填，ZooKeeper中的HBase的根ZNode，即hbase-site配置中zookeeper.znode.parent的值 |
|
开启Kerberos |
必填，根据目标HBase数据源所在集群的安全类型选择是否开启Kerberos。开启Kerberos和未开启Kerberos需要的配置项不同 |
|
Proxy User |
未开启Kerberos时必填项，client端用于与server端RPC通信的用户，Proxy User需拥有访问HBase的权限 |
|
Principal |
开启Kerberos时必填项，能够登录到目标HBase集群用户的Kerberos Principal。用户需拥有访问HBase的权限，否则可能连接成功后无法获取到表等信息 |
|
KeyTab |
开启Kerberos时必填项，单击<浏览>按钮，弹出框中展示所有.keytab后缀的文件列表，选择已填写用户Principal对应KeyTab认证文件。若所需KeyTab文件还未上传，可单击<新建资源>，在页面上传资源后再选择 |
|
Krb5 |
开启Kerberos时必填项，单击<浏览>按钮，弹出框中展示所有.conf后缀的文件列表，选择目标HBase集群的krb5.conf文件。若所需krb5文件还未上传，可单击<新建资源>，上传资源后再选择 |
|
HBaseRegionserverPrincipal |
开启Kerberos时必填项，HBase RegionServer服务的Kerberos Principal，即自定义配置下hbase-site配置中hbase.regionserver.kerberos.principal的值 |
|
HBaseMasterPrincipal |
开启Kerberos时必填项，HBase Master服务的Kerberos Principal，即自定义配置下hbase-site配置中hbase.master.kerberos.principal的值 |
|
数据源描述 |
选填，数据源描述信息 |
2. HDFS
表-3 HDFS数据源配置参数说明
|
参数 |
说明 |
|
数据源名称 |
必填，同一用户下数据源名称不能重复 |
|
NameNode |
必填，Active NameNode服务节点IP，支持同时输入目标集群Active NameNode和Standby NameNode服务节点IP，两个服务IP之间逗号分隔，Active NameNode和Standby NameNode必须属于同一目标集群 |
|
端口号 |
必填，HDFS使用的端口号，缺省为8020 |
|
文件路径 |
必填，HDFS中的文件存储位置，文件路径必须以“/”开头 |
|
开启Kerberos |
必填项，根据目标HDFS数据源所在集群的安全类型选择是否开启Kerberos。开启Kerberos和未开启Kerberos需要的配置项不同 |
|
Proxy User |
未开启Kerberos时必填项，client端用于与server端RPC通信的用户,Proxy User需拥有访问HDFS文件的权限 |
|
Principal |
开启Kerberos时必填项，能够登录到目标HDFS集群用户的Kerberos Principal。用户需拥有访问HDFS文件路径的权限 |
|
KeyTab |
开启Kerberos时必填项，单击<浏览>按钮，弹出框中展示所有.keytab后缀的文件列表，选择已填写用户Principal对应KeyTab认证文件。若所需KeyTab文件还未上传，可单击<新建资源>，上传资源后再选择 |
|
Krb5 |
开启Kerberos时必填项，单击<浏览>按钮，弹出框中展示所有.conf后缀的文件列表，选择目标HDFS集群的krb5.conf文件。若所需krb5文件还未上传，可单击<新建资源>，上传资源后再选择 |
|
DataNode Principal |
开启Kerberos时必填项，HDFS DataNode服务的Kerberos Principal，即hdfs-site配置中dfs.datanode.kerberos.principal的值 |
|
NameNode Principal |
开启Kerberos时必填项，HDFS NameNode服务的Kerberos Principal，即hdfs-site配置中dfs.namenode.kerberos.principal的值 |
|
数据源描述 |
选填，数据源描述信息 |
3. Hive
表-4 Hive数据源配置参数说明
|
参数 |
说明 |
|
数据源名称 |
必填，同一用户下数据源名称不能重复 |
|
高可用 |
必填，根据目标Hive集群是否支持高可用的方式访问选择是否开启，根据hive-site.xml中hive.server2.support.dynamic.service.discovery值是否为true判断是否支持高可用访问，高可用与非高可用方式配置项不同 |
|
HiveServer地址 |
非高可用时必填，Hive数据源HiveServer服务所在的IP地址 |
|
端口号 |
非高可用时必填，HiveServer服务使用的端口号，缺省为10000 |
|
ZookeeperQuorum |
高可用时必填，Hive所在集群高可用依赖的Zookeeper集群地址列表，即hive-site配置中hive.zookeeper.quorum的值 |
|
ZookeeperNamespace |
高可用时必填，ZooKeeper中的hiveserver服务的namespace，即hive-site配置中hive.server2.zookeeper.namespace的值 |
|
用户名 |
必填，能够访问对应数据库的用户名 |
|
密码 |
必填，用户名对应的登录密码 |
|
开启Kerberos |
必填项，根据目标Hive数据源所在集群的安全类型选择是否开启Kerberos。开启Kerberos和未开启Kerberos需要的配置项不同 |
|
Principal |
开启Kerberos时必填项，能够登录到目标Hive集群用户的Kerberos Principal。用户需拥有访问Hive表的权限 |
|
KeyTab |
开启Kerberos时必填项，单击<浏览>，弹出框中展示所有.keytab后缀的文件列表，选择已填写用户Principal对应KeyTab认证文件。若所需KeyTab文件还未上传，可单击<新建资源>，上传资源后再选择 |
|
Krb5 |
开启Kerberos时必填项，单击<浏览>，弹出框中展示所有.conf后缀的文件列表，选择目标Hive集群的krb5.conf文件。若所需krb5文件还未上传，可单击<新建资源>，上传资源后再选择 |
|
HiveServer Principal |
开启Kerberos时必填项，Hive HiveServer2服务的Kerberos Principal，即hive-site配置中hive.server2.authentication.kerberos.principal的值。非高可用访问时，需要将principal中的_HOST替换为HiveServer服务所在节点的hostname |
|
数据源描述 |
选填，数据源描述信息 |
4. Spark
表-5 Spark数据源配置参数说明
|
参数 |
说明 |
|
数据源名称 |
必填，同一用户下数据源名称不能重复 |
|
高可用 |
必填，根据目标Spark集群是否支持高可用的方式访问选择是否开启，根据Hive组件高级配置下hive-site中hive.server2.support.dynamic.service.discovery值是否为true判断是否支持高可用访问，高可用与非高可用方式配置项不同 |
|
Spark ThriftServer地址 |
非高可用时必填，Spark数据源ThriftServer服务所在的IP地址 |
|
端口号 |
非高可用时必填，ThriftServer服务使用的端口号，缺省为10016 |
|
ZookeeperQuorum |
高可用时必填，Spark所在集群高可用依赖的Zookeeper集群地址列表，即Hive组件高级配置下hive-site配置中hive.zookeeper.quorum的值 |
|
ZookeeperNamespace |
高可用时必填，ZooKeeper中的ThriftServer服务的namespace，即Spark组件高级配置下spark2-hive-site-override中hive.server2.zookeeper.namespace的值 |
|
用户名 |
必填，能够访问对应数据库的用户名 |
|
密码 |
必填，用户名对应的登录密码 |
|
开启Kerberos |
必填项，根据目标Spark数据源所在集群的安全类型选择是否开启Kerberos。开启kerberos和未开启kerberos需要的配置项不同 |
|
Principal |
开启Kerberos时必填项，能够登录到目标Spark集群用户的Kerberos principal。用户需拥有访问Spark表的权限 |
|
KeyTab |
开启Kerberos时必填项，单击<浏览>，弹出框中展示所有.keytab后缀的文件列表，选择已填写用户principal对应KeyTab认证文件。若所需KeyTab文件还未上传，可单击<新建资源>，上传资源后再选择 |
|
Krb5 |
开启Kerberos时必填项，单击<浏览>，弹出框中展示所有.conf后缀的文件列表，选择目标Hive集群的krb5.conf文件。若所需krb5文件还未上传，可单击<新建资源>，上传资源后再选择 |
|
ThriftServer Principal |
开启Kerberos时必填项，Spark ThriftServer服务的kerberos principal，即hive-site配置中hive.server2.authentication.kerberos.principal的值。非高可用访问时，需要将principal中的_HOST替换为ThriftServer服务所在节点的hostname |
|
数据源描述 |
选填，数据源描述信息 |
5. Impala
表-6 Impala数据源配置参数说明
|
参数 |
说明 |
|
数据源名称 |
必填，同一用户下数据源名称不能重复 |
|
Impala Daemon地址 |
必填，Impala数据源Daemon服务所在的IP地址。负载均衡模式下可填写HAproxy服务所在的IP地址 |
|
端口号 |
必填，Daemon服务使用的端口号，缺省为21050。负载均衡模式下填写对应的端口号，默认填写21051 |
|
用户名 |
必填，能够访问对应数据库的用户名 |
|
密码 |
必填，用户名对应的登录密码 |
|
开启Kerberos |
必填项，根据目标Impala数据源所在集群的安全类型选择是否开启Kerberos。开启kerberos和未开启kerberos需要的配置项不同 |
|
Principal |
开启Kerberos时必填项，能够登录到目标Impala集群用户的Kerberos principal。用户需拥有访问Impala表的权限 |
|
KeyTab |
开启Kerberos时必填项，单击<浏览>，弹出框中展示所有.keytab后缀的文件列表，选择已填写用户principal对应KeyTab认证文件。若所需KeyTab文件还未上传，可单击<新建资源>，上传资源后再选择 |
|
Krb5 |
开启Kerberos时必填项，单击<浏览>，弹出框中展示所有.conf后缀的文件列表，选择目标Impala集群的krb5.conf文件。若所需krb5文件还未上传，可单击<新建资源>，上传资源后再选择 |
|
ImpalaDaemon Principal |
开启Kerberos时必填项，ImpalaDaemon服务的kerberos principal |
|
数据源描述 |
选填，数据源描述信息 |
6. Phoenix
表-7 Phoenix数据源配置参数说明
|
参数 |
说明 |
|
数据源名称 |
必填，同一用户下数据源名称不能重复 |
|
HBaseZookeeperQuorum |
必填，HBase Phoenix所在集群依赖的Zookeeper集群地址列表，即hbase-site配置中hbase.zookeeper.quorum的值 |
|
Zookeeper端口号 |
必填，Zookeeper服务client使用的端口号，即hbase-site配置中hbase.zookeeper.property.clientPort的值，缺省为2181 |
|
HBase根ZNode |
必填，ZooKeeper中的HBase的根ZNode，即hbase-site配置中zookeeper.znode.parent的值 |
|
Namespace映射 |
必填，phoenix命名空间的自动映射，即hbase-site配置中phoenix.schema.isNamespaceMappingEnabled的值 |
|
开启Kerberos |
必填，根据目标HBasePhoenix数据源所在集群的安全类型选择是否开启Kerberos。开启kerberos和未开启kerberos需要的配置项不同 |
|
Principal |
开启Kerberos时必填项，能够登录到目标HBase Phoenix集群用户的Kerberos principal。用户需拥有访问HBase Phoenix的权限，否则可能连接成功后无法获取到表等信息 |
|
KeyTab |
开启Kerberos时必填项，单击<浏览>按钮，弹出框中展示所有.keytab后缀的文件列表，选择已填写用户Principal对应KeyTab认证文件。若所需KeyTab文件还未上传，可单击<新建资源>，在页面上传资源后再选择 |
|
Krb5 |
开启Kerberos时必填项，单击<浏览>按钮，弹出框中展示所有.conf后缀的文件列表，选择目标HBase Phoenix集群的krb5.conf文件。若所需krb5文件还未上传，可单击<新建资源>，上传资源后再选择 |
|
HBaseRegionserverPrincipal |
开启Kerberos时必填项，HBase RegionServer服务的Kerberos Principal，即hbase-site配置中hbase.regionserver.kerberos.principal的值 |
|
HBaseMasterPrincipal |
开启Kerberos时必填项，HBase Master服务的Kerberos Principal，即hbase-site配置中hbase.master.kerberos.principal的值 |
|
用户名 |
必填，能够访问对应数据库的用户名 |
|
密码 |
必填，用户名对应的登录密码 |
|
数据源描述 |
选填，数据源描述信息 |