在新增数据源时,需要选择数据源类型,并配置不同类型数据源对应的参数。当前支持的数据源类型包括:
达梦(达梦类型数据源配置参数)
Greenplum(Greenplum类型数据源配置参数)
HBase(HBase类型数据源配置参数)
Hive2(Embedded Http)(Hive2(Embedded Http)类型数据源配置参数)
MySQL(MySQL类型数据源配置参数)
Oracle(Oracle类型数据源配置参数)
PostgreSQL(PostgreSQL类型数据源配置参数)
Vertica5(Vertica5类型数据源配置参数)
Elasticsearch(Elasticsearch类型数据源配置参数)
Kafka(Kafka类型数据源配置参数)
Redis(Redis类型数据源配置参数)
STDB(STDB类型数据源配置参数)
各类型数据源所需配置的参数及说明如下列各表所示。
|
达梦配置参数 |
说明 |
|
驱动 |
缺省填入,不可修改 |
|
IP地址或域名 |
必填,目标数据库所在的IP地址或域名 |
|
端口号 |
必填,达梦数据库使用的端口号,缺省为5236 |
|
用户名 |
必填,能够访问对应数据库的用户名 |
|
密码 |
必填,用户名对应的登录密码 |
|
描述信息 |
选填,自定义的描述信息 |
|
属性列表 |
选配,数据源的扩展属性,关于详细属性请参考官方文件。操作说明如下:
|
表-2 Greenplum类型数据源配置参数
|
Greenplum配置参数 |
说明 |
|
驱动 |
缺省填入,不可修改 |
|
IP地址或域名 |
必填,目标数据库所在的IP地址或域名 |
|
端口号 |
必填,Greenplum数据库使用的端口号,缺省为5432。如果使用H3C DataEngine安装Greenplum,端口号为5434 |
|
数据库名 |
必填,待连接的数据库名称 |
|
用户名 |
必填,能够访问对应数据库的用户名 |
|
密码 |
必填,用户名对应的登录密码 |
|
数据源范围 |
必选,内部数据源即大数据平台内部的数据源,允许建表、删表;外部数据源即非大数据平台内部的数据源,为业务系统数据源,用来采集元数据、数据抽取、加载等 |
|
是否采集元数据 |
如果勾选,则会在添加数据源成功后,自动在资产中心中创建相应的元数据采集任务并执行;否则不创建采集任务。当“数据源范围”选择“外部数据源”时显示此配置项,否则不显示 |
|
描述信息 |
选填,自定义的描述信息 |
|
属性列表 |
选配,数据源的扩展属性,关于详细属性请参考官方文件。操作说明如下:
|
表-3 HBase类型数据源配置参数
|
HBase配置参数 |
说明 |
|
所属集群/共享资源 |
必填,该HBase数据源所属E-MapReduce集群名称 |
|
namespace |
必填,需要使用的HBase表的命名空间,如无特殊需要,采用默认值即可 |
|
ZooKeeperHost |
必填,HBase所在集群任意一个节点IP,即hbase-site配置中hbase.zookeeper.quorum的值 |
|
ZooKeeperPort |
必填,Zookeeper服务使用的端口号,缺省为2181 |
|
HBase根ZNode |
必填,hbase-site配置中zookeeper.znode.parent的值 |
|
Kerberos认证 |
必配项,目标数据库所在集群是否开启Kerberos,勾选为开启,不勾选为未开启 |
|
Kerberos用户 |
开启Kerberos时必填,能够登录目标集群的Kerberos principal。用户需拥有访问HBase的权限,否则可能连接成功后无法获取到表 |
|
masterInfoPort |
开启Kerberos时必填,hbase-site配置中hbase.master.info.port的值 |
|
krb5.conf路径 |
浏览选择本地准备好的HBase所属集群的krb5.conf文件。当开启Kerberos认证时显示此配置项,否则不显示 |
|
keytab文件路径 |
浏览选择本地准备好的对应Kerberos用户名的keytab文件。当开启Kerberos认证时显示此配置项,否则不显示 |
|
登录用户 |
关闭Kerberos时必填,HBase的用户。开启Kerberos认证后此配置项不显示 |
|
描述信息 |
选填,自定义的描述信息 |
|
属性列表 |
选配,数据源的扩展属性,关于详细属性请参考官方文件。操作说明如下:
|
表-4 Hive2(Embedded Http)类型数据源配置参数
|
Hive2(Embedded Http)配置参数 |
说明 |
|
驱动 |
缺省填入,不可修改 |
|
IP地址或域名 |
必填,目标数据库所在的IP地址或域名 |
|
端口号 |
必填,Hive2数据库使用的端口号,缺省为10000 |
|
数据库名 |
必填,待连接的数据库名称 |
|
Kerberos认证 |
必配项,目标数据库所在集群是否开启Kerberos认证,勾选为开启,不勾选为未开启 |
|
Kerberos用户 |
能够登录目标集群的Kerberos principal。用户需拥有访问Hive2的权限,否则可能连接成功后,无法获取到表。当开启Kerberos认证时显示此配置项,否则不显示 |
|
hive principal |
填写集群环境中hive.service.keytab文件里包含的hive用户的principal。当开启Kerberos认证时显示此配置项,否则不显示 |
|
krb5.conf路径 |
浏览选择本地准备好的Hive2(Embedded Http)所属集群的krb5.conf文件。当开启Kerberos认证时显示此配置项,否则不显示 |
|
keytab文件路径 |
浏览选择本地准备好的对应Kerberos用户名的keytab文件。当开启Kerberos认证时显示此配置项,否则不显示 |
|
用户名 |
关闭Kerberos时必填,能够访问对应数据库的用户名。开启Kerberos认证后此配置项不显示 |
|
密码 |
关闭Kerberos时必填,用户名对应的登录密码。开启Kerberos认证后此配置项不显示 |
|
路径 |
必填,要访问的Hive数据库文件目录 |
|
数据源范围 |
必选,内部数据源即大数据平台内部的数据源,允许建表、删表;外部数据源即非大数据平台内部的数据源,为业务系统数据源,用来采集元数据、数据抽取、加载等 |
|
是否采集元数据 |
如果勾选,则会在添加数据源成功后,自动在资产中心中创建相应的元数据采集任务并执行;否则不创建采集任务。当“数据源范围”选择“外部数据源”时显示此配置项,否则不显示 |
|
描述信息 |
选填,自定义的描述信息 |
|
属性列表 |
选配,数据源的扩展属性,关于详细属性请参考官方文档。操作说明如下:
|
表-5 MySQL类型数据源配置参数
|
MySQL配置参数 |
说明 |
|
驱动 |
缺省填入,不可修改 |
|
IP地址或域名 |
必填,目标数据库所在的IP地址或域名 |
|
端口号 |
必填,MySQL数据库使用的端口号,缺省为3306 |
|
数据库名 |
必填,待连接的数据库名称 |
|
用户名 |
必填,能够访问对应数据库的用户名 |
|
密码 |
必填,用户名对应的登录密码 |
|
数据源范围 |
必选,内部数据源即大数据平台内部的数据源,允许建表、删表;外部数据源即非大数据平台内部的数据源,为业务系统数据源,用来采集元数据、数据抽取、加载等 |
|
是否采集元数据 |
如果勾选,则会在添加数据源成功后,自动在资产中心中创建相应的元数据采集任务并执行;否则不创建采集任务。当“数据源范围”选择“外部数据源”时显示此配置项,否则不显示 |
|
描述信息 |
选填,自定义的描述信息 |
|
属性列表 |
选配,数据源的扩展属性,关于详细属性请参考官方文档。操作说明如下:
|
表-6 Oracle类型数据源配置参数
|
Oracle配置参数 |
说明 |
|
驱动 |
缺省填入,不可修改 |
|
IP地址或域名 |
必填,目标数据库所在的IP地址或域名 |
|
端口号 |
必填,Oracle数据库使用的端口号,缺省为1521 |
|
SID |
数据库SID。若填写服务名,此项可不填 |
|
服务名 |
数据库服务名。若填写SID,此项可不填 |
|
用户名 |
必填,能够访问对应数据库的用户名 |
|
密码 |
必填,用户名对应的登录密码 |
|
数据源范围 |
必选,内部数据源即大数据平台内部的数据源,允许建表、删表;外部数据源即非大数据平台内部的数据源,为业务系统数据源,用来采集元数据、数据抽取、加载等 |
|
是否采集元数据 |
如果勾选,则会在添加数据源成功后,自动在资产中心中创建相应的元数据采集任务并执行;否则不创建采集任务。当“数据源范围”选择“外部数据源”时显示此配置项,否则不显示 |
|
描述信息 |
选填,自定义的描述信息 |
|
属性列表 |
选配,数据源的扩展属性,关于详细属性请参考官方文档。操作说明如下:
|
表-7 PostgreSQL类型数据源配置参数
|
PostgreSQL配置参数 |
说明 |
|
驱动 |
缺省填入,不可修改 |
|
IP地址或域名 |
必填,目标数据库所在的IP地址或域名 |
|
端口号 |
必填,PostgreSQL数据库使用的端口号,缺省为5432 |
|
数据库名 |
必填,待连接的数据库名称 |
|
用户名 |
必填,能够访问对应数据库的用户名 |
|
密码 |
必填,用户名对应的登录密码 |
|
数据源范围 |
必选,内部数据源即大数据平台内部的数据源,允许建表、删表;外部数据源即非大数据平台内部的数据源,为业务系统数据源,用来采集元数据、数据抽取、加载等 |
|
是否采集元数据 |
必填,如果勾选,则会在添加数据源成功后,自动在资产中心中创建相应的元数据采集任务并执行;否则不创建采集任务。当“数据源范围”选择“外部数据源”时显示此配置项,否则不显示 |
|
描述信息 |
选填,自定义的描述信息 |
|
属性列表 |
选配,数据源的扩展属性,关于详细属性请参考官方文档。操作说明如下:
|
表-8 Vertica5类型数据源配置参数
|
Vertica5配置参数 |
说明 |
|
驱动 |
缺省填入,不可修改 |
|
IP地址或域名 |
必填,目标数据库所在的IP地址或域名 |
|
端口号 |
必填,Vertica5数据库使用的端口号,缺省为5433 |
|
数据库名 |
必填,待连接的数据库名称 |
|
用户名 |
必填,能够访问对应数据库的用户名 |
|
密码 |
必填,用户名对应的登录密码 |
|
数据源范围 |
必选,内部数据源即大数据平台内部的数据源,允许建表、删表;外部数据源即非大数据平台内部的数据源,为业务系统数据源,用来采集元数据、数据抽取、加载等 |
|
是否采集元数据 |
必填,如果勾选,则会在添加数据源成功后,自动在资产中心中创建相应的元数据采集任务并执行;否则不创建采集任务。当“数据源范围”选择“外部数据源”时显示此配置项,否则不显示 |
|
描述信息 |
选填,自定义的描述信息 |
|
属性列表 |
选配,数据源的扩展属性,关于详细属性请参考官方文档。操作说明如下:
|
表-9 Elasticsearch类型数据源配置参数
|
Elasticsearch配置参数 |
说明 |
|
所属集群/共享资源 |
选填,数据源所属的集群或共享资源 |
|
节点ip |
必填,Elasticsearch服务所在的节点IP地址 |
|
tcp端口 |
必填,Elasticsearch服务使用TCP客户端连接时所提供的端口号,缺省为9305 |
|
http端口 |
必填,Elasticsearch服务对外提供HTTP服务时使用的端口号,缺省为9205 |
|
集群名 |
必填,Elasticsearch服务所在的集群名称 |
|
Kerberos认证 |
必配项,目标数据库所在集群是否开启Kerberos认证,勾选为开启,不勾选为未开启 |
|
Kerberos用户 |
能够登录目标集群的Kerberos principal。用户需拥有访问Elasticsearch的权限,否则可能连接成功后,无法获取到数据。当开启Kerberos认证时显示此配置项,否则不显示 |
|
krb5.conf路径 |
浏览选择本地准备好的Elasticsearch所属集群的krb5.conf文件。当开启Kerberos认证时显示此配置项,否则不显示 |
|
keytab文件路径 |
浏览选择本地准备好的对应Kerberos用户名的keytab文件。当开启Kerberos认证时显示此配置项,否则不显示 |
|
登录用户 |
当Elasticsearch集群开启了Ranger但关闭Kerberos时必填,需为能够访问对应数据库的用户名。开启Kerberos认证后此配置项不显示 |
|
密码 |
关闭Kerberos时必填,用户名对应的登录密码。开启Kerberos认证后此配置项不显示 |
|
描述信息 |
选填,自定义的描述信息 |
|
属性列表 |
选配,数据源的扩展属性,关于详细属性请参考官方文档。操作说明如下:
|
表-10 Kafka类型数据源配置参数
|
Kafka配置参数 |
说明 |
|
所属集群/共享资源 |
必填,数据源所属的集群或共享资源 |
|
bootstrap服务IP |
必填,指定将连接的提供Kafka服务的服务器IP地址 |
|
bootstrap端口 |
必填,指定将连接的提供Kafka服务的服务器使用的端口号,缺省为6667 |
|
Kerberos认证 |
必配项,目标数据库所在集群是否开启Kerberos认证,勾选为开启,不勾选为未开启 |
|
登录用户 |
能够登录目标集群的Kerberos principal。用户需拥有访问Kafka的权限,否则可能连接成功后,无法获取到数据。当开启Kerberos认证时显示此配置项,否则不显示 |
|
krb5.conf路径 |
浏览选择本地准备好的Kafka所属集群的krb5.conf文件。当开启Kerberos认证时显示此配置项,否则不显示 |
|
keytab文件路径 |
浏览选择本地准备好的对应Kerberos用户名的keytab文件。当开启Kerberos认证时显示此配置项,否则不显示 |
|
描述信息 |
选填,自定义的描述信息 |
|
属性列表 |
选配,数据源的扩展属性,关于详细属性请参考官方文档。操作说明如下:
|
表-11 Redis类型数据源配置参数
|
Redis配置参数 |
说明 |
|
所属集群/共享资源 |
选填,数据源所属的集群或共享资源 |
|
运行模式 |
必填,支持两种模式,分别是单机模式standalone和集群模式cluster |
|
redis地址 |
必填,Redis服务所在的地址,包括IP和端口号;可填入多个地址,多个地址之间用逗号隔开 |
|
数据库 |
必填,用于指定连接哪一个数据库,缺省为0。Redis中可能有多个数据库,缺省有16个(此时分别对应[0-15]的正整数),若填入非法数据,则使用默认的数据库 |
|
密码 |
必填,配置Redis服务连接时的认证密码 |
|
描述信息 |
选填,自定义的描述信息 |
|
属性列表 |
选配,数据源的扩展属性,关于详细属性请参考官方文档。操作说明如下:
|
表-12 STDB类型数据源配置参数
|
STDB配置参数 |
说明 |
|
HBASE数据源 |
选填,已添加的HBase数据源ID,与Kafka数据源、Redis数据源至少配置一项 |
|
KAFKA数据源 |
选填,已添加的Kafka数据源ID,与HBase数据源、Redis数据源至少配置一项 |
|
REDIS数据源 |
选填,已添加的Redis数据源ID,与HBase数据源、Kafka数据源至少配置一项 |
|
描述信息 |
选填,自定义的描述信息 |