· 当用户使用SQL Server数据源时,可选择SQL Server和SQL Server(Native),SQL Server使用的是jTDS驱动,SQL Server(Native)使用的是mssql-jdbc驱动。两种驱动的主要区别如下,用户可根据实际情况进行选择。1、支持的SQL Server版本:jTDS驱动支持SQL Server 2008及以下版本,而mssql-jdbc驱动支持SQL Server 2008及以上版本。2、性能:mssql-jdbc驱动比jTDS驱动更快,尤其是在处理大量数据时。mssql-jdbc驱动使用了更先进的协议和技术,如Bulk Copy API和Always Encrypted。3、兼容性:mssql-jdbc驱动与Java 8及以上版本兼容,而jTDS驱动的兼容性较差,可能需要进行一些额外的配置。4、功能:mssql-jdbc驱动支持一些新的功能,如JSON数据类型和查询优化器,而jTDS驱动不支持这些功能。5、维护:mssql-jdbc驱动是由Microsoft官方维护的,而jTDS驱动已经停止更新和维护。 |
该功能用于新增/编辑数据源。新增数据源时,不同的数据源类型,需要的配置不同。
在工程配置模块下,选择左侧导航树中的[数据源管理],进入数据源管理页面。
在顶部导航栏右上角选择工作空间,页面显示对应工作空间下的数据源信息。
数据源管理页面,单击<新增>按钮,弹出新增数据源窗口,根据实际情况,配置数据源相关信息。
数据源类型:选择所需的数据源类型。不同的数据源类型,参数项配置不同。各类型数据源对应参数说明请参见数据源参数说明。
业务部门:为数据源配置所属业务部门,用户可在输入框中选择系统内已存在的组织。
业务系统:为数据源配置业务系统下的标签,用户可在输入框中选择系统内已存在的标签,或者直接单击<新增>按钮新增标签。数据源只能关联一个标签。
状态检查:开启后,系统后台会定时检查数据源连接情况,同时会在数据源列表中展示数据源最新状态(正常、异常);如果数据源状态异常,系统还会发送告警信息。如果未开启状态检查,数据源列表中的数据源状态会展示为“未知”。
完成后单击<测试连接>按钮,可测试数据源连通性。页面会显示进度条,点击进度条中的<中断测试>按钮,可中断数据源连接,提示连接成功后可单击<提交>按钮,即可完成新增/编辑数据源。提示连接错误后,可查看错误原因并进行修改。
新增的数据源展示在数据源列表中,用户可根据需要单击<编辑>按钮对数据源配置信息进行修改。
当前系统中部分数据源类型支持的数据库版本及使用的驱动包版本(部分内容待后续完善):
|
数据源类型 |
支持的数据源版本 |
使用驱动包的版本 |
|
MySQL |
5.6、5.7、5.8 |
5.1.41 |
|
MySQL8 |
8.0.x |
8.0.17 |
|
Oracle |
10g、11g、12c、18c、19c |
12.2.0.1 |
|
DB2 |
11.5 |
4 |
|
UXDB |
2.1、2.1.1.4 |
4.2 |
|
Kingbase8 |
V8_ES |
8.2.0 |
|
PostgreSQL |
9.6、10、11、12、13、14 |
42.2.6 |
|
SQL Server |
2004、2005、2008r2、2012、2014 |
jtds-1.3.1 |
|
Greenplum |
5.0.0 |
42.2.6 |
|
MPP |
|
8.3.81.51 |
|
PostGIS |
|
42.2.6 |
|
SeaSQL MPP |
2.0.1、2.0.3 |
42.2.6 |
|
HANA |
HANA1.0、HANA2.0 |
2.3.53 |
|
Teradata |
|
15.10.00.23 |
|
Vertica |
9.1、11.0.0.2 |
9.0.1 |
|
达梦 |
8 |
17 |
|
GBase |
8a |
8.3.81.53-build52.8-bin |
|
DRDS |
2.5.5、2.5.6 |
5.1.41(MySQL的驱动) |
在新增数据源时,需要选择数据源类型,并配置不同类型数据源对应的参数。当前支持的数据源类型包括:
ActiveMQ(ActiveMQ配置参数)
Cache(Cache配置参数)
ClickHouse(ClickHouse配置参数)
DB2(DB2配置参数)
DLH(DLH配置参数)
DRDS(DRDS配置参数)
DataEngine MPP(DataEngine MPP配置参数)
Elasticsearch(Elasticsearch配置参数)
FTP(FTP配置参数)
GBase(GBase配置参数)
Generic JDBC(Generic JDBC配置参数)
Greenplum(Greenplum配置参数)
HANA(HANA配置参数)
HBase(HBase配置参数)
HBase Phoenix(HBase Phoenix配置参数)
HDFS(HDFS配置参数)
HTTP(HTTP配置参数)
Hive2(Embedded Http)(Hive2(Embedded Http)配置参数)
IBM MQ(IBM MQ配置参数)
Impala(Impala配置参数)
InfluxDB(InfluxDB配置参数)
Kafka(Kafka配置参数)
Kingbase8(Kingbase8配置参数)
MPP(MPP配置参数)
MongoDB(MongoDB配置参数)
NFS(NFS配置参数)
ONEStor(ONEStor配置参数)
Oracle(Oracle配置参数)
PostGIS(PostGIS配置参数)
PostgreSQL(PostgreSQL配置参数)
Presto(Presto配置参数)
RabbitMQ(RabbitMQ配置参数)
Redis(Redis配置参数)
RocketMQ(RocketMQ配置参数)
SQL Server(SQL Server配置参数)
SQL Server(Native)(SQL Server(Native)配置参数)
SSH(SSH配置参数)
SeaSQL MPP(SeaSQL MPP配置参数)
Spark(Spark配置参数)
Teradata(Teradata配置参数)
UXDB(UXDB配置参数)
Vertica(Vertica配置参数)
达梦(达梦配置参数)
连接类型:选择ActiveMQ的连接类型,可选ActiveMQ 5 Classic或ActiveMQ Artemis。
通信协议:ActiveMQ所用的通信协议,可选OpenWire或MQTT。
IP地址或域名:必填,目标服务所在的IP地址或域名。
端口号:必填,ActiveMQ服务使用的端口号。通信协议选择OpenWire时端口缺省为61616;通信协议选择MQTT时端口缺省为1833。
用户名:必填,能够访问对应服务的用户名。
密码:必填,用户名对应的登录密码。
客户端ID:MQTT客户端的ClientID,通信协议选择MQTT时需配置该参数项。
SSL认证:选填项,目标服务是否开启了SSL,勾选为开启,不勾选为未开启。
ssl.truststore.location路径:开启SSL后该参数必填,上传SSL认证对应的truststore文件。
ssl.truststore.password密码:开启SSL后该参数必填,ssl.truststore.password属性值对应的值。
ssl.keystore.location文件路径:上传SSL认证对应的keystore文件。
ssl.keystore.password密码:ssl.keystore.password属性值对应的值。
描述信息:选填,自定义的描述信息。
属性列表:选填,服务的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,Cache数据库使用的端口号,缺省为1972。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
所属集群:配置ClickHouse集群名称。当ClickHouse为集群部署时,需配置该项。
IP地址或域名:必填,目标数据库所在的IP地址或域名。当ClickHouse为集群部署时,可填写多个集群节点IP地址,中间以英文逗号分隔。
端口号:必填,ClickHouse数据库使用的端口号,缺省为8123。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文件。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,DB2数据库使用的端口号,缺省为50000。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文件。
驱动:缺省填入,不可修改。
开启HA:是否开启DLH连接的HA模式,默认开启HA。
HA连接:选择“开启HA”后必填,需要填写DLH高可用JDBC URL连接串(从DataEngine集群中的DLH组件基本信息中拷贝)。
IP地址或域名:不开启HA时必填,目标数据库所在的IP地址或域名。
端口号:不开启HA时必填,DLH数据库使用的端口号,缺省为13000。
数据库名:不开启HA时必填,待连接的已存在的数据库名称。
登录用户:能够访问对应数据库的用户名。开启Kerberos后此配置项不显示。
密码:用户名对应的登录密码。开启Kerberos后此配置项不显示。
Kerberos认证:必填项,目标数据库所在集群是否开启Kerberos,勾选为开启,不勾选为未开启。
Kerberos用户:能够登录目标集群的Kerberos用户名或principal。用户需拥有访问DLH访问权限,否则可能连接成功后,无法获取到表。当开启Kerberos认证时显示此选项,否则不显示。
dlh principal:开启Kerberos时必填,填写集群环境中hive.service.keytab文件里包含用户的principal。
krb5.conf路径:开启Kerberos时必填,浏览选择本地准备好的DLH所属集群的krb5.conf文件。
keytab文件路径:开启Kerberos时必填,浏览选择本地准备好的对应Kerberos用户的keytab文件。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,DRDS数据库使用的端口号,缺省为3323。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
defaultFetchSize:默认为0,表示流式方式,以实现抽取大量数据时能够分批处理。需和useCursorFetch配合使用,useCursorFetch需设置为false。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,DataEngine MPP数据库使用的端口号,缺省为5433。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文件。
所属集群:非必填,该Elasticsearch数据源所属DataEngine大数据平台集群名称。
节点IP:必填,Elasticsearch服务所在的节点IP地址。
tcp端口:必填,Elasticsearch服务使用tcp客户端连接时所提供的端口号,缺省为9300。
http端口:必填,Elasticsearch服务对外提供http服务时使用的端口号,缺省为9200。
集群名:必填,Elasticsearch服务所在的集群名称。该名称对应大数据集群中Elasticsearch组件高级配置项“cluster.name”的值。
Kerberos认证:必填项,目标数据库所在集群是否开启Kerberos,勾选为开启,不勾选为未开启。
Kerberos用户:开启Kerberos时必填,能够登录目标集群的Kerberos用户名或principal。用户需拥有访问Elasticsearch的权限,否则可能连接成功后无法获取到数据。
krb5.conf路径:开启Kerberos时必填,浏览选择本地准备好的Elasticsearch所属集群的krb5.conf文件。
keytab文件路径:开启Kerberos时必填,浏览选择本地准备好的对应Kerberos用户的keytab文件。
登录用户:必填,未开启Kerberos时需配置该项,用户需拥有访问Elasticsearch的权限。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,FTP服务器使用的端口号,缺省为21。
用户名:必填,能够访问对应FTP服务器的用户名。
密码:必填,用户名对应的登录密码。
路径:必填,要连接的FTP文件路径。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文件。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,GBase数据库使用的端口号,缺省为5258。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文件。
连接URL:必填,格式化的数据库URL,指向数据库的地址。如PostgreSQL数据库URL:jdbc:postgresql://127.0.0.1/dig。
驱动:必填,待连接的数据库类型对应的JDBC驱动名称。如PostgreSQL数据库驱动:org.postgresql.Driver。
用户名:选填,能够访问对应数据库的用户名。
密码:选填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,Greenplum数据库使用的端口号,缺省为5432。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
是否采集元数据:必填,勾选后,如果系统中安装了数据运营平台,则会在添加数据源成功后,自动在数据运营平台的数据资产模块中创建相应的元数据采集任务并执行;否则不创建采集任务。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文件。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,HANA数据库使用的端口号,缺省为39015。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
所属集群:必填,HBase数据源所属DataEngine大数据平台集群名称。
Namespace:需要使用的HBase表的命名空间,如无特殊需要,采用默认值即可。
ZooKeeperHost:必填,HBase所在集群任意一个节点IP,即hbase-site配置中hbase.zookeeper.quorum的值。
ZooKeeperPort:必填,Zookeeper服务使用的端口号,缺省为2181。
HBase根ZNode:必填,hbase-site配置中zookeeper.znode.parent的值。
Kerberos认证:必填项,目标数据库所在集群是否开启Kerberos,勾选为开启,不勾选为未开启。
Kerberos用户:开启Kerberos时必填,能够登录目标集群的Kerberos用户名或principal。用户需拥有访问HBase的权限,否则可能连接成功后无法获取到表。
masterInfoPort:开启Kerberos时必填,hbase-site配置中hbase.master.info.port的值。
krb5.conf路径:开启Kerberos时必填,浏览选择本地准备好的HBase所属集群的krb5.conf文件。
keytab文件路径:开启Kerberos时必填,浏览选择本地准备好的对应Kerberos用户的keytab文件。
登录用户:当HBase集群未开启Kerberos时,需要配置登录用户名。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文件。
驱动:缺省填入,不可修改。
ZooKeeperHost:必填,HBase所在集群任意一个节点IP,即hbase-site配置中hbase.zookeeper.quorum的值。
ZooKeeperPort:必填,Zookeeper服务使用的端口号,缺省为2181。
HBase根ZNode:必填,hbase-site配置中zookeeper.znode.parent的值。
开启Kerberos:必填项,目标数据库所在集群是否开启Kerberos,勾选为开启,不勾选为未开启。
Kerberos用户:开启Kerberos时必填,能够登录目标集群的Kerberos用户名或principal。用户需拥有访问HBase的权限,否则可能连接成功后无法获取到表。
principal:开启Kerberos时必填项,HBase Master服务的Kerberos Principal,即自定义配置下hbase-site配置中hbase.master.kerberos.principal的值。
krb5:krb5.conf路径,开启Kerberos时必填,浏览选择本地准备好的HBase所属集群的krb5.conf文件。
keytab:keytab文件路径,开启Kerberos时必填,浏览选择本地准备好的对应Kerberos用户的keytab文件。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
所属集群:非必填,该HDFS数据源所属DataEngine大数据平台集群名称。
IP地址:必填,可以填写Active NameNode节点IP,或者填写Active NameNode和Standby NameNode节点IP(以逗号分隔),其中第二种方式为高可用模式。
端口号:必填,HDFS数据库使用的端口号,缺省为8020。
文件路径:必填,HDFS中的文件存储位置,文件路径必须以“/”开头。
文件系统:必填,HDFS中的文件系统名称,该名称为当前HDFS所在集群的虚拟IP的域名别名,或该名称对应大数据集群的HDFS组件的高级配置项“fs.defaultFS”的值,填写“fs.defaultFS”的值时需要去除文件模式“hdfs://”。
Kerberos认证:必填项,目标数据库所在集群是否开启Kerberos,勾选为开启,不勾选为未开启。
登录用户:必填项,开启Kerberos时填写能够登录目标集群的Kerberos用户或principal,未开启Kerberos时填写读取HDFS文件的用户,此用户需拥有读写对应文件的权限。
krb5.conf路径:开启Kerberos时必填,浏览选择本地准备好的HDFS所属集群的krb5.conf文件。
keytab文件路径:开启Kerberos时必填,浏览选择本地准备好的对应Kerberos用户的keytab文件。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文件。
IP地址或域名:必填,HTTP服务端所在的IP地址或域名。
端口号:必填,HTTP服务使用的端口号。
SSL认证:选填项,HTTP服务是否开启了SSL,勾选为开启,不勾选为未开启。
truststore文件:开启SSL后该参数必填,上传SSL认证对应的truststore文件。
truststore密码:开启SSL后该参数必填,truststore文件对应的密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,HTTP服务的扩展属性,关于详细属性请参考官方文件。
驱动:缺省填入,不可修改。
开启HA:是否开启Hive2 JDBC连接的HA模式,默认开启HA。
HA连接:选择“开启HA”后必填,需要填写Hive2高可用JDBC URL连接串(从DataEngine集群中的Hive组件基本信息中拷贝)。
IP地址或域名:不开启HA时必填,目标数据库所在的IP地址或域名。
端口号:不开启HA时必填,Hive2数据库使用的端口号,缺省为10000。
数据库名:必填,待连接的已存在的数据库名称。
登录用户:能够访问对应数据库的用户名。开启Kerberos后此配置项不显示。
密码:用户名对应的登录密码。开启Kerberos后此配置项不显示。
Kerberos认证:必填项,目标数据库所在集群是否开启Kerberos,勾选为开启,不勾选为未开启。
Kerberos用户:能够登录目标集群的Kerberos用户名或principal。用户需拥有访问Hive2访问权限,否则可能连接成功后,无法获取到表。当开启Kerberos认证时显示此选项,否则不显示。
hive principal:开启Kerberos并且不开启HA时必填,填写集群环境中hive.service.keytab文件里包含的hive用户的principal。
krb5.conf路径:开启Kerberos时必填,浏览选择本地准备好的Hive2所属集群的krb5.conf文件。
keytab文件路径:开启Kerberos时必填,浏览选择本地准备好的对应Kerberos用户的keytab文件。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
IP地址或域名:必填,目标服务所在的IP地址或域名。
端口号:必填,IBM MQ服务使用的端口号,缺省为1414。
队列管理器:必填,IBM MQ服务使用的队列管理器。
通道名称:必填,IBM MQ服务使用的通道名称。
用户名:必填,能够访问对应服务的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,服务的扩展属性,关于详细属性请参考官方文档。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,InfluxDB数据库使用的端口号,缺省为8086。
数据库名:必填,待连接的已存在的数据库名称。
用户名:非必填,如果数据库开启了认证,需要配置访问对应数据库的用户名。
密码:非必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
|
部分配置参数需根据Impala是否开启HA进行配置。Impala是否开启了HA可通过Impala配置项impala_ha_enabled进行判断。 · impala_ha_enabled参数为true,代表Impala开启了HA。 · impala_ha_enabled参数为false,代表Impala未开启HA。 |
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。如果开启了HA,域名需填写集群虚IP对应的域名,不开启HA,域名需填写Impala Daemon节点对应的域名。
端口号:Impala数据库使用的端口号,缺省为21050,开启HA时,缺省为21051。
数据库名:必填,待连接的已存在的数据库名称。
登录用户:能够访问对应数据库的用户名。开启Kerberos后此配置项不显示。
密码:用户名对应的登录密码。开启Kerberos后此配置项不显示。
Kerberos认证:必填项,目标数据库所在集群是否开启Kerberos,勾选为开启,不勾选为未开启。
Kerberos用户:能够登录目标集群的Kerberos用户名或principal。用户需拥有访问Impala访问权限,否则可能连接成功后,无法获取到表。当开启Kerberos认证时显示此选项,否则不显示。
Impala principal:
开启Kerberos,不开启HA:必填,填写集群环境中Impala.service.keytab文件里包含的Impala用户的principal。
开启Kerberos和HA:必填,取Impala.service.keytab文件里包含的Impala用户格式为impala/{impala_proxy_host_name}@{realm_name}的principal,将impala_proxy_host_name替换为集群虚IP的主机名。
krb5.conf路径:开启Kerberos时必填,浏览选择本地准备好的Impala所属集群的krb5.conf文件。
keytab文件路径:开启Kerberos时必填,浏览选择本地准备好的对应Kerberos用户的keytab文件。
路径:必填,要访问的Impala数据库文件目录。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
|
Kafka数据源所属DataEngine大数据集群每次开启SSL认证后,需重新下载SSL证书,同步更新到所需连接的Kafka数据源配置中。 |
所属集群:非必填,该Kafka数据源所属DataEngine大数据平台集群名称。
bootstrap服务IP:必填,指定将连接的Kafka服务器的IP地址。
bootstrap端口:必填,指定将连接的Kafka服务器使用的端口号,缺省为6667。
认证机制:必填,目标数据库所在集群的认证机制,可选Kerberos、PLAIN及无,不同认证机制所需配置的参数不同,请根据页面实际情况进行填写。
认证机制选择“Kerberos”时需配置如下参数:
Kerberos用户:能够登录目标集群的Kerberos用户名或principal。用户需拥有访问Kafka的权限,否则可能连接成功后无法获取到数据。
krb5.conf路径:浏览选择本地准备好的Kafka所属集群的krb5.conf文件。
keytab文件路径:浏览选择本地准备好的对应Kerberos用户的keytab文件。
认证机制选择“PLAIN”时需配置如下参数,相关参数的具体值可在大数据集群中Kafka组件的配置中进行查看:
登录用户:目标集群开启PLAIN认证后对应的登录用户。
密码:PLAIN认证登录用户对应的登录密码。
认证机制选择“无”时无需配置认证机制相关参数。
此外,也支持Kafka开启SCRM认证进行数据源配置。具体操作参考如下:
认证机制选“无”,然后通过在属性列表中添加如下扩展属性配置。
security.protocol:SASL_PLAINTEXT。
sasl.mechanism:SCRAM-SHA-512。
sasl.jaas.config:org.apache.kafka.common.security.scram.ScramLoginModule required username="<username>" password="<password>";,其中<username>和<password>需根据用户Kafka集群实际配置进行修改。
SSL认证:选填项,目标数据库所在集群是否开启了SSL,勾选为开启,不勾选为未开启。如下需要配置的SSL认证参数可从大数据集群中Kafka组件的配置中进行查看。
ssl.truststore.location路径:上传SSL认证对应的truststore文件。
ssl.keystore.location文件路径:上传SSL认证对应的keystore文件。
ssl.truststore.password密码:ssl.truststore.password属性值对应的值。
ssl.keystore.password密码:ssl.keystore.password属性值对应的值。
ssl.key.password密码:ssl.key.password属性值对应的值。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,Kingbase8数据库使用的端口号,缺省为54321。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,MPP数据库使用的端口号,缺省为5258。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。MPP为多节点集群时, ConnectionLoadBalance、BackupServerNode属性必配。参考示例如下:
ConnectionLoadBalance:配置值为1,开启负载均衡。
BackupServerNode:用户可选取MPP集群中的节点作为连接备用节点,用户可根据实际需要配置多个节点IP,值的形式如<ip1:port1>,<ip2:port2>,<…>,各ip之间用英文逗号分隔。
图-1 配置示例
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,MongoDB数据库使用的端口号,缺省为27017。
认证机制:非必填,MongoDB安全认证机制方式。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
是否使用所有副本集:区分单独的MongoDB节点或是副本集形式的MongoDB集群中的节点,若是副本集形式,勾选该选项后,当副本集中有节点挂掉时,使用副本集可以增加连接到MongoDB的成功率。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,MySQL数据库使用的端口号,缺省为3306。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
是否采集元数据:必填,勾选后,如果系统中安装了数据运营平台,则会在添加数据源成功后,自动在数据运营平台的数据资产模块中创建相应的元数据采集任务并执行;否则不创建采集任务。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,MySQL8数据库使用的端口号,缺省为3306。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
是否采集元数据:必填,勾选后,如果系统中安装了数据运营平台,则会在添加数据源成功后,自动在数据运营平台的数据资产模块中创建相应的元数据采集任务并执行;否则不创建采集任务。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。如果使用MySQL8类型数据源,因为驱动版本较高,连接稍低一些的数据库(这里特指5.5-5.7),虽然可以兼容,但必须指定 serverTimezone。
IP:必填,NFS服务端节点IP。
Port:必填,NFS服务端端口号,默认为2049。
文件路径:必填,NFS服务端对外共享的文件路径。
描述信息:选填,自定义的描述信息。
属性列表:选填,NFS的扩展属性,用户可根据实际需要填写,关于详细属性请参考官方文档。
终端节点:必填,ONEStor终端节点所在的IP地址或域名。
访问秘钥:必填,访问ONEStor的秘钥。
私有访问秘钥:必填,访问ONEStor的私有访问秘钥。
Https认证:当ONEStor开启了Https认证时,需开启该配置项。
描述信息:选填,自定义的描述信息。
属性列表:选填,ONEStor的扩展属性,用户可根据实际需要填写,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。若目标数据库为RAC集群模式,为提高连接可靠性,建议配置多个集群节点的虚IP,虚IP之间以英文逗号分隔,配置的虚IP的数量越多,可靠性越强。
端口号:必填,Oracle数据库使用的端口号,缺省为1521。
SID:数据库SID,若填写服务名,此项可不填。
服务名:数据库服务名,若填写SID,此项可不填。
pdb名字:Oracle 12c及以上版本需配置该项,配置Oracle数据库pdb名字。PDB全称为Pluggable Database,即Oracle上的可插拔数据库。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
是否采集元数据:必填,勾选后,如果系统中安装了数据运营平台,则会在添加数据源成功后,自动在数据运营平台的数据资产模块中创建相应的元数据采集任务并执行;否则不创建采集任务。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
rac_url:非官方连接属性,本产品针对RAC集群模式连接的特有参数。可使用rac_url参数指定完整的JDBC连接url。配置该参数后,基础属性中除用户名密码之外的其他参数将失效。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,PostGIS数据库使用的端口号,缺省为5432。
模式:必填,目标数据库中存在的模式名称。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,PostgreSQL数据库使用的端口号,缺省为5432。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
是否采集元数据:必填,勾选后,如果系统中安装了数据运营平台,则会在添加数据源成功后,自动在数据运营平台的数据资产模块中创建相应的元数据采集任务并执行;否则不创建采集任务。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。当填写IP地址时,填写Presto集群中任一在Coordinator模式下的节点IP地址即可。
端口号:必填,Presto数据库使用的端口号,缺省为18089。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
Kerberos认证:必填项,目标数据库所在集群是否开启Kerberos,勾选为开启,不勾选为未开启。
Kerberos用户:能够登录目标集群的Kerberos用户名。用户需拥有访问Presto访问权限,否则可能连接成功后,无法获取到表。当开启Kerberos认证时显示此选项,否则不显示。
presto principal:开启Kerberos时必填,填写Presto用户的principal,填写样式为< Kerberos用户名>@<Presto集群名>.COM,如[email protected]。
krb5.conf路径:开启Kerberos时必填,浏览选择本地准备好的Spark所属集群的krb5.conf文件。
keytab文件路径:开启Kerberos时必填,浏览选择本地准备好的对应Kerberos用户的keytab文件。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
IP地址或域名:必填,RabbitMQ服务所在的IP地址或域名。
端口号:必填,RabbitMQ服务使用的端口号,缺省为5672。
virtualHost(虚拟主机):必填,填写需要连接的虚拟主机(vHost,RabbitMQ服务器创建虚拟的消息服务器)。
用户名:必填,能够访问对应服务的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,服务的扩展属性,关于详细属性请参考官方文档。
所属集群:非必填,该Redis数据源所属DataEngine大数据平台集群名称。
运行模式:必填,支持两种模式,分别是单机模式standalone和集群模式cluster。
redis地址:必填,Redis服务所在的地址,包括IP和端口号;可填入多个地址,多个地址之间用逗号隔开。
数据库:选填,用于指定连接哪一个数据库,缺省为0。Redis中可能有多个数据库,缺省有16个(此时分别对应[0-15]的正整数),若填入非法数据,则使用默认的数据库。
密码:选填,配置Redis服务连接时的认证密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
IP地址:必填,RocketMQ服务所在的IP地址,多个IP地址请用英文逗号相隔。
端口号:必填,RocketMQ服务使用的端口号,缺省为9876。
开启ACL:是否开启了ACL(AccessControlList,访问控制列表,即权限管理),默认关闭。
AccessKey:开启ACL时必填,能够访问对应服务的用户名。
SecretKey:开启ACL时必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,服务的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,SQL Server(Native)数据库使用的端口号,缺省为1433。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,SQL Server数据库使用的端口号,缺省为1433。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
IP地址或域名:必填,目标服务器所在的IP地址或域名。
端口号:必填,SSH服务使用的端口号,缺省为22。
用户名:必填,能够访问对应服务器的用户名。
密码:必填,用户名对应的登录密码。
路径:选填,要连接的SSH文件路径,默认访问目标服务器的根目录。
描述信息:选填,自定义的描述信息。
属性列表:选填,SSH的扩展属性,关于详细属性请参考官方文件。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,SeaSQL MPP数据库使用的端口号,缺省为5434。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
开启HA:是否开启Spark JDBC连接的HA模式,默认开启HA。
HA连接:选择“开启HA”后必填,需要填写Spark高可用JDBC URL连接串(从DataEngine集群中的HIive组件基本信息中拷贝JDBC URL,然后将URL最后的zooKeeperNamespace=hiveserver2改为zooKeeperNamespace=spark2_server)。
数据库名:必填,待连接的已存在的数据库名称。
IP地址:未开启HA时需配置该项,目标数据库所在的IP地址或域名。
端口号:未开启HA时需配置该项,Spark数据库使用的端口号,缺省为10016。
Kerberos认证:必填项,目标数据库所在集群是否开启Kerberos,勾选为开启,不勾选为未开启。
登录用户:能够访问对应数据库的用户名。开启Kerberos后此配置项不显示。
密码:用户名对应的登录密码。开启Kerberos后此配置项不显示。
Kerberos用户:能够登录目标集群的Kerberos用户名或principal。用户需拥有访问Spark访问权限,否则可能连接成功后,无法获取到表。当开启Kerberos认证时显示此选项,否则不显示。
Spark principal:开启Kerberos时必填,填写集群环境中spark.service.keytab文件里包含的Spark用户的principal。
krb5.conf路径:开启Kerberos时必填,浏览选择本地准备好的Spark所属集群的krb5.conf文件。
keytab文件路径:开启Kerberos时必填,浏览选择本地准备好的对应Kerberos用户的keytab文件。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,UXDB数据库使用的端口号,缺省为5432。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
驱动:缺省填入,不可修改。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,Vertica数据库使用的端口号,缺省为5433。
数据库名:必填,待连接的已存在的数据库名称。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
是否采集元数据:必填,勾选后,如果系统中安装了数据运营平台,则会在添加数据源成功后,自动在数据运营平台的数据资产模块中创建相应的元数据采集任务并执行;否则不创建采集任务。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文档。
IP地址或域名:必填,目标数据库所在的IP地址或域名。
端口号:必填,达梦数据库使用的端口号,缺省为5236。
用户名:必填,能够访问对应数据库的用户名。
密码:必填,用户名对应的登录密码。
描述信息:选填,自定义的描述信息。
属性列表:选填,数据源的扩展属性,关于详细属性请参考官方文件。