新增/编辑数据源

说明: D:\02-素材\png图标素材\零售图标套装系列\Iconbase图标系列\TupperWare\baloom.png

  • 数据源名称用于唯一标识数据源,在系统中不可重复使用。

  • 编辑数据源时,数据源类型和驱动不可修改。

  • 编辑数据源后,可能带来的风险包括数据集成中使用该数据源的任务运行失败或运行结果与期望不符,仅建议在必须修改数据源的情况下执行本操作。

  • 使用涉及到Kerberos认证的数据源时,配置登录用户时,需填写相应keytab文件的principal名称(可使用klist命令查看)。

  • 若要使用非内部大数据集群创建相关数据源,需要往绿洲平台任一节点的/data/software/base/glusterfs/oasis-data-pvc/oip/oip-platform-dig-data-pvc/sync_hosts文件中追加外部集群的hosts信息,追加后1分钟后生效,即可使用。

  • 在新增非内部大数据集群数据源时,若相应数据源开启了Kerberos认证,且集群数据源系统时间与绿洲平台相差超过5分钟,将会导致新增数据源失败。调整两个系统时间一致,即可解决该问题。

·          当用户使用SQL Server数据源时,可选择SQL ServerSQL Server(Native)SQL Server使用的是jTDS驱动,SQL Server(Native)使用的是mssql-jdbc驱动。两种驱动的主要区别如下,用户可根据实际情况进行选择。1、支持的SQL Server版本:jTDS驱动支持SQL Server 2008及以下版本,而mssql-jdbc驱动支持SQL Server 2008及以上版本。2、性能:mssql-jdbc驱动比jTDS驱动更快,尤其是在处理大量数据时。mssql-jdbc驱动使用了更先进的协议和技术,如Bulk Copy APIAlways Encrypted3、兼容性:mssql-jdbc驱动与Java 8及以上版本兼容,而jTDS驱动的兼容性较差,可能需要进行一些额外的配置。4、功能:mssql-jdbc驱动支持一些新的功能,如JSON数据类型和查询优化器,而jTDS驱动不支持这些功能。5、维护:mssql-jdbc驱动是由Microsoft官方维护的,而jTDS驱动已经停止更新和维护。

 

该功能用于新增/编辑数据源。新增数据源时,不同的数据源类型,需要的配置不同。

  1. 在工程配置模块下,选择左侧导航树中的[数据源管理],进入数据源管理页面。

  1. 在顶部导航栏右上角选择工作空间,页面显示对应工作空间下的数据源信息。

  1. 数据源管理页面,单击<新增>按钮,弹出新增数据源窗口,根据实际情况,配置数据源相关信息。

  1. 完成后单击<测试连接>按钮,可测试数据源连通性。页面会显示进度条,点击进度条中的<中断测试>按钮,可中断数据源连接,提示连接成功后可单击<提交>按钮,即可完成新增/编辑数据源。提示连接错误后,可查看错误原因并进行修改。

  1. 新增的数据源展示在数据源列表中,用户可根据需要单击<编辑>按钮对数据源配置信息进行修改。

数据源类型支持的数据库版本

当前系统中部分数据源类型支持的数据库版本及使用的驱动包版本(部分内容待后续完善):

数据源类型

支持的数据源版本

使用驱动包的版本

MySQL

5.65.75.8

5.1.41

MySQL8

8.0.x

8.0.17

Oracle

10g11g12c18c19c

12.2.0.1

DB2

11.5

4

UXDB

2.12.1.1.4

4.2

Kingbase8

V8_ES

8.2.0

PostgreSQL

9.61011121314

42.2.6

SQL Server

200420052008r220122014

jtds-1.3.1

Greenplum

5.0.0

42.2.6

MPP

 

8.3.81.51

PostGIS

 

42.2.6

SeaSQL MPP

2.0.12.0.3

42.2.6

HANA

HANA1.0HANA2.0

2.3.53

Teradata

 

15.10.00.23

Vertica

9.111.0.0.2

9.0.1

达梦

8

17

GBase

8a

8.3.81.53-build52.8-bin

DRDS

2.5.52.5.6

5.1.41MySQL的驱动)

 

数据源参数说明

在新增数据源时,需要选择数据源类型,并配置不同类型数据源对应的参数。当前支持的数据源类型包括:

 

1.      ActiveMQ配置参数

2.      Cache配置参数

3.      ClickHouse配置参数

4.      DB2配置参数

5.      DLH配置参数

6.      DRDS配置参数

7.      DataEngine MPP配置参数

8.      Elasticsearch配置参数

9.      FTP配置参数

10.   GBase配置参数

11.   Generic JDBC配置参数

12.   Greenplum配置参数

13.   HANA配置参数

14.   HBase配置参数

15.   HBase Phoenix配置参数

16.   HDFS配置参数

17.   HTTP配置参数

18.   Hive2(Embedded Http)配置参数

19.   IBM MQ配置参数

20.   InfluxDB配置参数

21.   Impala配置参数

部分配置参数需根据Impala是否开启HA进行配置。Impala是否开启了HA可通过Impala配置项impala_ha_enabled进行判断。

·          impala_ha_enabled参数为true,代表Impala开启了HA

·          impala_ha_enabled参数为false,代表Impala未开启HA

 

22.   Kafka配置参数

说明: D:\02-素材\png图标素材\零售图标套装系列\Iconbase图标系列\TupperWare\baloom.png

Kafka数据源所属DataEngine大数据集群每次开启SSL认证后,需重新下载SSL证书,同步更新到所需连接的Kafka数据源配置中。

 

认证机制选“无”,然后通过在属性列表中添加如下扩展属性配置。

23.   Kingbase8配置参数

24.   MPP配置参数

图-1 配置示例

 

25.   MongoDB配置参数

26.   MySQL配置参数(适用于MySQL5.7及以下版本数据库)

27.   MySQL8配置参数(适用于MySQL5.5及以上版本数据库,5.5-5.7需要指定serverTimezone连接参数)

28.   NFS配置参数

29.   ONEStor配置参数

30.   Oracle配置参数

31.   PostGIS配置参数

32.   PostgreSQL配置参数

33.   Presto配置参数

34.   RabbitMQ配置参数

35.   Redis配置参数

36.   RocketMQ配置参数

37.   SQL ServerNative)配置参数

38.   SQL Server配置参数

39.   SSH配置参数

40.   SeaSQL MPP配置参数

41.   Spark配置参数

42.   Teradata配置参数

43.   UXDB配置参数

44.   Vertica配置参数

45.   达梦配置参数