表管理常见问题

1.      新建数据表时配置了质量规则,在保存时系统提示类似“更新质量规则失败”的信息

新建数据表时,支持针对标准的字段,直接设置质量检测指标,并支持针对指标设置过滤条件。在该过程中,必须保证手动设置的过滤条件(即输入的SQL条件语句)必须符合要求:

参数解释:

2.      Kafka类型数据源中新建message类型的表时,如何编辑json语句

Kafka类型数据源中新建message类型的表时,其表结构设计输入框是一个标准的Json编辑器。

编辑器中给出了示例,其中冒号左侧的key是字段名,冒号右侧的value是字段类型。需要注意:

此外,还支持复合类型对象和数组,其中当数组元素类型为基本类型elementType时,写法为:

"arrayName":"array[elementType]"

示例如下:

{

  "key1": "valuestring",

  "map1": {

    "map2": {

      "m2k1": "string"

    },

    "m1k1": "string"

  },

  "array1": "array[string]",

  "array2": [

    {

      "a2k1": "string",

      "a2k2": "boolean"

    }

  ]

}

3.      HiveDLH类型数据源中创建存储类型为Hudi的数据表时,有哪些注意事项

表-1 涉及Spark操作Hudi表时Hudi表字段类型要求

Spark中的字段类型

Hudi表中的字段类型

boolean

boolean

byte

int

short

int

integer

int

long

long

date

date

timestamp

timestamp(spark2.4.3及以上版本支持)

float

float

double

double

string

string

decimal

decimal

binary

bytes

array

array

map

map

struct

struct

char

不支持

varchar

不支持

numeric

不支持

null

不支持

object

不支持

 

4.      当对接的大数据集群开启安全认证时,新创建租户无法在表管理创建Kafka类型表

对于新创建的租户而言,由于大数据集群角色赋权不支持为kerberos普通用户配置topic管理权限(创建、删除),因此该租户使用kafka类型表时,需要先使用能够正确授权的用户创建好kafka类型表,然后通过表管理授权的方式授权给新创建的租户。

5.      操作kafka类型表,使用的外部kafka集群替代默认的kafka数据源

使用该外部的kafka数据源操作topic,需要在当前工作空间配置的集群适配器中配置/etc/hosts信息,具体步骤如下:

  1. 查找当前工作空间配置的默认集群名称,例如bdc

  1. 在运营平台所有部署节点的后台上,搜索该名称命名的容器:

docker ps | grep bdc

集群适配器容器全名称类似为:dataoperation-hdp-bdc-12345

  1. 在运营平台所有部署节点后台上,进入到搜索到的容器中:

docker exec -it {容器全名称} bash

  1. 打开/etc/hosts文件,将外部kafka的节点信息加入其中。

  1. 添加完成后,保存并退出。

之后即可在表管理中正常访问该外部kafka集群。

6.      通过SQL语句创建Vertica数据表,在表管理中查看表中字段,部分字段为空

通过SQL建表功能在Vertica数据源中创建表时,个别Vertica表偶现在表管理中展示的字段为空,实际在Vertica数据库中对应的物理表正常。此时,通过将业务库中表do_data_asset.md_table_metalable字段值改为1然后再次采集元数据,即可解决。

7.      E5202版本升级到E5301版本后,表管理表列表可以显示主题和分层,表详情和编辑表页面不显示

版本升级后,需要手动将不显示的主题共享,并将不显示的分层迁移至适当的分层归属下面然后共享。

8.      SQL Server 2012作为数据源时,在表管理中报错

在系统管理节点(执行系统服务部署操作的服务器)后台中,编辑数据资产的重启脚本(service-startup.sh),去掉“修改java.security配置文件,放开TLSv1算法,默认关闭”下面一行的注释并保存,然后执行restart_dataasset.sh脚本重启服务。

注意:打开TLSv1可能存在安全漏洞,请谨慎操作。

9.      新版本中部分类型数据源下的表不再支持共享或注册离线表等操作,该如何处理

E5302版本开始,HBaseElasticsearchKafkaHiveDLHSTDB类型的表已不再支持共享,E5301及之前版本中已共享的表在升级到E5302之后,如果需要继续在其他工作空间中使用,请保证其他工作空间分配的大数据集群与表所在的工作空间分配的大数据集群一致。

E5302版本开始,HBaseElasticsearch类型的表已不再支持注册/取消离线表操作,E5301及之前版本注册的离线表会在升级到E5302之后自动取消离线表,无需其他处理。

10.   表管理屏蔽了哪些数据源下的哪些系统模式

表管理功能中,在部分数据源下创建表时,需要选择模式。本系统对部分数据源的系统模式进行了屏蔽,不支持在新建表时选择这些系统模式: