维护表

在可管理表页面的表列表中,提供了对不同主题和分层下表的操作。

·          所有用户均可对齐所属组织下各工作空间的表执行编辑、删除、注册离线、取消注册离线等操作。如果表数据被共享给其他工作空间,则在对应工作空间下可以使用该表。

·          Hive数据源以两个或以上符号作为字段分隔符不支持添加字段。

·          被同步任务所使用的表,请勿修改表结构。如需修改,建议先取消对表的使用,再进行修改。

 

表操作包括:

编辑表

表管理中的数据表支持编辑操作,包括在表管理中创建的数据表、通过元数据采集从数据源中识别出的数据表。

如果数据表已被注册为离线表,则编辑该表时将同时更新离线表。更新离线表用于在源表结构被修改时更新离线表注册信息,请根据该表在离线分析中的使用情况,确认是否需要更新离线表。

Vertica9类型数据源中的数据表不支持添加字段描述。因此,对于通过元数据采集从Vertica9类型数据源中识别出的数据表,通过编辑表功能为表中字段添加字段描述后,这些描述信息只会记录在业务库中。如果再次对该Vertica9数据源进行元数据采集,则又会将这些字段描述置空。

 

编辑表的步骤如下:

  1. 在表管理页面的表列表中,单击待编辑表对应操作列中的<编辑>按钮,进入编辑表页面。

如该表已被注册为离线表,且在业务流程中被使用,则将展示该表的使用信息(该使用信息以调度中心保存的数据为准),用户需确认后方可进行下一步操作。

  1. 编辑表的配置参数,包括基本属性、物理模型设计和表结构设计中的参数,可修改参数的编辑规则与新增表时一致,请参见新建表

目前仅GreenplumHiveDLHVerticaMySQLOraclePostgreSQLDRDSSeaSQL MPPSQL ServerClickHouse,达梦支持字段删除和修改字段(字段名、字段类型、字段备注),Kafka表的message类型可以随意修改表结构。

  1. 编辑完成后,单击<确定>按钮,表编辑完成。

删除表

删除表操作不可逆,一旦执行,不仅会删除表的元数据信息,同时也会删除对应的物理表。表会被销毁,表中数据不可恢复,表也无法继续使用。该操作可能会造成生产数据丢失,风险极高,请谨慎执行。

如该操作不可避免,请务必确认表中无数据或数据已不再需要,且无作业(包括已运行的作业)或用户使用该表,待充分确认无影响后再删除表。

 

在表管理页面的表列表中,单击待删除表对应操作列中的<删除>按钮,弹出删除表确认对话框。根据表是否被使用,可执行的操作不同:

  1. 输入字符串“DELETE”(不区分大小写),确认执行删除。

  1. 单击<确定>按钮。

注册/取消注册离线表

注册离线表的过程为在Hive数据源中创建一个与源表对应的外部表。注册离线表成功后,可以被[调度中心]中业务流程的SparkSQL节点使用,也可以在[SQL调试]选择SparkSQL执行引擎时作为数据源表使用。

支持注册离线表的数据源类型有:MySQLDRDSPostgreSQL、达梦、GreenplumOracleVertica

表-1 不支持注册为离线表的数据类型

数据源表类型

注册离线表时不支持的数据类型

Oracle

BFILE

Vertica

UUID

 

  1. 在表管理页面的表列表中,单击待注册的表对应操作列中的<更多>按钮,并在下拉菜单中选择[离线表注册]菜单项,弹出离线表注册窗口。

  1. 填写离线表名并配置schema参数。schema参数的值可以从下拉框中选择,也可以通过后方的<新建目录>按钮创建新的schema并选择。参数的含义为:

  1. 单击<确定>按钮,即可将该表注册成离线表。在业务流程的SparkSQL节点等SparkSQL相关功能中引用该离线表时,需使用步骤2中配置的“'schema'.'注册表名'”为格式指代该表。

对于已注册为离线表的数据表,如果需要取消注册为离线表,单击待取消注册的表对应操作列中的<更多>按钮,并在下拉菜单中选择[取消离线表注册]菜单项,即可将该表取消注册离线表。

清空表

·          Kafka类型的表不支持清空表操作。

·          清空Hive数据源和DLH数据源中存储方式为Hudi的数据表,只能清理表所在HDFS路径下的部分文件,若要再次写入数据,需要手动删除该HDFS路径下残留的文件。

·          清空表操作会对表的物理表进行数据清除,且数据不可恢复。该操作可能会造成生产数据丢失,风险极高,请谨慎执行。如该操作不可避免,请务必确认表中数据已不再需要,且无作业(包括已运行的作业)或用户使用该表,待充分确认无影响后再清空表。

 

  1. 在表管理页面的表列表中,单击待发布的表对应操作列中的<更多>按钮,并在下拉菜单中选择[发布表]菜单项,弹出清空表对话框。

  1. 输入字符串“CLEAN”(不区分大小写),确认执行清空。

  1. 单击<确定>按钮,执行清空表操作。

批量订阅表

对于需要关注的表,可以将其加入订阅,以方便查看。

  1. 在表管理页面的表列表中,勾选待订阅表左侧的复选框。

  1. 单击列表上方的<批量操作>按钮,在弹出菜单中选择[批量订阅]菜单项,即可订阅所选的表。

对于已订阅的表,可以在已订阅表中查看,详细说明请参见管理已订阅表

批量删除元数据

对于不在需要保留元数据的数据表,可以对其元数据进行删除。

  1. 在表管理页面的表列表中,勾选待删除元数据表左侧的复选框。

  1. 单击列表上方的<批量操作>按钮,在弹出菜单中选择[删除元数据]菜单项,弹出确认窗口。

  1. 单击<确定>按钮,操作完成。

导出表

  1. 在表管理页面的列表中,勾选待导出的表左侧的复选框。

  1. 单击列表右上方的<导出>,即可提交导出表操作。导出的表需要在导出记录中下载,操作请参见查看导出记录

全部导出

在表管理页面中,单击页面右上角的<更多菜单>按钮,选择[全部导出]菜单项即可提交导出表操作。导出的表需要在导出记录中下载,操作请参见查看导出记录

查看导出记录

  1. 在表管理页面中,单击页面右上角的<更多菜单>按钮,选择[导出记录]菜单项,弹出导出记录窗口。

  1. 窗口中以列表的形式展示了导出操作记录,表中包含如下字段:

特殊表操作