在可管理表页面的表列表中,提供了对不同主题和分层下表的操作。
|
· 所有用户均可对齐所属组织下各工作空间的表执行编辑、删除、注册离线、取消注册离线等操作。如果表数据被共享给其他工作空间,则在对应工作空间下可以使用该表。 · Hive数据源以两个或以上符号作为字段分隔符不支持添加字段。 · 被同步任务所使用的表,请勿修改表结构。如需修改,建议先取消对表的使用,再进行修改。 |
表操作包括:
表管理中的数据表支持编辑操作,包括在表管理中创建的数据表、通过元数据采集从数据源中识别出的数据表。
|
如果数据表已被注册为离线表,则编辑该表时将同时更新离线表。更新离线表用于在源表结构被修改时更新离线表注册信息,请根据该表在离线分析中的使用情况,确认是否需要更新离线表。 Vertica9类型数据源中的数据表不支持添加字段描述。因此,对于通过元数据采集从Vertica9类型数据源中识别出的数据表,通过编辑表功能为表中字段添加字段描述后,这些描述信息只会记录在业务库中。如果再次对该Vertica9数据源进行元数据采集,则又会将这些字段描述置空。 |
编辑表的步骤如下:
在表管理页面的表列表中,单击待编辑表对应操作列中的<编辑>按钮,进入编辑表页面。
如该表已被注册为离线表,且在业务流程中被使用,则将展示该表的使用信息(该使用信息以调度中心保存的数据为准),用户需确认后方可进行下一步操作。
编辑表的配置参数,包括基本属性、物理模型设计和表结构设计中的参数,可修改参数的编辑规则与新增表时一致,请参见新建表。
目前仅Greenplum,Hive,DLH,Vertica,MySQL,Oracle,PostgreSQL,DRDS,SeaSQL MPP,SQL Server,ClickHouse,达梦支持字段删除和修改字段(字段名、字段类型、字段备注),Kafka表的message类型可以随意修改表结构。
编辑完成后,单击<确定>按钮,表编辑完成。
|
删除表操作不可逆,一旦执行,不仅会删除表的元数据信息,同时也会删除对应的物理表。表会被销毁,表中数据不可恢复,表也无法继续使用。该操作可能会造成生产数据丢失,风险极高,请谨慎执行。 如该操作不可避免,请务必确认表中无数据或数据已不再需要,且无作业(包括已运行的作业)或用户使用该表,待充分确认无影响后再删除表。 |
在表管理页面的表列表中,单击待删除表对应操作列中的<删除>按钮,弹出删除表确认对话框。根据表是否被使用,可执行的操作不同:
如果该表被已经被上架、被注册、被数据同步作业引用、被静态脱敏等任务使用,<确定>按钮为灰色,不可操作。此时可以单击<使用详情>按钮,在弹出的表使用详情窗口中查看使用当前表的服务信息,包括服务名和备注说明信息。
如果该表没有被注册使用,则可执行如下步骤删除表:
输入字符串“DELETE”(不区分大小写),确认执行删除。
单击<确定>按钮。
注册离线表的过程为在Hive数据源中创建一个与源表对应的外部表。注册离线表成功后,可以被[调度中心]中业务流程的SparkSQL节点使用,也可以在[SQL调试]选择SparkSQL执行引擎时作为数据源表使用。
支持注册离线表的数据源类型有:MySQL、DRDS、PostgreSQL、达梦、Greenplum、Oracle、Vertica。
Kafka数据源中的表不支持注册为离线表。
Oracle数据源中的表包含number(p,s)且s>p时,不支持注册离线表。
对于部分数据库,如果表中包含特定的数据类型,则不能注册为离线表,详见下表。
|
数据源表类型 |
注册离线表时不支持的数据类型 |
|
Oracle |
BFILE |
|
Vertica |
UUID |
在表管理页面的表列表中,单击待注册的表对应操作列中的<更多>按钮,并在下拉菜单中选择[离线表注册]菜单项,弹出离线表注册窗口。
填写离线表名并配置schema参数。schema参数的值可以从下拉框中选择,也可以通过后方的<新建目录>按钮创建新的schema并选择。参数的含义为:
注册表名:Hive数据源中离线表的名称。
schema:Hive数据源中数据库的名称。
单击<确定>按钮,即可将该表注册成离线表。在业务流程的SparkSQL节点等SparkSQL相关功能中引用该离线表时,需使用步骤2中配置的“'schema'.'注册表名'”为格式指代该表。
对于已注册为离线表的数据表,如果需要取消注册为离线表,单击待取消注册的表对应操作列中的<更多>按钮,并在下拉菜单中选择[取消离线表注册]菜单项,即可将该表取消注册离线表。
|
· Kafka类型的表不支持清空表操作。 · 清空Hive数据源和DLH数据源中存储方式为Hudi的数据表,只能清理表所在HDFS路径下的部分文件,若要再次写入数据,需要手动删除该HDFS路径下残留的文件。 · 清空表操作会对表的物理表进行数据清除,且数据不可恢复。该操作可能会造成生产数据丢失,风险极高,请谨慎执行。如该操作不可避免,请务必确认表中数据已不再需要,且无作业(包括已运行的作业)或用户使用该表,待充分确认无影响后再清空表。 |
在表管理页面的表列表中,单击待发布的表对应操作列中的<更多>按钮,并在下拉菜单中选择[发布表]菜单项,弹出清空表对话框。
输入字符串“CLEAN”(不区分大小写),确认执行清空。
单击<确定>按钮,执行清空表操作。
对于需要关注的表,可以将其加入订阅,以方便查看。
在表管理页面的表列表中,勾选待订阅表左侧的复选框。
单击列表上方的<批量操作>按钮,在弹出菜单中选择[批量订阅]菜单项,即可订阅所选的表。
对于已订阅的表,可以在已订阅表中查看,详细说明请参见管理已订阅表。
对于不在需要保留元数据的数据表,可以对其元数据进行删除。
在表管理页面的表列表中,勾选待删除元数据表左侧的复选框。
单击列表上方的<批量操作>按钮,在弹出菜单中选择[删除元数据]菜单项,弹出确认窗口。
单击<确定>按钮,操作完成。
在表管理页面的列表中,勾选待导出的表左侧的复选框。
单击列表右上方的<导出>,即可提交导出表操作。导出的表需要在导出记录中下载,操作请参见查看导出记录。
在表管理页面中,单击页面右上角的<更多菜单>按钮,选择[全部导出]菜单项即可提交导出表操作。导出的表需要在导出记录中下载,操作请参见查看导出记录。
在表管理页面中,单击页面右上角的<更多菜单>按钮,选择[导出记录]菜单项,弹出导出记录窗口。
窗口中以列表的形式展示了导出操作记录,表中包含如下字段:
序号:导出操作在当前列表中的序号。
名称:导出操作的名称,格式为:导出操作的创建者-YYYYMMDDHHMMSS。
创建者:提交导出操作的用户。
状态:导出的当前状态。
提交时间:导出操作的提交时间。
结束时间:导出任务的完成时间。
操作:对于成功的导出操作,提供了导出对象的下载链接,单击链接,即可下载该导出操作所导出的对象。对于失败的导出操作,提供了失败原因查看链接,单击链接,即可在弹出窗口中查看导入失败的具体原因。