数据同步操作

数据同步作业支持新建、编辑等操作：

 

新建数据同步作业

“全部”目录下不可新建数据同步作业。

 

  1. 在作业管理页面“数据同步”页签中，执行下述操作之一，弹出新建作业窗口：

  1. 在窗口中，配置作业参数，包括：

  1. 单击<确定>按钮，新建数据同步作业完成。

数据同步作业完成后，还需要根据情况对作业进行初始化，详细操作请参见初始化数据同步作业。

 

初始化数据同步作业

数据同步作业需要在创建完成后执行初始化作业操作。

  1. 在页面右侧的列表中，单击待初始化作业对应操作列中的<详情>按钮，进入数据同步作业页签。

  1. 在页签的操作提示区域中，单击“初始化作业”链接，即可完成对作业的初始化。

  1. 初始化完成后，还需继续配置作业参数。

表-1 数据源表组件配置参数介绍

配置

说明

同步任务配置

该区域涉及配置如下参数：

  • 作业名称：新建数据同步作业时配置的名称，不可修改

  • 目的数据源：根据新建作业选择的输出源类型确定数据源的类型，并选择数据源列表中的数据源

  • 目的表名：选择数据源下的表

  • 并行度：配置作业的任务运行并行度，最大值为输入表的分区数，数值越大，所占资源越多

字段映射配置

该区域用于配置映射和函数。

  • 映射类型：配置映射的类型

  • 同行映射：将相同行的字段进行映射

  • 同名映射：将相同名称的字段进行映射

  • 自定义映射：用户自行定义映射

  • 当前映射：在列表中提供了如下信息和操作：

  • 目标字段：映射的目标字段，不可修改

  • 字段类型：目标字段的类型，不可修改

  • 源类型：配置源的类型。如果选择字段，则需继续选择源字段；如果选择函数，则需继续选择函数

  • 源字段/源字段类型：选择源字段，字段类型会自动出现

  • 函数/函数类型：单击<选择函数>按钮，弹出选择函数窗口，选择函数并配置相应参数后，单击<确定>按钮即可。此处选择的函数为[函数管理]中Switch页签的内置函数

  • 是否启用：配置目标字段是否启用映射，启用后才可为目标字段配置源类型、源字段/函数及源字段/函数类型

 

使用日期函数的一些常用时间格式，如："yyyy-MM-dd HH:mm:ss.SSS"、"yyyy/MM/dd HH:mm:ss.SSS"、"MM/dd/yyyy HH:mm:ss.SSS"、"yyyy-MM-dd HH:mm:ss"、"yyyy/MM/dd HH:mm:ss"、"MM/dd/yyyy HH:mm:ss"、"yyyy-MM-dd HH:mm"、"yyyy/MM/dd HH:mm"、"MM/dd/yyyy HH:mm"、"yyyy-MM-dd HH"、"yyyy/MM/dd HH","MM/dd/yyyy HH"、"yyyy-MM-dd"、"yyyy/MM/dd"、"MM/dd/yyyy"、"yyyyMMdd"、"yyyy-MM-dd:HH-mm-ss.SSS"。

对于日志类型任务，在以MySQL数据库为目的端时，如果遇到float等浮点型类型的数据，由于MySQL数据库本身的问题，会存在精度丢失问题，建议使用decimal高精度的浮点数据类型。

如果需要使用float类型，可能会导致在转换update和delete类型的日志数据时不生效。针对该问题，可以通过如下方法解决：

·          数据来源中所有该float浮点型数据的精度保持一致。

·          将MySQL数据库中float类型的精度设置为与实际数据使用的浮点精度一致。

 

  1. 单击<确定>按钮，数据同步作业初始化完成。

编辑数据同步作业

  1. 在作业管理页面“数据同步”页签中，选择待查看作业所属的目录，并在右侧列表中，单击作业对应操作列中的<详情>按钮，进入该同步作业页签。

  1. 在同步作业页签中，单击<编辑>按钮。

  1. 参考初始化数据同步作业对数据同步任务进行编辑，其中：

  1. 单击<确定>按钮，更新同步任务。

任务类型有限制，如果任务类型是FILE，则没有<编辑>按钮。

 

查看数据同步作业

  1. 在作业管理页面“数据同步”页签中，选择待查看作业所属的目录，并在右侧列表中，单击作业对应操作列中的<详情>按钮，进入该同步作业页签。

  1. 窗口中各参数的说明请参见新建数据同步作业。

删除数据同步作业

仅未在运行状态，且未被业务使用的数据同步作业可以被删除。

删除同步作业操作不可逆，一旦执行，则为该作业所做的参数配置数据都将被清除。如果该作业还存在血缘关系等，这些资源数据也将同时被删除，影响数据血缘关系的构建。删除操作风险较高，请谨慎执行。操作前请确认同步作业已不再需要，且无业务流程需要使用该作业，待充分确认后再删除。

 

  1. 在作业管理页面“数据同步”页签中，选择待查看作业所属的目录，并在右侧列表中，单击作业对应操作列中的<删除>按钮，弹出删除确认对话框。

  1. 单击<确定>按钮，数据同步作业删除完成。

共享数据同步作业

在作业管理页面“数据同步”页签中，选择待查看作业所属的目录，并在右侧列表中，单击作业对应操作列中的<共享>按钮，即可将该作业共享给其他用户。作业被共享以后，其他用户即可对该作业进行编辑。

共享后，[共享]菜单项变为[取消共享]菜单项。选择[取消共享]菜单项，可以取消共享该数据同步作业。

·          仅作业的创建者可以共享该作业。

·          作业被共享以后，其他用户即可对该作业进行编辑。

 

导出同步作业

作业管理提供了作业导出功能，支持导出部分同步作业和全部同步作业。

·          仅每个组织的组织管理员可以导出所属组织的作业。

·          未进行初始化的同步作业不支持导出。

 

导出部分同步作业

  1. 在作业管理“同步”页签中，选择待导出作业所在的目录，右侧列表展示了该目录下的所有作业。

  1. 在列表中，勾选待导出的部分作业，然后点击作业列表上方的<导出>按钮，即可导出部分作业。

  1. 执行导出操作后，系统会提示导出“导出任务提交成功”，单击页面右上角的<导出记录>按钮，弹出导出记录窗口，窗口中展示了导出记录列表。

  1. 在列表中，单击导出记录对应操作列的<下载>按钮，即可获得导出的同步作业文件。

导出全部同步作业

  1. 在作业管理页面中，选择“同步”页签。

  1. 单击页面右上角的<全部导出>按钮，即可导出当前系统所有的同步作业。

  1. 执行全部导出操作后，系统会提示导出“导出任务提交成功”，单击页面右上角的<导出记录>按钮，弹出导出记录窗口，窗口中展示了导出记录列表。

  1. 在列表中，单击导出记录对应操作列的<下载>按钮，即可获得导出的同步作业文件。

导入同步作业

作业管理提供了作业导入功能。

·          组织中的用户，在执行导入操作时，请务必确认仅有该用户在执行导入操作。多人同时操作，会导致更新的作业内容被其他用户的操作覆盖，出现部分用户查看到导入更新的作业内容不一致的情况。

·          各组织中的所有用户均可执行导入操作。

 

  1. 在作业管理页面中，选择“同步”页签。

  1. 单击页面右上角的<导入>按钮，弹出导入窗口。

  1. 在导入弹窗中，单击<上传文件>按钮，选择上传的文件。只支持上传xls格式的文件。

  1. 文件上传成功后，系统会自动解析上传文件中的内容，检测待导入作业与系统中已存在的作业重名情况，并在列表中对能否更新进行了说明，请用户参考说明内容确认无误后，选择操作。

  1. 单击<确定>按钮，系统即开始执行导入操作。

  1. 在“导入记录”页签中可以查看导入任务执行情况。对于执行失败的记录，请单击操作列中的<下载>按钮，下载导入结果文件，文件中会对导入失败原因进行说明，请按照提示对导入文件进行修改。

查看导出记录

  1. 在作业管理页面中，单击页面右上角的<导出记录>按钮，弹出导出记录窗口。

  1. 窗口中以列表的形式展示了导出操作记录，表中包含了导出操作的记录名称、操作创建者、操作的状态、操作提交时间和结束时间，并提供了导出作业的下载功能。

查看数据同步血缘关系

在初始化数据同步作业或编辑数据同步作业完成后，单击<确定>按钮执行保存操作，系统会自动生成对应的数据血缘关系，可通过[数据资产/血缘管理]查看血缘关系。

·          Kafka数据源的message类型的表不支持生成血缘关系。

·          输出数据源类型为File类型的作业，不支持生成血缘关系。