数据清理

数据清理是ITOA对数据生命周期管理的一个重要环节，其可以清理DataEngine集群中PostgreSQL或者HDFS的业务数据。此功能由系统管理运维人员使用，目的是为了保证系统的长时间健康运行。

在数据清理页面可以看到已添加的数据清理任务，也可以对任务进行管理，如新增、立即执行，禁用，启用，删除任务等。

PostgreSQL

在PostgreSQL页签中，可以指定表，然后通过某个字段和配置的保存时间，删除表中的数据；也可以通过表前缀和后缀格式模糊匹配表，然后依据保存时间，删除过期的临时表。

删除数据或删除表是利用内置的调度任务“PostgreSQL定时清理任务”完成的，该任务的执行周期为5分钟。

• 下发任务

“PostgreSQL定时清理任务”是内置的，在ITOA系统安装好后，任务管理中默认就有该任务，<下发任务>按钮默认不显示，用户不需操作。

在任务管理中内置的“PostgreSQL定时清理任务”不存在时，[数据清理]页面就会出现<下发任务>按钮，单击该按钮，可以重新下发定时清理任务。只有下发“PostgreSQL定时清理任务”后，按钮才会变为<停止任务>/<启动任务>。

 

• 停止任务/启动任务

可以启停“PostgreSQL定时清理任务”，停止该任务，任务不再执行，将不会定时删除数据或删除临时表。

• 添加数据源

1. 单击<添加数据源>按钮，弹出新增数据源页面，可以新增一条清理任务。

2. 有两种类型“数据”和“表”。

• “数据”可以指定某张表，然后依据某个字段和保存时间，删除表中的数据。

• “表”通过表前缀和后缀格式模糊匹配某些表，然后依据保存时间，删除过期的临时表。

3. 所有信息编辑完成单击<确定>按钮，将会看到保存成功或者失败的提示信息，如果返回信息显示成功，即任务创建成功，系统将自动跳转到数据清理任务列表页面。

• 删除

单击后该任务将被删除，列表里将看不到该任务。

• 编辑

可修改任务的配置参数。

• 查看详情

可以查看该任务的详细配置信息。

HDFS

在HDFS页签中，可以在指定文件路径下，通过文件夹名称或者文件夹创建时间的匹配规则，以任务调度的形式来进行数据删除。

• 新建HDFS任务

1. 单击<新增任务>按钮，弹出新增任务页面，可以新增一条清理数据的定时任务。

2. 填写任务名称、执行节点、文件路径等信息，然后单击<新增规则>按钮，可以添加清除数据的规则，即清除数据的条件。可以基于文件夹名称或者文件夹创建时间作为条件添加到清理规则列表。

3. 调度类型一栏分“简单调度”和“高级调度”，高级调度为Cron表达式，时间上比较精确。

4. 其他设置中，可以设置任务单次运行时的超时时间，例如，设置超时时间为1分钟，那么清理的任务执行超过1分钟，就属于超时。

5. 所有信息编辑完成单击<保存>按钮，将会看到保存成功或者失败的提示信息，如果返回信息显示成功，即任务创建成功，系统将自动跳转到数据清理任务查看页面。

• 立即执行

即马上根据本任务中清理条件清除一次数据。

• 禁用

即禁止该任务，该任务不可再执行，立即执行也不能再用。

• 启用

启用已被禁用的任务，启用之后可继续使用，包括立即执行功能。

• 编辑

任务在启动状态下，不能进行编辑操作。禁用任务后，可以对该任务进行编辑。

• 删除

任务在启动状态下，不能进行删除操作。禁用任务后，单击后该任务将被删除，任务列表里将看不到该任务。