数据导出

数据导出功能用于将查询或转换的结果数据导出至HDFS中。

当查询条件匹配到的结果数据量超过时空引擎限制,可以选择通过数据导出将结果数据导出到HDFS中,导出任务是运行在YARN上的MapReduce任务。

数据导出任务的配置步骤如下:

  1. 在时空查询页面左侧选择目标时空数据源。

  1. 在页面右侧的数据导出页签中配置各项参数。

表-1 参数说明

参数

说明

时空表名

选择需要查询数据的表名

CQL

填写CQL查询语句(默认为INCLUDE,即全表查询)

查询字段

在下拉菜单中选择查询的目标字段

排序方式

选择排序的顺序,可根据指定的字段进行升序或降序排列

排序字段

在下拉菜单中选择排序参照的字段

导出路径

指定查询结果数据导出的路径

文件名称

配置存放导出数据的文件名称

文件格式

选择存放导出数据的文件格式

 

  1. (可选)展开“转换”区域,配置数据转换规则。

填写完成后,点击操作列列中的图标,该条转换规则配置完成。支持配置多条转换规则,点击操作列中的图标,下方会新出现一行空的转换配置。如需删除该转换规则,可点击操作列中的图标。

  1. 单击<导出>按钮,操作完成。

数据导出任务为一次性任务,直接由时空引擎管理,记录任务信息,运行状态,结果导出目录,可在页面最下方的列表中查看当前表所有的导出任务,根据列表中运行记录可使用HDFS文件管理器打开对应路径查看导出的数据文件。

数据导出任务记录列表支持通过文件格式、导出路径、文件名称作为筛选条件查询特定的任务记录。配置好条件后,单击<查询>按钮,查询符合条件的任务记录;单击<重置>按钮,清除当前查询。

在数据导出任务列表中,结束时间展示一次性导出任务的结束时间。在任务没有结束时,结束时间列展示时间为任务状态最后监测的时间,用于对任务进行监控,可直观观察任务运行状态的变化情况。