数据导出功能用于将查询或转换的结果数据导出至HDFS中。
当查询条件匹配到的结果数据量超过时空引擎限制,可以选择通过数据导出将结果数据导出到HDFS中,导出任务是运行在YARN上的MapReduce任务。
数据导出任务的配置步骤如下:
在时空查询页面左侧选择目标时空数据源。
在页面右侧的数据导出页签中配置各项参数。
表-1 参数说明
|
参数 |
说明 |
|
时空表名 |
选择需要查询数据的表名 |
|
CQL |
填写CQL查询语句(默认为INCLUDE,即全表查询) |
|
查询字段 |
在下拉菜单中选择查询的目标字段 |
|
排序方式 |
选择排序的顺序,可根据指定的字段进行升序或降序排列 |
|
排序字段 |
在下拉菜单中选择排序参照的字段 |
|
导出路径 |
指定查询结果数据导出的路径 |
|
文件名称 |
配置存放导出数据的文件名称 |
|
文件格式 |
选择存放导出数据的文件格式 |
(可选)展开“转换”区域,配置数据转换规则。
属性别名:填写属性别名。
函数:选择转换需要使用的函数,各函数说明请参见表-1。
参数:填写参数,选择函数后会自动填充,可以手动修改。
填写完成后,点击操作列列中的
图标,该条转换规则配置完成。支持配置多条转换规则,点击操作列中的
图标,下方会新出现一行空的转换配置。如需删除该转换规则,可点击操作列中的
图标。
单击<导出>按钮,操作完成。
数据导出任务为一次性任务,直接由时空引擎管理,记录任务信息,运行状态,结果导出目录,可在页面最下方的列表中查看当前表所有的导出任务,根据列表中运行记录可使用HDFS文件管理器打开对应路径查看导出的数据文件。
数据导出任务记录列表支持通过文件格式、导出路径、文件名称作为筛选条件查询特定的任务记录。配置好条件后,单击<查询>按钮,查询符合条件的任务记录;单击<重置>按钮,清除当前查询。
|
在数据导出任务列表中,结束时间展示一次性导出任务的结束时间。在任务没有结束时,结束时间列展示时间为任务状态最后监测的时间,用于对任务进行监控,可直观观察任务运行状态的变化情况。 |