接口导入用于外部应用以HTTP请求形式将数据导入ES表。外部应用通过将数据封装到HTTP请求中,并发送到相应服务接口,实现将数据导入ES表中。
新建数据导入任务时,所选的目标ES表中不能包含“attachment”类型字段。 |
进入接口导入页签的步骤如下:
在ES搜索管理页面中,选择接口导入页签,切换到接口导入页签。该页签中默认会展示当前系统中的所有接口导入任务。
接口导入页签通过列表的形式展示接口导入任务,列表中包含如下信息:
任务名称:用户设置的任务名称(支持中英文字符和数字的组合)。
任务id:任务的唯一性标识。
目标表:接口导入的目标表名称。
描述信息:导入任务的描述信息。
创建者:创建导入任务的用户。
创建时间:导入任务的创建时间。
日志:提供了查看解析日志的链接,请参见查看解析日志。
操作:提供了对导入任务编辑和删除的链接。
列表右上方提供了查询功能,通过输入目标表名称关键字作为筛选条件,并点击图标,即可查询出符合条件的数据导入任务。点击
图标,可以清除当前查询。
在接口导入任务列表左上方,单击<新建>按钮,进入创建接口导入任务页面。
配置“来源表字段提取”区域参数。
json样例:必选,选择一份数据,将其以Json格式输入或粘贴至输入框中,然后单击<提取字段>按钮,后台会解析出样例中的字段名并作为来源表字段使用。
配置“来源表”区域参数。
任务名称:必选,设置接口导入任务的名称(支持中英文字符和数字的组合)。
主键字段:必选,选择主键字段。
时间字段:选择来源表中的有效时间类型字段。
路由字段:选择来源表中准备映射到目标表路由字段的字段。
配置“目标表”区域参数。
数据源类型:系统会自动填充为ES类型(即Elasticsearch类型)。
数据源名称:必选,选择目标表所属的数据源。
表名:必选,选择目标表。
路由字段:系统自动填充(如果目标ES表中设置了路由字段,这里会自动填充路由字段的名称)
配置“描述信息”区域参数。
描述信息:设置导入任务的描述信息。
配置“字段映射类型”区域参数。单击<获取目标表字段>按钮,可自动获取“目标表”中配置数据表的字段名称和字段类型,并填充到下方的列表中。
在映射关系列表中,为各“目标表”的字段配置对应的“来源表”字段,建立映射关系。
单击<确定>按钮,接口导入任务新建完成。
接口导入数据的形式是处理外部应用发送的HTTP请求。系统从HTTP请求中取出待导入原数据,然后根据映射关系解析成目标数据,最后写入ES表。
因此,外部应用只需要将待导入数据封装到HTTP请求中并发送到相应接口即可。下面对请求做出详细说明:
URL:https://绿洲平台地址:端口号/api/datasmart/v1.0/snake/dataImport/rest
请求类型:post
请求数据:请求数据以json格式组织,格式如下面的json示例,请求数据中的“taskId”即任务ID,待导入的数据放在“data”数组中。
{
"taskId": "uaXgDn0Bbq__38tBTuVH",
"data": [
{
"name": "a3",
"age": 13,
"sex": "女",
"grade": "中学",
"score": 75
}
]
}
在接口导入页签的列表中,单击待编辑任务对应操作列中的<编辑>按钮,进入该接口导入任务的编辑页面。
编辑任务参数,仅支持修改“字段映射类型”和“描述信息”部分的内容。
单击<确定>按钮,任务编辑完成。
在接口导入页签的列表中,单击待删除任务对应操作列中的<删除>按钮,弹出删除确认对话框。
单击<确定>按钮,任务删除完成。
在接口导入页签的列表中,日志列展示了查看解析日志的功能。单击<解析日志>按钮,可跳转到日志详情页面。页面中解析日志页签的列表中包含如下信息:
解析时间:数据的解析时间。
日志级别:日志的级别。
目标表:导入任务的目标表。
日志信息:查看详细日志的链接,点击该链接将展示具体日志信息。