该组件可以将数据批量加载到MySQL数据库中,批量插入的原理是利用了MySQL一个高效导入方法load data infile将文本文件中的数据导入表中,文本文件是由系统后台根据前序步骤的数据流生成的FIFO文件,因为用户数据的不可控性,故后台自动生成的FIFO文件的相关配置需要用户自行配置。
双击画布中的MySQL批量加载组件,弹出MySQL批量加载窗口。
输入步骤名称,名称要求为非空,2到50个字符。
配置通用、字段各页签下的参数。
单击<确定>按钮完成配置。
单击<SQL>按钮,可根据输入的字段和已配置的数据库信息,自动生成SQL语句,可用于创建表。注意:使用该功能需要先获取字段。
数据库连接:必填项,单击进入数据库连接。
目标模式:写入数据的表的模式名称,对于数据源来说,允许表名周期性被使用。
目标表:必填项,写入数据的表的名称。
批量大小:批量提交数据的大小。
已有键重复时替换:对现有的唯一键记录的重复的处理,指定替换,新行将代替有相同的唯一键值的现有行。
已有键重复时忽略:对现有的唯一键记录的重复的处理,指定忽略,跳过有唯一键的现有行的重复行的输入。
FIFO文件:用作命名管道的FIFO文件的全路径,转换运行完成后该文件会自动被删除。该配置需要特别关注:需要填入一个不存在的文件名称,若文件存在,则运行报错,由于dig-web系统是多用户使用,建议调试任务时修改FIFO文件的文件名!
创建父目录:如果文件名中的父目录不存在,应该勾选该单选框,否则将不能创建文件。
字段分隔符:指定在FIFO文件中分隔字段的字符,例如 ; 或制表符。
封闭字符:封闭字段的一对字符。
逃逸字符:如果封闭字符在字段中,则通过转义字符转义。
字符集:指定文件使用的编码。如果空白就使用系统缺省的编码。
表字段:插入表的字段名称。
流字段:输出字段名称。
字段格式:您可以决定是保留格式(不更改格式)还是更改格式。
不能改变格式:保留数据格式。
格式化为日期:yyyy-MM-dd。
格式化为时间戳:yyyy-MM-dd HH:mm:ss。
格式化为数值:分组符号为“,”,小数为“.”。
对数据里的封闭字符转义:如果封闭字符在数据中,则通过转义字符转义。
获取字段:单击<获取字段>按钮,进入获取字段页面,获取此步骤需要处理的字段。