问题描述:
需要从SqlServer中导出一份表数据到Clickhouse中,从SqlServer中查询出所需要的数据并保存为csv文件格式,将csv文件导入Clickhouse时出现字段错位导入失败.
问题分析:
从Clickhouse报错信息看出可能是字段中包含换行符号\r\n等特殊符号导致文件解析时不能正确的分割数据行,使用
head -n 2 文件名称
确认文件行分割的确有问题.
解决方法:
1.可以使用sed替换掉文件中的\r\n,需要使用全局替换(默认按行替换),如果文件比较大就耗费时间比较长.
2.从SqlServer查询数据时使用Replace替换调字段中的\r\n,最初使用:
replace(字段名, '\n','')
replace(字段名, '\r','')
不起作用,后改为:
replace(字段名, CHAR(10),'')
replace(字段名, CHAR(13),'')
成功解决问题.其中CHAR(10)对应\n,CHAR(13)对应\r