Welcome To Heike07's Blog.

欢迎来到Heike07官方博客

数据备份工具 BackupSerenity V2.1 新增 CSV 导入工具集

数据备份工具 BackupSerenity V2.1 新增 CSV 导入工具集

CSV 导入工具集

作用:将将包含表头的 CSV 文件批量导入至 MYSQL

使用方式:

启动脚本

nohup python3 csv_input_mysql.py > csv_input_mysql.log &
生成的文件名称 csv_input_mysql.log 可以根据情况修改,如果想保留全部日志可以将 > 替换为 >> 即可

导出错误日志

cat csv_input_mysql.log | grep '创建失败' > csv_input_mysql.log.ERR

获取全部 CSV 文件名称 [成功]

cat csv_input_mysql.log | grep '正在疯狂处理' | awk '{print $2}' > csv_files.list

获取全部表名称 [成功]

cat csv_input_mysql.log | grep '创建成功' | awk '{print $2}' > table_names.list

数据验证

源数据无法预估质量,会出现源数据换行等情况,此时可以使用清洗工具进行清洗,清洗后即可进行验证

通过数据导入程序进行导入程序后,对原始csv进行清洗
编辑 cleaned_data.py 文件修改

# 清洗前源数据
input_file = 'you_file.csv'
# 清洗后数据
output_file = 'cleaned_you_file.csv'

修改完成后进行执行
python3 cleaned_data.py

执行成功后通过wc命令进行行数获取
wc -l cleaned_you_file.csv

数据库通过
SELECT COUNT(1) FROM you_file

得出的数差值为1

数据验证成功!

具体点击原文链接查看,或直接访问 此链接 查看

点赞