Navicat导入海量Excel数据到数据库(简易介绍)
目录
- 前言
- 正文
前言
此处主要作为科普帖进行记录
原先Java处理海量数据的导入时,由于接口超时,数据处理不过来,后续转为Navicat
Navicat 是一款功能强大的数据库管理工具,支持多种数据库系统(如 MySQL、PostgreSQL、SQLite、Oracle 等)
它提供便捷的数据导入功能,可以将 Excel 数据导入到数据库中
Navicat 提供了数据库的连接管理、数据表操作、数据导入导出等功能。数据对于导入,它支持从多种文件格式(如 Excel、CSV、JSON 等)导入数据到数据库中
注意事项:
- 数据格式:确保 Excel 文件中的数据格式与数据库表的字段类型一致。例如,日期字段应为日期格式,数字字段应为数字格式
- 性能优化:对于海量数据,建议先对数据进行清洗和预处理,去除重复数据和无效数据
- 错误处理:如果导入过程中出现错误,Navicat 会记录错误信息。可以根据错误提示进行排查,例如字段映射错误、数据格式不匹配等
- 备份数据:在导入数据之前,建议备份目标数据库,以防数据导入过程中出现问题导致数据丢失
正文
点击数据库表右键导入向导
选择数据源(注意事项如下)
- Excel的数据需要整理完好,比如id自增字段,增加一行空列!
- 非空的列 可以在数据库上设置一个默认值,或者 直接在Excel中插入相关数据;如果数据不重要,可以再导入前设置为空,待导入之后,将其修改完毕
附加选项
选择对应的sheet表
选择相关的映射字段
导入模式选择
直接导入(由于Excel的数据清洗有个别缺失,数据字典没有转化好,导致有几百条出错!)
以及