`
PBFox
  • 浏览: 65742 次
  • 性别: Icon_minigender_1
  • 来自: China
文章分类
社区版块
存档分类
最新评论

MySQL大数据量导入导出方法比较

阅读更多
出处:IT专家网


硬件: Intel(R) Xeon(R) CPU 5130 @ 2.00GHz * 2, 4G RAM, 564G SAS

  软件: Red Hat Enterprise Linux AS release 4 (Nahant Update 4) 2.6.9 42.ELsmp (32-bit), MySQL 5.0.27-standard-log

  总记录数: 1016126, 每行平均大小 46822

  1. 导出测试

  1.1 导出成文本

  方法: SELECT * INTO OUTFILE '/backup/yejr.txt' FROM yejr;

  耗时: 3252.15 秒

  1.2 导出成 .sql 文件

  方法: mysqldump -t -n --default-character-set=latin1 test yejr > /backup/yejr.sql

  耗时: 2124 sec

  结论: 用 mysqludmp 导出数据是相对较快的方法.

  2. 导入测试

  2.1 导入 txt 文件

  方法: mysql test < /backup/yejr.txt

  耗时: 3317.62 sec

  2.2 导入 sql 文件

  方法: mysql test < /backup/yejr.sql

  耗时: 4706.618 sec

  结论:

  1. 用 load data 是较快的方法

  2. 大数据量情况下, 最好是创建好表之后, 同时也要创建好相关的索引. 虽然说没有索引时导入更快, 但是数据导入完成之后再创建索引总共的耗时比事先创建好了再导入要来的多多了.

  另外,如果是myisam表,则最好是导入之前先禁用表的索引,导完之后再启用; 或者是一开始不创建索引,导完之后再创建,都会比导入的同时更新索引来的快很多.
分享到:
评论

相关推荐

    mysql数据库大数据量导入导出多种方法

    mysql数据库大数据量导入导出多种方法,该文档详述SELECT * INTO和mysqldump导出方法。导入方法中包括导入sql,txt文件和load data三种方法

    从MySQL导入导出大量数据的程序实现方法

    2 导出到硬盘的 .SQL 文件在导回时,经常出现由于某些单引号的问题引起失败,造成导入失败,只能用 MySQL等应用程序导入了。 我的数据库已经超过10M,所以必须解决这个问题。我的思路: 导出: 用phpmyadmin 保存...

    MySQL数据库迁移快速导出导入大量数据

    今天小编就为大家分享一篇关于MySQL数据库迁移快速导出导入大量数据,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

    Excel大量数据快速导入数据库源码

    使Excel数据同步到数据库中的源码

    MySQL数据库迁移快速导出导入大量数据(外发).txt

    使用MySQL的SELECT INTO OUTFILE 、LOAD DATA INFILE快速导出导入数据 LOAD DATA INFILE语句从一个文本文件中以很高的速度读入一个表中。MySQL官方文档也说明了,该方法比一次性插入一条数据性能快20倍。

    数据库与excel导入导出及不同数据库之间导入导出

    第二种方法,如果数据量特别大,将造成内存溢出,需要分批次导数据,比较麻烦,但该程序实现了分批次导数据的功能。 其他不同类型的数据库导入导出,通过修改ExcelConstant中的参数,一样可以成功。如果能给你帮助...

    MySQL 文本文件的导入导出数据的方法

    但有时为了更快速地插入大批量数据或交换数据,需要从文本中导入数据或导出数据到文本。 一、 建立测试表,准备数据 首先建立一个用于测试的表示学生信息的表,字段有id、姓名、年龄、城市、薪水。Id和姓名不 能为...

    php+mysql导入导出

    本程序是我从phpwind论坛扣出来的程序,版权归phpwind...老看见网上有朋友找mysql大数据量导入导出办法。我觉得这个挺好用, 也不复杂,所以扣一份发布出来,大家一起用,在此感谢phpwind论坛为 我们提供的优秀代码。

    php excal 导入导出 绝对好用

    1,建立mysql数据库,把excel_demo.sql导入到你的数据库,采取utf-8编码; 2,导入时候请按照xls/demo.xls的格式导入,在linux系统下 xls目录要有下的权限; 3, 默认只有一条数据,导出至少有一条数据; 4,如果数据...

    mysql下完整导出导入实现方法

    对于大量数据的导入导出,是件挺麻烦的事,需要考虑很多的细节,这类对于需要大量数据导入导出的朋友可以参考下。

    MySQL大量数据插入各种方法性能分析与比较

    不管是日常业务数据处理中,还是数据库的导入导出,都可能遇到需要处理大量数据的插入。插入的方式和数据库引擎都会对插入速度造成影响,这篇文章旨在从理论和实践上对各种方法进行分析和比较,方便以后应用中插入...

    php版mysql大数据库备份和恢复工具

    基本上,一般的博客/论坛数据都不能保证这种纯净性,谁也不能保证你的文章中不会混合使用简体和繁体文字,所以这种跨字符集的导入导出数据难度很大.绝对不要轻易尝试这种游戏.目前的主流论坛如Discuz、PHPWind等都提供...

    易语言mysql和SQLserver数据自动同步

    1.可以用于 mssql导出到mssql mysql 导出到mysql mssql导出到mysql mysql ...程序需要直接连接数据库,mysql 需要安装 mysql 驱动程序 ,程序没有使用线程,对特别大量的数据 处理时 会假死,特别是广域网之间的数据库

    mysql实现从导出数据的sql文件中只导入指定的一个表

    不推介,因为数据量太大,很耗时 2.解压dbAll.sql.gz后,通过Java代码读取dbAll.sql中的关于tableA的CREATE语句及INSERT语句等到文件tableA.sql,然后通过tableA.sql导入临时数据库即可进行比较。 3.参见(没试过):

    MySQL如何快速导入数据

    前言: 日常学习和工作中,经常会遇到导数据的需求。比如数据迁移、数据恢复、新建从库等,这些操作...特别是大数据量的时候,用MySQL自带的命令行工具导出和导入比用Navicat等图形化工具要快数倍,而且用Navicat等图

    中国图书分类数据 mysql数据

    自己整理的中国图书馆分类数据,目前文件为导出的mysql数据,可以自己导入或者再加工,内容包含表结构,字段包含ID,分类代码,名称,父类ID,是否有子类等,如有需要可以下载。数据量大概有2300多条

    php导入大量数据到mysql性能优化技巧

    本文实例讲述了php导入大量数据到mysql性能优化技巧。分享给大家供大家参考。具体分析如下: 在mysql中我们结合php把一些文件导入到mysql中,这里就来分享一下我对15000条记录进行导入时分析与优化,需要的朋友可以...

    MySQL数据库使用mysqldump导出数据详解

    在日常维护工作当中经常会需要对数据进行导出操作,而mysqldump是导出数据过程中使用非常频繁的一个工具;它自带的功能参数非常多,文章中会列举出一些常用的操作,在文章末尾会将所有的参数详细说明列出来。 语法...

Global site tag (gtag.js) - Google Analytics