Mysql中怎么提升大数据表的拷贝效率
发布时间：2022-02-13 18:33:23 所属栏目：MySql教程 来源：互联网
导读：这篇文章将为大家详细讲解有关Mysql中怎么提升大数据表的拷贝效率，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。 可能情况: 1.导致数据库崩溃或者卡死 2.导致其他进程 进行数据库读写I/O变慢 3.还有一
|
这篇文章将为大家详细讲解有关Mysql中怎么提升大数据表的拷贝效率，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。 可能情况: 1.导致数据库崩溃或者卡死 2.导致其他进程 进行数据库读写I/O变慢 3.还有一个可能就是数据格式不一致 导致数据无法写入(比如一个varchar类型要改为int类型,当数据长度过大时会报错) 解决方案:-- 1.重新创建一张数据表 create new_table select * from old_table 这种形式相当于复制一张新的数据表 ----(不建议): 这里面仅仅复制数据表的字段和数据 , 但是表结构 主键,索引和默认值都不会拷贝过来 2.分成两个步骤 1). create new_table like old_table 创建一个新表,表结构和old_table一致(包含主键,索引和默认值等) 2). insert into new_table select * from old_table 把old_table的数据全部拷贝到new_table里面去 ----(如果数据量少的话,在几万行左右建议使用此方案, 如果数据量到达数百万 上千万时, 这个也是不适用的) 扩展: 如果你只要拷贝一部分数据表的话,可以指定 insert into new_table (字段1,字段2) select 字段1,字段2 from old_table [limit n,m] ； 3. 1).通过select from into outfile 命令来导出数据表数据 2).通过load data infile into 命令来导入数据表数据 不多废话 直接看图,感受下100万左右的数据量 方案2 和 方案3 处理速度相差多少 >select * from money_info into outfile '/var/lib/mysql-files/money.txt'; >create table money_info_cyq11 like money_info; >load data infile '/var/lib/mysql-files/money.txt' into table money_info_cyq11; >create table money_info_cyq22 like money_info; >insert into money_info_cyq22 select * from money_info; 速度在4倍左右,网上说的20倍还没体验到[捂脸] 注:这里还存在一个问题 outfile的目录是有要求的 >show variables like '%secure%'; 通过这条命令可以看到secure_file_priv 对应out_file的目录在哪个位置 , 指定这个位置导出即可； 关于Mysql中怎么提升大数据表的拷贝效率就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。 （编辑：拼字网 - 核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐