加入收藏 | 设为首页 | 会员中心 | 我要投稿 拼字网 - 核心网 (https://www.hexinwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长学院 > MySql教程 > 正文

这样做数据清理,可以避免引发MySQL故障

发布时间:2018-11-09 12:52:05 所属栏目:MySql教程 来源:DBAplus社群
导读:【51CTO技术沙龙】10月27日,让我们共同探索AI场景化应用实现之道 通常来说,性能监控类业务场景具有数据导入量大、表空间增长快的特点,为了避免磁盘空间被占满,并提高SQL执行效率,要定期对历史数据进行清理。根据数据采集频率和保留周期的不同,可在应

分区表的另一个好处是对于应用程序来说不用修改代码,通过对后端数据库进行设置,以表的时间字段做分区字段,就可以轻松实现表的拆分,需要注意的是查询字段必须是分区键,否则会遍历所有的分区表,下面看一下具体的实施过程:

Step 1:首先,创建分区表。在这里我们就以perf_biz_vm表为例,创建相同表结构的新表,并把它命名为perf_biz_vm_new,利用create_time索引字段做分区字段,按天做分区并与主键一起创建联合索引,创建语句:

代码如下:

  1. CREATE TABLE `perf_biz_vm_new` ( 
  2.  
  3. `CREATE_TIME` datetime NOT COMMENT '性能采集时间', 
  4.  
  5. `VM_ID` varchar(80) NOT COMMENT '虚拟机ID', 
  6.  
  7. `PROCESSOR_USED` varchar(100) DEFAULT COMMENT 'CPU利用率(%)', 
  8.  
  9. `MEM_USED` varchar(100) DEFAULT COMMENT '内存的使用率(%)', 
  10.  
  11. `MEM_UTILITY` varchar(100) DEFAULT COMMENT '可用内存量(bytes)', 
  12.  
  13. `BYTES_IN` varchar(100) DEFAULT COMMENT '流入流量速率(Mbps)', 
  14.  
  15. `BYTES_OUT` varchar(100) DEFAULT COMMENT '流出流量速率(Mbps)', 
  16.  
  17. `PROC_RUN` varchar(100) DEFAULT COMMENT 'CPU运行队列中进程个数', 
  18.  
  19. `WRITE_IO` varchar(100) DEFAULT COMMENT '虚拟磁盘写入速率(Mb/s)', 
  20.  
  21. `READ_IO` varchar(100) DEFAULT COMMENT '虚拟磁盘读取速率(Mb/s)', 
  22.  
  23. `PID` varchar(36) NOT , 
  24.  
  25. PRIMARY KEY (`PID`,`CREATE_TIME`), 
  26.  
  27. KEY `mytable_categoryid` (`CREATE_TIME`) USING BTREE, 
  28.  
  29. KEY `perf_biz_vm_vm_id_create_time` (`VM_ID`,`CREATE_TIME`) 
  30.  
  31. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='虚拟机性能采集表' 
  32.  
  33. /*!50500 PARTITION BY RANGE COLUMNS(CREATE_TIME) 
  34.  
  35. (PARTITION p20180225 VALUES LESS THAN ('20180226') ENGINE = InnoDB, 
  36.  
  37. PARTITION p20180226 VALUES LESS THAN ('20180227') ENGINE = InnoDB, 
  38.  
  39. PARTITION p20180227 VALUES LESS THAN ('20180228') ENGINE = InnoDB, 
  40.  
  41. PARTITION p20180228 VALUES LESS THAN ('20180229') ENGINE = InnoDB, 
  42.  
  43. PARTITION p20180229 VALUES LESS THAN ('20180230') ENGINE = InnoDB) */ 

Step 2:用新的分区表替换原有旧表。这里需要注意的是,执行rename操作会对perf_biz_vm表的元数据进行修改,需提前检查有无对此表的Delete、Update、Insert事务与DDL操作,否则冲突会产生元数据锁(Metadata Lock)。

我们的做法是提前将业务侧的定时器停掉,并在业务低谷时执行如下语句,将旧表和新表通过rename的方式互换,让新表纳入使用。期间若有业务调用,则会短暂断开业务。

  1. rename table perf_biz_vm to perf_biz_vm_old; 
  2. rename table perf_biz_vm_new to perf_biz_vm; 

Step 3:查看到新表有数据写入,云监控页面数据显示正常,说明业务恢复。云主机监控数据的保存周期是两天,因此需要将旧表两天前的数据拷贝到新表,该步骤通过脚本来完成,可参考以下脚本:

代码如下:

  1. #!/bin/bash  
  2. function insert{  
  3. end_time="$1 $2"  
  4. start_time="$3 $4"  
  5. mysql -u'user' -p'passwd' << !  
  6. use monitor_alarm_openstack;  
  7. set innodb_flush_log_at_trx_commit=0;  
  8. start transaction;  
  9. insert into perf_biz_vm select * from perf_biz_vm_old where create_time < '$end_time' and create_time > '$start_time';  
  10. commit;  
  11. select TABLE_ROWS from information_schema.tables where TABLE_SCHEMA ="monitor_alarm" and TABLE_NAME="perf_biz_vm";  
  12. !  
  13. }  
  14. base_time="2018-02-27 2:00:00"  
  15. while true  
  16. do  
  17. #end_time=$(date -d "-1hour $base_time" +%Y-%m-%d" "%H:%M:%S)  
  18. end_time=$base_time  
  19. start_time=$(date -d "-1hour $end_time" +%Y-%m-%d" "%H:%M:%S)  
  20. #base_time=$end_time  
  21. base_time=$start_time  
  22. echo "Cur_time: $(date +%Y%m%d" "%H%M%S)" | tee -a 1.log  
  23. echo "Range: $end_time $start_time" | tee -a 1.log  
  24. insert ${end_time} ${start_time} | tee -a 1.log  
  25. sleep 2  
  26. done 

Step 4:编写存储过程用于定期创建新的分区,并删除几天前旧的分区:

(编辑:拼字网 - 核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!