`
zhangxiong0301
  • 浏览: 351200 次
社区版块
存档分类
最新评论

mysql查询优化

阅读更多
最近在做数据批量查询和更新,即从表1中group by 某个字段,然后对另外一列求和,最后将求和得到的字段更新到表2里去。由于表一比较大而且跟表1同类的表很多,所以想用多线程解决问题,即多个表一同时做相同的查询,然后分别导入多个跟表2同类的表。
  在实验的时候,发现一个线程(即一个表1到一个表2)最快,两个线程(同时两个表一类型的表到两个表二类型的表)次之,线程越多速度越慢,且成指数递减。在数据查询的时候用命令show processlist;无意中发现这个查询有个状态copy xxx to tmp table on disk.然后去网上查了下,发现是由于tmp_table_size和max_heap_table_size设置过小,导致查询时候的临时表在内存放不下,然后转移成磁盘临时表了。tmp_table_size规定了内部内存临时表的最大值,每个线程都要分配。(实际起限制作用的是tmp_table_size和max_heap_table_size的最小值。)如果内存临时表超出了限制,MySQL就会自动地把它转化为基于磁盘的MyISAM表,存储在指定的tmpdir目录下。
通过增大上述两个配置项的值,解决了问题。同时开五个线程,每个线程的处理速度跟单线程速度一样快。总的来说就是快了5倍。
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics