`
flowercat
  • 浏览: 357867 次
社区版块
存档分类
最新评论

[MySQL 5.1 体验]MySQL 分区

阅读更多
一、概述

相信有很多人经常会问同样的一个问题:当 MySQL
的总记录数超过了100万后,会出现性能的大幅度下降吗?答案是肯定的,但是性能下降>的比率不一而同,要看系统的架构、应用程序、还有>包括索引、服务器硬件等多种因素而定。当有网友问我这个问题的时候,我最常见的回答>就是:分表,可以根据id区间或者时间先后顺序等多
种规则来分表。分表很容易,然而由此所带来的应用程序甚至是架构方面的改动工作却不>容小觑,还包括将来的扩展性等。

在以前,一种解决方案就是使用 MERGE
类型,这是一个非常方便的做饭。架构和程序基本上不用做改动,不过,它的缺点是显见的:

    * 只能在相同结构的 MyISAM 表上使用
    * 无法享受到 MyISAM 的全部功能,例如无法在 MERGE 类型上执行 FULLTEXT 搜索
    * 它需要使用更多的文件描述符
    * 读取索引更慢

这个时候,MySQL 5.1 中新增的分区(Partition)功能的优势也就很明显了:

    * 与单个磁盘或文件系统分区相比,可以存储更多的数据
    * 很容易就能删除不用或者过时的数据
    * 一些查询可以得到极大的优化
    * 涉及到 SUM()/COUNT() 等聚合函数时,可以并行进行
    * IO吞吐量更大

分区允许可以设置为任意大小的规则,跨文件系统分配单个表的多个部分。实际上,表的不同部分在不同的位置被存储为单独的表。
二、分区的类型

    * RANGE 分区:基于属于一个给定连续区间的列值,把多行分配给分区。参见18.2.1节,RANGE分区
    * LIST 分区:类似于按RANGE分区,区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。参见18.2.2节,LIST分区
    * HASH分区:基于用户定义的表达式的返回值来进行选择的分区,该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包>含MySQL中有效的、产生非负整数值的任何表达式。参见18.2.3节,HASH分区
    * KEY
      分区:类似于按HASH分区,区别在于KEY分区只支持计算一列或多列,且MySQL服务器提供其自身的哈希函数。必须有一列或多列包含>整数值。
      参见18.2.4节,KEY分区

三、分区例子:
      DATA DIRECTORY INDEX DIRECTORY 适用于MyISAM引擎,对InnoDB引擎,需要手动做符合连接
    * RANGE 类型

      CREATE TABLE users (
          uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
          name VARCHAR(30) NOT NULL DEFAULT '',
          email VARCHAR(30) NOT NULL DEFAULT ''
      )
      PARTITION BY RANGE (uid) (
          PARTITION p0 VALUES LESS THAN (3000000)
          DATA DIRECTORY = '/data0/data'
          INDEX DIRECTORY = '/data1/idx',

          PARTITION p1 VALUES LESS THAN (6000000)
          DATA DIRECTORY = '/data2/data'
          INDEX DIRECTORY = '/data3/idx',

          PARTITION p2 VALUES LESS THAN (9000000)
          DATA DIRECTORY = '/data4/data'
          INDEX DIRECTORY = '/data5/idx',

          PARTITION p3 VALUES LESS THAN MAXVALUE    DATA DIRECTORY = '/data6/data'
          INDEX DIRECTORY = '/data7/idx'
      );

      在这里,将用户表分成4个分区,以每300万条记录为界限,每个分区都有自己独立的数据、索引文件的存放目录,与此同时,这些目录所在的>
      物理磁盘分区可能也都是完全独立的,可以多大提高了磁盘IO吞吐量。
    * LIST 类型

      CREATE TABLE category (
          cid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
          name VARCHAR(30) NOT NULL DEFAULT ''
      )
      PARTITION BY LIST (cid) (
          PARTITION p0 VALUES IN (0,4,8,12)
          DATA DIRECTORY = '/data0/data'
          INDEX DIRECTORY = '/data1/idx',
         
          PARTITION p1 VALUES IN (1,5,9,13)
          DATA DIRECTORY = '/data2/data'
          INDEX DIRECTORY = '/data3/idx',
         
          PARTITION p2 VALUES IN (2,6,10,14)
          DATA DIRECTORY = '/data4/data'
          INDEX DIRECTORY = '/data5/idx',
         
          PARTITION p3 VALUES IN (3,7,11,15)
          DATA DIRECTORY = '/data6/data'
          INDEX DIRECTORY = '/data7/idx'
      ); 

      分成4个区,数据文件和索引文件单独存放。
    * HASH 类型

      CREATE TABLE users (
          uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
          name VARCHAR(30) NOT NULL DEFAULT '',
          email VARCHAR(30) NOT NULL DEFAULT ''
      )
      PARTITION BY HASH (uid) PARTITIONS 4 (
          PARTITION p0
          DATA DIRECTORY = '/data0/data'
          INDEX DIRECTORY = '/data1/idx',

          PARTITION p1
          DATA DIRECTORY = '/data2/data'
          INDEX DIRECTORY = '/data3/idx',

          PARTITION p2
          DATA DIRECTORY = '/data4/data'
          INDEX DIRECTORY = '/data5/idx',

          PARTITION p3
          DATA DIRECTORY = '/data6/data'
          INDEX DIRECTORY = '/data7/idx'
      );

      分成4个区,数据文件和索引文件单独存放。
    * KEY 类型

      REATE TABLE users (
          uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
          name VARCHAR(30) NOT NULL DEFAULT '',
          email VARCHAR(30) NOT NULL DEFAULT ''
      )
      PARTITION BY KEY (uid) PARTITIONS 4 (
          PARTITION p0
          DATA DIRECTORY = '/data0/data'
          INDEX DIRECTORY = '/data1/idx',
         
          PARTITION p1
          DATA DIRECTORY = '/data2/data'
          INDEX DIRECTORY = '/data3/idx',
         
          PARTITION p2
          DATA DIRECTORY = '/data4/data'
          INDEX DIRECTORY = '/data5/idx',
         
          PARTITION p3
          DATA DIRECTORY = '/data6/data'
          INDEX DIRECTORY = '/data7/idx'
      ); 

      分成4个区,数据文件和索引文件单独存放。
    * 子分区
      子分区是针对 RANGE/LIST 类型的分区表中每个分区的再次分割。再次分割可以是 HASH/KEY 等类型。例如:

      CREATE TABLE users (
          uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
          name VARCHAR(30) NOT NULL DEFAULT '',
          email VARCHAR(30) NOT NULL DEFAULT ''
      )
      PARTITION BY RANGE (uid) SUBPARTITION BY HASH (uid % 4) SUBPARTITIONS 2(
          PARTITION p0 VALUES LESS THAN (3000000)
          DATA DIRECTORY = '/data0/data'
          INDEX DIRECTORY = '/data1/idx',

          PARTITION p1 VALUES LESS THAN (6000000)
          DATA DIRECTORY = '/data2/data'
          INDEX DIRECTORY = '/data3/idx'
      );

      对 RANGE 分区再次进行子分区划分,子分区采用 HASH 类型。

      或者

      CREATE TABLE users (
          uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
          name VARCHAR(30) NOT NULL DEFAULT '',
          email VARCHAR(30) NOT NULL DEFAULT ''
      )
      PARTITION BY RANGE (uid) SUBPARTITION BY KEY(uid) SUBPARTITIONS 2(
          PARTITION p0 VALUES LESS THAN (3000000)
          DATA DIRECTORY = '/data0/data'
          INDEX DIRECTORY = '/data1/idx',

          PARTITION p1 VALUES LESS THAN (6000000)
          DATA DIRECTORY = '/data2/data'
          INDEX DIRECTORY = '/data3/idx'
      );

      对 RANGE 分区再次进行子分区划分,子分区采用 KEY 类型。

四、分区管理

    * 删除分区

      ALERT TABLE users DROP PARTITION p0;

      删除分区 p0。
    * 重建分区
          o RANGE 分区重建

            ALTER TABLE users REORGANIZE PARTITION p0,p1 INTO (PARTITION p0 VALUES LESS THAN (6000000));

            将原来的 p0,p1 分区合并起来,放到新的 p0 分区中。
          o LIST 分区重建

            ALTER TABLE users REORGANIZE PARTITION p0,p1 INTO (PARTITION p0 VALUES IN(0,1,4,5,8,9,12,13));

            将原来的 p0,p1 分区合并起来,放到新的 p0 分区中。
          o HASH/KEY 分区重建

            ALTER TABLE users REORGANIZE PARTITION COALESCE PARTITION 2;

            用 REORGANIZE 方式重建分区的数量变成2,在这里数量只能减少不能增加。想要增加可以用 ADD PARTITION 方法。
    * 新增分区
          o 新增 LIST 分区

            ALTER TABLE category ADD PARTITION (PARTITION p4 VALUES IN (16,17,18,19)
            DATA DIRECTORY = '/data8/data'
            INDEX DIRECTORY = '/data9/idx');

            新增一个LIST分区。
          o 新增 HASH/KEY 分区

            ALTER TABLE users ADD PARTITION PARTITIONS 8;

            将分区总数扩展到8个。
分享到:
评论

相关推荐

    详细介绍Mysql5.1分区技术

    详细介绍mysql5.1 分区技术,通过对list range hash key四种分区技术的举例阐述Mysql分区,18.2.1. RANGE分区 18.2.2. LIST分区 18.2.3. HASH分区 18.2.4. KEY分区 18.2.5. 子分区 18.2.6. MySQL分区处理NULL值的...

    MySQL5.1新功能-分区

    MySQL5.1新功能-分区

    MySQL 5.1参考手册 (中文版)

    1.6.1. MySQL 5.1的新特性 1.7. MySQL信息源 1.7.1. MySQL邮件列表 1.7.2. IRC(在线聊天系统)上的MySQL社区支持 1.7.3. MySQL论坛上的MySQL社区支持 1.8. MySQL标准的兼容性 1.8.1. MySQL遵从的标准是什么 1.8.2. ...

    MySQL 5.1参考手册中文版

    1.6.1. MySQL 5.1的新特性 1.7. MySQL信息源 1.7.1. MySQL邮件列表 1.7.2. IRC(在线聊天系统)上的MySQL社区支持 1.7.3. MySQL论坛上的MySQL社区支持 1.8. MySQL标准的兼容性 1.8.1. MySQL遵从的标准是什么 ...

    MySQL 5.1官方简体中文参考手册

    1.6.1. MySQL 5.1的新特性 1.7. MySQL信息源 http://doc.mysql.cn/mysql5/refman-5.1-zh.html-chapter/(第 1/24 页)2006-11-02 19:12:13 MySQL 5.1 Reference Manual 1.7.1. MySQL邮件列表 1.7.2. IRC(在线聊天...

    MYSQL5.1表分区初探[参考].pdf

    MYSQL5.1表分区初探[参考].pdf

    MySQL 5.1中文手冊

    1.6.1. MySQL 5.1的新特性 1.7. MySQL信息源 1.7.1. MySQL邮件列表 1.7.2. IRC(在线聊天系统)上的MySQL社区支持 1.7.3. MySQL论坛上的MySQL社区支持 1.8. MySQL标准的兼容性 1.8.1. MySQL遵从的标准是什么 1.8.2. ...

    MySQL 5.1参考手册

    MySQL 5.1参考手册.chm 前言 1. 一般信息 1.1. 关于本手册 1.2. 本手册采用的惯例 1.3. MySQL AB概述 1.4. MySQL数据库管理系统概述 1.4.1. MySQL的历史 1.4.2. MySQL的的主要特性 1.4.3. MySQL稳定性 1.4.4. MySQL...

    mysql5.1中文手册

    MySQL 5.1的新特性 1.7. MySQL信息源 1.7.1. MySQL邮件列表 1.7.2. IRC(在线聊天系统)上的MySQL社区支持 1.7.3. MySQL论坛上的MySQL社区支持 1.8. MySQL标准的兼容性 1.8.1. MySQL遵从的标准是...

    MySQL_5.1_HTML_chapter.rar_详细手册(html版)

    MySQL_5.1_HTML_chapter.rar_详细手册(html版),内容详细,主要部分:13. SQL语句语法、18. 分区、A. 问题和常见错误

    MySQL5.1参考手册官方简体中文版

    MySQL 5.1参考手册 这是MySQL参考手册的翻译版本,关于MySQL参考手册,请访问dev.mysql.com。 原始参考手册为英文版,与英文版参考手册相比,本翻译版可能不是最新的。 This translation was done by MySQL ...

    MySQL-5.1-Manual_zh.rar_12.21_mysql api_mysql manual chm_mysql5.

    MySQL5.1 中文手册 这是MySQL参考手册的翻译版本,关于MySQL参考手册,请访问dev.mysql.com。 原始参考手册为英文版。 -------------------------------------------------------------------------------- ...

    创建mysql表分区的方法

    表分区的测试使用,主要内容来自于其他博客文章以及mysql5.1的参考手册mysql测试版本:mysql5.5.28mysql物理存储文件(有mysql配置的datadir决定存储路径)格式简介数据库engine为MYISAMfrm表结构文件,myd表数据...

    MySQL中表分区技术详细解析

    MySQL 分区技术(是mysql 5.1以版本后开始用->是甲骨文mysql技术团队维护人员以插件形式插入到mysql里面的技术) 1、概述 数据库单表到达一定量后,性能会有衰减,像mysql\sql server等犹为明显,所以需要把这些数据...

    MySQL自动分区扩展

    最近需要把一个oralce数据库向mysql数据库移植。oracle库用到了job和存储过程,因为mysql中没有job,所有要用新功能event代替一下,这个是5.1以后才有的新功能,所以稍微研究了一下。

    lampbrother mysql高级教程笔记 超详细

    记录了以下五大部分 一、grant用户授权 二、开启mysql bin-log日志 三、mysql主从复制 四、mysql分区技术,仅中mysql5.1之后的版本中支持。 五、mysql性能优化

    Mysql数据库引擎大揭秘

    MySQL是一个流行的开源关系型数据库管理系统,由于其灵活性和易用性,成为...Sun继续投入资源来推动MySQL的发展,并在2008年发布了MySQL 5.1版本,引入了复制、触发器和分区等功能。 2010年,Oracle收购了Sun Micros

    Adminers MYSQL/SQLite管理工具.rar

    Adminers是一款PHP/Mysql/SQLite可视化管理程序,功能类似于phpMyAdmin,不过要比phpMyAdmin更简洁,而且安装配置超简单,因为Adminers仅仅只有一个PHP文件,但它可... 10:管理事件和表格分区(MySQL5.1才支持)。

    MySQL的表分区详解

    mysql5.1开始支持数据表分区了。如:某用户表的记录超过了600万条,那么就可以根据入库日期将表分区,也可以根据所在地将表分区。当然也可根据其他的条件分区。二、为什么要对表进行分区为了改善大型表以及具有各种...

Global site tag (gtag.js) - Google Analytics