IOPS

 

IOPS (Input/Output Operations Per Second)，即每秒进行读写（I/O）操作的次数，多用于数据库等场合，衡量随机访问的性能。存储端的IOPS性能和主机端的IO是不同的，IOPS是指存储每秒可接受多少次主机发出的访问，主机的一次IO需要多次访问存储才可以完成。例如，主机写入一个最小的数据块，也要经过“发送写入请求、写入数据、收到写入确认”等三个步骤，也就是3个存储端访问。

磁盘阵列吞吐量与IOPS两大瓶颈分析

本文是由NSIDC总结的，分析了磁盘阵列的瓶颈，主要体现在2个方面：吞吐量与IOPS。

1、吞吐量

吞吐量主要取决于阵列的构架，光纤通道的大小(现在阵列一般都是光纤阵列，至于SCSI这样的SSA阵列，我们不讨论)以及硬盘的个数。阵列的构架与每个阵列不同而不同，他们也都存在内部带宽(类似于pc的系统总线)，不过一般情况下，内部带宽都设计的很充足，不是瓶颈的所在。　　光纤通道的影响还是比较大的，如数据仓库环境中，对数据的流量要求很大，而一块2Gb的光纤卡，所能支撑的最大流量应当是2Gb/8(小B)=250MB/s(大B)的实际流量，当4块光纤卡才能达到1GB/s的实际流量，所以数据仓库环境可以考虑换4Gb的光纤卡。　　最后说一下硬盘的限制，这里是最重要的，当前面的瓶颈不再存在的时候，就要看硬盘的个数了，我下面列一下不同的硬盘所能支撑的流量大小：　　10 K rpm 15 K rpm ATA　　——— ——— ———　　10M/s 13M/s 8M/s　　那么，假定一个阵列有120块15K rpm的光纤硬盘，那么硬盘上最大的

  

 

可以支撑的流量为120*13=1560MB/s，如果是2Gb的光纤卡，可能需要6块才能够，而4Gb的光纤卡，3-4块就够了。

2、IOPS

决定IOPS的主要取决与阵列的算法，cache命中率，以及磁盘个数。阵列的算法因为不同的阵列不同而不同，如我们最近遇到在hds usp上面，可能因为ldev(lun)存在队列或者资源限制，而单个ldev的iops就上不去，所以，在使用这个存储之前，有必要了解这个存储的一些算法规则与限制。　　cache的命中率取决于数据的分布，cache size的大小，数据访问的规则，以及cache的算法，如果完整的讨论下来，这里将变得很复杂，可以有一天好讨论了。我这里只强调一个cache的命中率，如果一个阵列，读cache的命中率越高越好，一般表示它可以支持更多的IOPS，为什么这么说呢?这个就与我们下面要讨论的硬盘IOPS有关系了。　　硬盘的限制，每个物理硬盘能处理的IOPS是有限制的，如　　10 K rpm 15 K rpm ATA　　——— ——— ———　　100 150 50　　同样，如果一个阵列有120块15K rpm的光纤硬盘，那么，它能撑的最大IOPS为120*150=18000，这个为硬件限制的理论值，如果超过这个值，硬盘的响应可能会变的非常缓慢而不能正常提供业务。　　在raid5与raid10上，读iops没有差别，但是，相同的业务写iops，最终落在磁盘上的iops是有差别的，而我们评估的却正是磁盘的IOPS，如果达到了磁盘的限制，性能肯定是上不去了。　　那我们假定一个case，业务的iops是10000，读cache命中率是30%，读iops为60%，写iops为40%，磁盘个数为120，那么分别计算在raid5与raid10的情况下，每个磁盘的iops为多少。　　raid5:　　单块盘的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4))/120　　= (4200 + 16000)/120　　= 168　　这里的10000*(1-0.3)*0.6表示是读的iops，比例是0.6，除掉cache命中，实际只有4200个iops　　而4 * (10000*0.4) 表示写的iops，因为每一个写，在raid5中，实际发生了4个io，所以写的iops为16000个　　为了考虑raid5在写操作的时候，那2个读操作也可能发生命中，所以更精确的计算为：　　单块盘的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4))/120　　= (4200 + 5600 + 8000)/120　　= 148　　计算出来单个盘的iops为148个，基本达到磁盘极限　　raid10　　单块盘的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4))/120　　= (4200 + 8000)/120　　= 102　　可以看到，因为raid10对于一个写操作，只发生2次io，所以，同样的压力，同样的磁盘，每个盘的iops只有102个，还远远低于磁盘的极限iops。　　在一个实际的case中，一个恢复压力很大的standby(这里主要是写，而且是小io的写)，采用了raid5的方案，发现性能很差，通过分析，每个磁盘的iops在高峰时期，快达到200了，导致响应速度巨慢无比。后来改造成raid10，就避免了这个性能问题，每个磁盘的iops降到100左右。

通常当数据库管理员提出需要更多存储空间的时候，他们还会指定必须要达到多少IOPS。现在有这样一个需求，20TB存储空间同时满足4500 IOPS+RAID 5，我应该如何计算？RAID 5或者RAID 1/0的时候分别需要多少块硬盘？

首先需要知道I/O中读操作(Read)与写操作(Write)所占的百分比。然后通过下列公式，将主机的IOPS需求转换成硬盘实际IOPS负载：

 

 

 

 

RAID类型公式

RAID 5和3	Drive IOPS = Read IOPS + 4*Write IOPS
RAID 6	Drive IOPS = Read IOPS + 6*Write IOPS
RAID 1和1/0	Drive IOPS = Read IOPS + 2*Write IOPS

 

 

 

 

 

 

 

假定4500 IOPS中读/写比是2:1，则不同RAID类型Drive IOPS要求分别如下：

RAID 1/0: (2/3)*4500 + 2*(1/3)*4500 = 6000 IOPS

RAID 5: (2/3)*4500 + 4*(1/3)*4500 = 9000 IOPS

RAID 6: (2/3)*4500 + 6*(1/3)*4500 = 12000 IOPS

 

再参照下表中不同类型硬盘单块IOPS参数，得出需要多少块硬盘：

硬盘类型IOPS

Fibre Channel 15k rpm	180
SAS 15k rpm	180
Fibre Channel 10k rpm	140
SATA 7.2k rpm	80
SATA 5.4k rpm	40
Flash drive	2500

 

假定选用FC 15K RPM硬盘，则：

RAID 1/0: 6000/180 = 34 块

RAID 5: 9000/180 = 50 块

RAID 6: 12000/180 = 67 块

 

注：实际情况下还需考虑Vault Drivers (共5块)以及Hot Spares (建议每30块硬盘一个)。

 

最后，如果选用600GB FC硬盘来实现20TB可用空间，则RAID 1/0需要78块，RAID 5需要42块。