iptables性能测试之--iptables规则数量对主机性能的影响:

宿主机指XEN服务器,VM1和VM2都是XEN上的两个虚拟机,我们这次的性能测试要压VM1.
iptables的规则是在vm1的网桥上的,
通过对XEN服务器上的iptables的vm1链定义过滤规则,来测试不同规则数量对XEN服务器系统资源的影响.

场景一:

下图是压力源,选择的是Telnet的场景,从三台压力机对xm list中的vm1进行压力测试,每个链接都是长链接,共204个链接.






VM1上规则如下:
[root@localhost ~]# iptables-save |head -n100
# Generated by iptables-save v1.3.5 on Mon Nov  9 16:17:38 2009
*nat
:PREROUTING ACCEPT [11544456:847083593]
:POSTROUTING ACCEPT [1787885:91787925]
:OUTPUT ACCEPT [2030:122721]
COMMIT
# Completed on Mon Nov  9 16:17:38 2009
# Generated by iptables-save v1.3.5 on Mon Nov  9 16:17:38 2009
*filter
:INPUT ACCEPT [26255:1538953]
:FORWARD ACCEPT [86828026:3584385134]
:OUTPUT ACCEPT [24707:11914350]
:vm1 - [0:0]
-A FORWARD -m physdev  --physdev-in peth0 --physdev-out vif10.0 -j vm1
-A vm1 -p tcp -m state --state RELATED,ESTABLISHED -j RETURN
-A vm1 -s 192.168.1.1 -p tcp -j ACCEPT
-A vm1 -s 192.168.1.2 -p tcp -j ACCEPT
-A vm1 -s 192.168.1.3 -p tcp -j ACCEPT
-A vm1 -s 192.168.1.4 -p tcp -j ACCEPT
-A vm1 -s 192.168.1.5 -p tcp -j ACCEPT
-A vm1 -s 192.168.1.6 -p tcp -j ACCEPT
.............
[root@localhost ~]# iptables-save |tail -n10
-A vm1 -s 192.168.139.13 -p tcp -j ACCEPT
-A vm1 -s 192.168.139.14 -p tcp -j ACCEPT
-A vm1 -s 192.168.139.15 -p tcp -j ACCEPT
-A vm1 -s ! 192.168.0.0/255.255.0.0 -p tcp -m tcp --dport 22 -j ACCEPT
-A vm1 -s ! 192.168.0.0/255.255.0.0 -p tcp -m tcp --dport 12345 -j ACCEPT
-A vm1 -s ! 192.168.0.0/255.255.0.0 -p tcp -m tcp --dport 10115 -j ACCEPT
-A vm1 -j ACCEPT
-A vm1 -j DROP
COMMIT
# Completed on Mon Nov  9 16:18:45 2009

规则数量:
[root@localhost ~]# iptables-save |grep "A vm1 -s" -c
34380


宿主机系统资源截图:





在这张图里面可以看到cpu时间花在softirq上有20.6%之多,

压力执行过程中iptables执行状态

[root@localhost ~]# iptables -vnL|head -n 10
Chain INPUT (policy ACCEPT 12078 packets, 792K bytes)
pkts bytes target     prot opt in     out     source               destination        

Chain FORWARD (policy ACCEPT 81M packets, 3330M bytes)
pkts bytes target     prot opt in     out     source               destination        
116K 9011K vm1        all  --  *      *       0.0.0.0/0            0.0.0.0/0           PHYSDEV match --physdev-in peth0 --physdev-out vif10.0

Chain OUTPUT (policy ACCEPT 10612 packets, 8726K bytes)
pkts bytes target     prot opt in     out     source               destination

[root@localhost ~]# iptables -vnL|tail -n 5
    0     0 ACCEPT     tcp  --  *      *      !192.168.0.0/16       0.0.0.0/0           tcp dpt:22
    0     0 ACCEPT     tcp  --  *      *      !192.168.0.0/16       0.0.0.0/0           tcp dpt:12345
    0     0 ACCEPT     tcp  --  *      *      !192.168.0.0/16       0.0.0.0/0           tcp dpt:10115
14783 1167K ACCEPT     all  --  *      *       0.0.0.0/0            0.0.0.0/0          
    0     0 DROP       all  --  *      *       0.0.0.0/0            0.0.0.0/0

可以看到都被倒数第二条规则接收了.

附加信息:

vm1的数据流量:

root@ubuntu:~# ifstat
       eth0      
KB/s in  KB/s out
2634.01   2632.44
2664.86   2662.29
2635.10   2633.90
2600.32   2599.70
2556.24   2553.81
2679.63   2679.75
2674.94   2674.52
2682.71   2678.81
2690.86   2689.16
2643.59   2641.61
2632.98   2630.52
2615.44   2615.29

压力源和VM1的网络链接状态(压力机上):
root@ubuntu:~# netstat -an|grep 10.2.226
tcp        0      0 10.2.226.221:10115      10.2.226.16:21482       TIME_WAIT 
tcp        0      0 10.2.226.221:10115      10.2.226.15:26357       TIME_WAIT 
tcp        0      1 10.2.226.221:12345      10.2.226.42:54471       ESTABLISHED
tcp        0      0 10.2.226.221:10115      10.2.226.16:21483       TIME_WAIT 
tcp        0      0 10.2.226.221:10115      10.2.226.15:26356       TIME_WAIT 
tcp        0      1 10.2.226.221:12345      10.2.226.42:54470       ESTABLISHED
tcp        0      0 10.2.226.221:10115      10.2.226.16:21480       TIME_WAIT 
tcp        0      0 10.2.226.221:10115      10.2.226.15:26359       TIME_WAIT 
tcp        0      1 10.2.226.221:12345      10.2.226.42:54469       ESTABLISHED
tcp        0      0 10.2.226.221:10115      10.2.226.16:21481       TIME_WAIT 
tcp        0      0 10.2.226.221:10115      10.2.226.15:26358       TIME_WAIT 
tcp        0      1 10.2.226.221:12345      10.2.226.42:54468       ESTABLISHED

压力源和VM1之间连接数:
root@ubuntu:~# netstat -an|grep 10.2.226 -c
206
root@ubuntu:~# netstat -an|grep 10.2.226 |wc -l
206




测试场景二:

压力源不变,
iptables规则逻辑不变,
更改规则数量为:
[root@localhost ~]#  iptables-save |grep "A vm1 -s" -c
252


此时宿主机系统资源截图:





softirq占用了cpu的19%,也不少么!

这个试验证实了在该测试环境中,iptables的规则数对iptables主机的系统资源占用并无多大影响.

不过还两个问题还需要继续验证:
一:
目前这个场景的iptables只有一条接收所有请求.
如果有个场景的N条规则,每条规则都接受M条请求,会不会跟现在被测场景的消耗资源情况一样?
二:
softirq占用的CPU是都给iptables使用去了么?还是被XEN server使用了?

参考资料:

什么是softirq:
http://www.lslnet.com/linux/f/docs1/i48/big5331376.htm

ksoftirqd进程的解释:
http://blog.csdn.net/qinzhonghello/archive/2008/12/15/3524236.aspx