原文网址:erlang网络编程的几个性能调优和注意点
原文作者:coderplay
前些天给echo_server写了个非常简单的连接压力测试程序,
下载: stress_test.erl
-module(stress_test).
-export([start/0, tests/1]).
start() ->
tests(12345).
tests(Port) ->
io:format("starting~n"),
spawn(fun() -> test(Port) end),
spawn(fun() -> test(Port) end),
spawn(fun() -> test(Port) end),
spawn(fun() -> test(Port) end).
test(Port) ->
case gen_tcp:connect("192.168.0.217", Port, [binary,{packet, 0}]) of
{ok, _} ->
test(Port);
_ ->
test(Port)
end.
一开始我的这个stress_test客户端运行在windows上面, echo_server服务器端运行在linux上面。结果接受了1016个连接就停止了. 于是我用ulimit -n 改了服务器端的文件描述符数量为10240. 接着还是如此,折腾了几天,最终还是没有搞明白。
于是就qiuzhu于公司的linux编程牛人,结果让我一倒… 客户端没有修改文件描述符个数. windows上得在注册表里面改.
牛人开始对这东西的性能感兴趣了,刚好我摸了一阵子erlang的文档,于是我俩就走向了erlang网络连接的性能调优之旅啦~~过程真是让人兴奋。 我们很快通过了1024这一关~~到了4999个连接,很兴奋.
但为什么4999个连接呢, 检查一下代码终于发现echo_server.erl定义了一个宏, 最大连接数为5000. 我又倒~~
修改编译之后, 连接数跑到101xx多了, 太哈皮了!
再测102400个连接时,到32767个连接数erl挂了~说是进程开得太多了. 好在记得这个erl的参数+P,可以定义erlang能生成的进程数. 默认是32768. 改了!
后面不知怎么着,在81231个连接停止了. 新的性能瓶颈又卡了我们. 好在牛人对linux熟, 用strace(这东西会莫名地退出), stap查出一些苗头. 我也想到在otp文档好像提过另一个limit,那就是端口数…在此同时我们发现erlang在linux上是用的传统poll模型. 但查erlang的源代码发现是支持epoll的. 在网上搜了半天,终于搜到了个maillist的帖子.
$./configure --enable-kernel-poll
由于我们的测试服务器是双核的,我们在配置的时候也打开了smp支持. 欢快的make & make install之后….
把 /proc/sys/net/ipv4/ip_local_port_range 的内容改成了1024到65535. 最多也也能改成65535
$echo 1024 65535 > ip_local_port_range
另外再添加一个erl的环境变量
$export ERL_MAX_PORTS=102400
于是开始跑了,不过这次跑不一样了
echo_server
$erl -noshell +P 102400 +K true +S 2 -smp -s echo_server start
stress_test
$erl -noshell +P 102400 +K true +S 2 -smp -s stress_test start
这里的+K true,表示使用内核poll,+S 2 表示两个核. 这样可欢快啦~~~ 10w大关过咯! 而且比刚才没用epoll的速度快暴多~~
于是我们又开始了204800个连接发测试了~~~
用top一看cpu占用率极低,服务器只在5%左右。内存也不是很大~~
分享到:
相关推荐
在摸索过一段时间Erlang文档后,笔者开始走向了Erlang网络连接的性能调优之旅。本文详细记录了笔者走向Erlang网络编程性能调优之旅的每个脚印。
neurlang, 在 elixir/erlang中,神经网络库 Neurlangconstructing 神经网络( ) Elixir Elixir或者 Erlang的构造库。Neurlang本质上是 DXNN2 核心神经网络元素的端口。但是,与 DXNN2 不同,Neurlang:是用El
erlang入门电子书 erlang编程 Introducing Erlang,作者Simon.St.Laurent
erlang高性能网络库esockd的编译和使用,erlang高性能网络库esockd的编译和使用
erlang 安装包
erlang最新 api
ErlangB和ErlangC计算工具(exe可执行文件+excel两个) ErlangB和ErlangC计算工具(exe可执行文件+excel两个)
erlang otp25 win安装包
Erlang及其应用Erlang及其应用Erlang及其应用
我在2009 CN Erlounge IV的“谈谈erlang网络环境下的几种数据流转形式”讲演的PPT。
erlang25.0 windows版本
谈谈erlang网络环境下的几种数据流转形式(视频,1/3) 这是第二卷。 我在2009 CN Erlounge IV的“谈谈erlang网络环境下的几种数据流转形式”讲演的视频。PPT等其它资料在这里: ... 有关信息参见: ...
erlang调优,为learn you some erlang for good的作者出的,里面介绍recon工具
erlang22最新下载包 erlang22.1.tar.gz erlang22最新下载包 erlang22最新下载包
Erlang并发编程,Erlang程序设计,Erlang中文手册。 学习erlang的好资料。 Erlang是一个结构化,动态类型编程语言,内建并行计算支持。最初是由爱立信专门为通信应用设计的,比如控制交换机或者变换协议等,因此...
● 分布式 - 一个分布式Erlang系统是多个Erlang节点组成的网络(通常每个处理器被作为一个节点) ● 健壮性 - Erlang具有多种基本的错误检测能力,它们能够用于构建容错系统。 ● 软实时性- Erlang支持可编程的“软...
esl-erlang_23.0和rabbitmq-3.8.4windows版本 直接下载安装就行,可以直接下载就可安装,非常的方便 ,欢迎大家下载 注意事项: 1. Erlang版本和RabbitMQ版本要配套 (Erlang23.0, RabbitMQ3.8.4) 2. amd芯片请乖乖...
[奥莱理] 网络应用开发 (Erlang 实现) (英文版) [奥莱理] Building Web Applications with Erlang Working with REST and Web Sockets on Yaws (E-Book) ☆ 出版信息:☆ [作者信息] Zachary Kessin [出版机构] ...
书中兼顾了顺序编程、并发编程和分布式编程,重点介绍如何编写并发和分布式的Erlang程序以及如何在多核CPU上自动加速程序,并深入地讨论了开发Erlang应用中至关重要的文件和网络编程、OTP、ETS和DETS等主题。...
erlang中文基础教程