Openfire性能优化与压力测试小结

jopen 10年前

Openfire配置：

Ubuntu安装Openfire后性能极低，压力测试只能到4000在线用户数。

第一步修改Openfire运行环境

通过ps -aux | grep openfire查看openfire服务能观察到启动命令为：

/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java -server -DopenfireHome=/usr/share/openfir -Dopenfire.lib.dir=/usr/share/openfire/lib -classpath /usr/share/openfire/lib/startup.jar -jar /usr/share/openfire/lib/startup.jar

首先看到这里用的JVM是openjdk提供的，性能不行，因此先kill掉这个进程（如果不是使用Openjdk就不需要这个操作了）。Kill掉再执行ps看看是不是真正被改掉了，然后切换到root下执行 /etc/init.d/openfire start。再次查看已经切换成自己的JDK路径了，前提是配置过JDK。

/home/david/java/jdk1.8.0_05//bin/java -server -DopenfireHome=/usr/share/openfire -Dopenfire.lib.dir=/usr/share/openfire/lib -classpath /usr/share/openfire/lib/startup.jar -jar /usr/share/openfire/lib/startup.jar

第二步 epoll方式修改：

为提高性能需要更改启动命令为NIO支持epoll，需要修改/etc/init.d/openfire脚本文件。将DAEMON_OPTS改为

DAEMON_OPTS="$DAEMON_OPTS -server -Xms3072m -Xmx4096m -Djava.nio.channels.spi.SelectorProvider=sun.nio.ch.EPollSelectorProvider -DopenfireHome=${DAEMON_DIR} \

-Dopenfire.lib.dir=${DAEMON_LIB} -classpath ${DAEMON_LIB}/startup.jar\

-jar ${DAEMON_LIB}/startup.jar"

主要加入了-Djava.nio.channels.spi.SelectorProvider=sun.nio.ch.EPollSelectorProvider这个选项，注意这里还修改了jvm内存使用大小。

tsung压力测试：

第一步修改打开最大文件数目

不做任何修改的主机安装tsung做压力测试时发现最多只能到达1000左右的在线用户数，错误为emfile执行ulimit –n查看为1024，意思是打开的文件太多了，默认为1024个。执行ulimit –n 65535，这个65535随便一个大点的数字就好。长期修改需要修改/etc/security/limits.conf，加入：

root - nofile 65535

注：root必须明确写上root不能使用*。

第二步修改端口范围

继续做压力测试发现到达28000左右压力就上不去了，错误为eaddrinuse，这个时候是端口不够用了。需要修改/etc/sysctl.conf，加入：

net.ipv4.ip_local_port_range = 1024 65000

将端口可分配的范围增加到6W多个，执行sysctl –p立即生效，通过sysctl –a | grep range查看是否已经有变化。此时再去做压力测试就能发现在线用户数已经到达了6W个。

第三步 tsung集群

一台机模拟6W用户在线就已经到极限了，此时需要多台tsung测试机来进行测试。每台测试服务器上需要安装相同的erlang和tsung版本，并且通过 root能够无密码登录(root可能非必须)。另外特别注意的一点是机器名称不能使用lc-optex之类的，中间的“-”在erl中会导致无法连接，直接取名kf2lc这样就OK了。

以三台测试机（可以用虚拟机采用桥接模式）为例，假设机器名称为kf2test01、kf2test02、kf2test03，IP分别对应为172.28.23.180、172.28.23.181、172.28.23.182。

分别在在各机器的/etc/hosts上加入:

                    172.28.23.180 kf2test01

        172.28.23.181 kf2test02

        172.28.23.182 kf2test03

         Kf2test01切换到root后执行ssh kf2test02，如果无密码登录就OK了，提示输入密码的话需要改为无密码登录。其它机器做相同的连接测试，保证能够相互无密码登录。

         此时ulimit –n查看远端服务器最大文件数限制仍然为1024,会导致集群的从服务器最大只能创建1000个左右的模拟用户，需要在/etc/profile中加入：

        ulimit -SHn 65535

         在tsung测试压力前可以通过执行erl来测试集群是否成功，shell中执行erl：

>erl -rsh ssh -sname root -setcookie mycookie

Eshell V5.8.5 (abort with ^G)

(root@kf2test01)1>slave:start(kf2test02,root,"-setcookie mycookie").

如果返回ok则表示成功，如下：

{ok,root@kf2test02}

无法集群则会半天无反应，最后显示{error,timeout}。

配置好tsung后，修改jabber.xml配置：

<clients>

    <client host="kf2test01" use_controller_vm="false" maxusers="60000">

        <ip value="172.28.23.180"/>

    </client>

    <client host="kf2test02" use_controller_vm="false" maxusers="60000">

        <ip value="172.28.23.181"/>

    </client>

    <client host="kf2test03" use_controller_vm="false" maxusers="60000">

        <ip value="172.28.23.182"/>

    </client>

</clients>

然后执行tsung –f jabber.xml进行集群压力测试。通过这样方式测试理论上能达到18W模拟用户。以下是测试输出报告：

Openfire性能优化的一些思考：
1.现在服务器连接并发量才1400多，通过加入连接管理器(CONNECTION MANAGER)实现大并发，前端需要加入负载均衡服务器(Load Banlancer)或DNS来实现分流。
2.Openfire直接连接数据库，需要加入memcached作为数据库缓存。
3.Openfire集群据说有性能问题，需要找到瓶颈。
4.服务器最终应选为CentOS，而非ubuntu。

原文地址：http://note.youdao.com/share/?id=efde1171b948baa86d4c2e70c97ef3b4&type=note

Openfire性能优化与压力测试小结

相关经验

目录