天天看点

Netty5中ByteBuf对象的创建方式对内存的影响

(本文转载自51CTO【积水成渊】的博客:http://xiaochu.blog.51cto.com/1048262/1588426)

在使用netty 的时候,发现让单机的支持量加大的时候,内存也随着程序的运行一直增长,原因就是因为ByteBuf对象的创建方式不够合理。现做简单的分析和整理:

ByteBuf是netty中提供的一种数据结构,经过查看源代码发现,创建ByteBuf对象主要有两种方式:

UnpooledByteBufAllocator:默认的创建方式
PooledByteBufAllocator:不是默认的,可以重复利用之前分配的内存空间。

这两个类,都是AbstractByteBufAllocator的子类,

AbstractByteBufAllocator实现了一个接口,叫做ByteBufAllocator。

Netty5中ByteBuf对象的创建方式对内存的影响

在使用默认的UnpooledByteBufAllocator的方式创建ByteBuf的时候,单台24核CPU的服务器,16G内存,刚启动时候,10000个长连接,每隔几秒就发一条群组消息,内存占到10G多点,但随着系统的运行,内存不断增长,直到整个系统内存溢出挂掉。

把UnpooledByteBufAllocator换成PooledByteBufAllocator,内存使用量机器能维持在一个连接占用0.9-1M之间,经常长期的运行测试,发现都能维持在这个数量。

使用方法如下:

1 2 3 4 5 6 7 8 9 10

ServerBootstrap b = 

new

ServerBootstrap();

b.group(bossGroup, workerGroup)

.channel(NioServerSocketChannel.

class

)

.childHandler(createInitializer())

.option(ChannelOption.SO_BACKLOG, 

1024

)

.option(ChannelOption.SO_RCVBUF, 

1024

*

256

)

.option(ChannelOption.SO_SNDBUF, 

1024

*

256

)

.option(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT)       

.childOption(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT)  

.childOption(ChannelOption.SO_KEEPALIVE, 

true

);

另外ChannelOption中的参数也有很多可以优化的。

另外发现了一片类似问题的博客。

http://blog.csdn.net/jiangguilong2000/article/details/39501541

Netty5.0的功能也是越来越强大,所以直接就把原来的3.6的版本系统直接升级到了5.0的,需要说明的是Netty5.0一定要配合JDK7 64位才能表现良好。在学习和使用Netty5.0中发现使用的Reactor线程模型,能使得对CPU的利用达到饱和状态,是并发编程的首选。

关于Netty5的一些新特性,也看到有人整理的资料,转载一下:

http://www.oschina.net/translate/netty-4-0-new-and-noteworthy

http://ju.outofmemory.cn/entry/75941