内存分页大小对性能调优的原理
首先,我们需要先回顾一下计算机组成原理,这是理解大内存分页的对JVM性能调优的前提。
什么是内存分页?
我们知道,CPU通过寻址来访问内存。我们以32位CPU寻址为例。
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLicmbw5iZyQDNzMDZzEWOwcTZiFDM3UDMzUDO4UTZxQmNyMGNh9CX0JXZ252bj91Ztl2Lc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
数据总线:主要用来传输数据,高电平,低电平分别表示0和1
地址总线:主要控制对内存条的哪块内存进行操作(寻址),32位共32根线,每根有两种状态分别表示0,或者1。共2^32。2^30为1G,所以共4G。
控制总线:主要控制是读还是写。
也就是说最大可以支持的物理内存是4G,但是在实际之中,程序可能需要4G但是内存小于4G,导致程序不可用或者降低程序占用内存。
为了解决此类问题,现代CPU引入了Memory Management
Unit内存管理单元)。
MMU 的核心思想是利用虚拟地址替代物理地址,即CPU寻址时使用虚址,由 MMU 负责将虚址映射为物理地址。MMU的引入,解决了对物理内存的限制,对程序来说,就像自己在使用4G内存一样。
内存分页(Paging)是在使用MMU的基础上,提出的一种内存管理机制。它将虚拟地址和物理地址按固定大小(4K)分割成页(page)和页帧(page
frame),并保证页与页帧的大小相同。
这种机制,从OS能支持非连续性的内存分配。在程序内存不够用时,还可以将不常用的物理内存页转移到其他存储设备上,比如磁盘,这就是大家耳熟能详的虚拟内存。
在上文中提到,虚拟地址与物理地址需要通过映射,才能使CPU正常工作。而映射就需要存储映射表。在现代CPU架构中,映射关系通常被存储在物理内存上一个被称之为页表(page table)的地方。
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLicmbw5iZyQDNzMDZzEWOwcTZiFDM3UDMzUDO4UTZxQmNyMGNh9CX0JXZ252bj91Ztl2Lc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
从这张图中,可以清晰地看到CPU与页表,物理内存之间的交互关系。
进一步优化,引入TLB(Translation lookaside
buffer,页表寄存器缓冲)由上一节可知,页表是被存储在内存中的。我们知道CPU通过总线访问内存,肯定慢于直接访问寄存器的。为了进一步优化性能,现代CPU架构引入了,用来缓存一部分经常访问的页表内容。
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLicmbw5iZyQDNzMDZzEWOwcTZiFDM3UDMzUDO4UTZxQmNyMGNh9CX0JXZ252bj91Ztl2Lc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
为什么要支持大内存分页?TLB是有限的,这点毫无疑问。当超出TLB的存储极限时,就会发生 TLB miss,之后,OS就会命令CPU去访问内存上的页表。如果频繁的出现TLB miss,程序的性能会下降地很快。
为了让TLB可以存储更多的页地址映射关系,我们的做法是调大内存分页大小。
如果一个页4M,对比一个页4K,前者可以让TLB多存储1000个页地址映射关系,性能的提升是比较可观的。
调整OS和JVM内存分页
在和windows下要启用大内存页,有一些限制和设置步骤。
Linux:限制:需要2.6内核以上或2.4内核已打大内存页补丁。确认是否支持,请在终端敲如下命令:
# cat /proc/meminfo | grep
Huge
HugePages_Total: 0
HugePages_Free: 0
Hugepagesize: 2048 kB
如果有HugePage字样的输出内容,说明你的OS是支持大内存分页的。Hugepagesize就是默认的大内存页size。接下来,为了让JVM可以调整大内存页size,需要设置下OS 共享内存段最大值 和 大内存页数量。
共享内存段最大值建议这个值大于JavaHeap
size,这个例子里设置了4G内存。
# echo 4294967295 >
/proc/sys/kernel/shmmax
大内存页数量
# echo 154 >
/proc/sys/vm/nr_hugepages
这个值一般是进程占用最大内存/单个页的大小 ,比如java设置 1.5G,单个页 10M,那么数量为 1536/10 = 154。注意:因为proc是内存FS,为了不让你的设置在重启后被冲掉,建议写个脚本放到 init 阶段(rc.local)。
Windows:限制:仅支持
windows server 2003
以上server版本操作步骤:
1.
Control Panel -> Administrative Tools -> Local
Security Policy
2.
Local Policies -> User Rights
Assignment
3.
双击 “Lock pages in memory”,
添加用户和组
4.
重启电脑
注意: 需要管理员操作。
单个页大小调整JVM启用时加参数
-XX:LargePageSizeInBytes=10m如果JDK是在1.5 update5以前的,还需要手动加 -XX:+UseLargePages,作用是启用大内存页支持。
大内存分页的副作用
因为每页size变大了,导致JVM在计算Heap内部分区(perm,
new,
old)内存占用比例时,会出现超出正常值的划分。最坏情况下是,某个区会多占用一个页的大小。不过后续jvm版本也在调整这个策略。
一般情况,不建议将页size调得太大,4-64M,是可以接受的(默认是4M)。为了合理设置这个值,你应该对你的系统做一下benchmark。说实话,网上我见过调得最猛的,有调到256M,从benchmark报表上看,性能不是太坏。如果你有64位的大内存机器,不妨尝试一下。
另外,网上有很多GC调优的文章内容中都有提到 LargePageSizeInBytes,但未提任何OS限制。在OS不支持的情况下,设置这个参数,这个参数将仅仅是个摆设。