天天看点

性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)

继 性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(一),性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(二)两篇文章之后,接下来该讲述Perm gen引起的内存泄露问题的分析过程。

perm gen

我们在上2篇文章中知道,perm gen是个异类,里面存储了类和方法数据(与class loader有关)以及interned strings(字符串驻留)。在heap dump中没有包含太多的perm gen信息。那么我们就用这些少量的信息来解决问题吧。

看下面的代码,利用interned strings把perm gen撑破了。

package  org.rosenjiang.test;

public   class  OOMPermTest {

     public   static   void  main(String[] args){

        oom();

    }

     private   static   void  oom(){

        Object[] array  =   new  Object[ 10000000 ];

         for ( int  i = 0 ; i < 10000000 ; i ++ ){

            String d  =  String.valueOf(i).intern();

            array[i] = d;

        }

    }

}

控制台打印如下的信息,然后把java_pid1824.hprof文件导入到MAT。其实在MAT里,看到的状况应该和“OutOfMemoryError: Java heap space”差不多(用了数组),因为heap dump并没有包含interned strings方面的任何信息。只是在这里需要强调,使用intern()方法的时候应该多加注意。

java.lang.OutOfMemoryError: PermGen space

Dumping heap to java_pid1824.hprof 

性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)

Heap dump file created  [ 121273334 bytes in 2.845 secs ]

Exception in thread  " main "  java.lang.OutOfMemoryError: PermGen space

性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)
性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)
性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)
性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)
性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)
性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)
性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)
性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)
性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)
性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)

倒是在思考如何把class loader撑破废了些心思。经过尝试,发现使用ASM来动态生成类才能达到目的。ASM(http://asm.objectweb.org)的主要作用是处理已编译类(compiled class),能对已编译类进行生成、转换、分析(功能之一是实现动态代理),而且它运行起来足够的快和小巧,文档也全面,实属居家必备之良品。ASM提供了core API和tree API,前者是基于事件的方式,后者是基于对象的方式,类似于XML的SAX、DOM解析,但是使用tree API性能会有损失。既然下面要用到ASM,这里不得不啰嗦下已编译类的结构,包括:

    1、修饰符(例如public、private)、类名、父类名、接口和annotation部分。

    2、类成员变量声明,包括每个成员的修饰符、名字、类型和annotation。

    3、方法和构造函数描述,包括修饰符、名字、返回和传入参数类型,以及annotation。当然还包括这些方法或构造函数的具体Java字节码。

    4、常量池(constant pool)部分,constant pool是一个包含类中出现的数字、字符串、类型常量的数组。

性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)

已编译类和原来的类源码区别在于,已编译类只包含类本身,内部类不会在已编译类中出现,而是生成另外一个已编译类文件;其二,已编译类中没有注释;其三,已编译类没有package和import部分。

这里还得说说已编译类对Java类型的描述,对于原始类型由单个大写字母表示,Z代表boolean、C代表char、B代表byte、S代表short、I代表int、F代表float、J代表long、D代表double;而对类类型的描述使用内部名(internal name)外加前缀L和后面的分号共同表示来表示,所谓内部名就是带全包路径的表示法,例如String的内部名是java/lang/String;对于数组类型,使用单方括号加上数据元素类型的方式描述。最后对于方法的描述,用圆括号来表示,如果返回是void用V表示,具体参考下图。

性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)
性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)

下面的代码中会使用ASM core API,注意接口ClassVisitor是核心,FieldVisitor、MethodVisitor都是辅助接口。ClassVisitor应该按照这样的方式来调用:visit visitSource? visitOuterClass? ( visitAnnotation | visitAttribute )*( visitInnerClass | visitField | visitMethod )* visitEnd。就是说visit方法必须首先调用,再调用最多一次的visitSource,再调用最多一次的visitOuterClass方法,接下来再多次调用visitAnnotation和visitAttribute方法,最后是多次调用visitInnerClass、visitField和visitMethod方法。调用完后再调用visitEnd方法作为结尾。

注意ClassWriter类,该类实现了ClassVisitor接口,通过toByteArray方法可以把已编译类直接构建成二进制形式。由于我们要动态生成子类,所以这里只对ClassWriter感兴趣。首先是抽象类原型:

package  org.rosenjiang.test;

public   abstract   class  MyAbsClass {

     int  LESS  =   - 1 ;

     int  EQUAL  =   0 ;

     int  GREATER  =   1 ;

     abstract   int  absTo(Object o);

}

其次是自定义类加载器,实在没法,ClassLoader的defineClass方法都是protected的,要加载字节数组形式(因为toByteArray了)的类只有继承一下自己再实现。

package  org.rosenjiang.test;

public   class  MyClassLoader  extends  ClassLoader {

     public  Class defineClass(String name,  byte [] b) {

         return  defineClass(name, b,  0 , b.length);

    }

}

最后是测试类。

package  org.rosenjiang.test;

import  java.util.ArrayList;

import  java.util.List;

import  org.objectweb.asm.ClassWriter;

import  org.objectweb.asm.Opcodes;

public   class  OOMPermTest {

     public   static   void  main(String[] args)  {

        OOMPermTest o  =   new  OOMPermTest();

        o.oom();

    }

     private   void  oom()  {

         try  {

            ClassWriter cw  =   new  ClassWriter( 0 );

            cw.visit(Opcodes.V1_5, Opcodes.ACC_PUBLIC  +  Opcodes.ACC_ABSTRACT,

             " org/rosenjiang/test/MyAbsClass " ,  null ,  " java/lang/Object " ,

             new  String[] {});

            cw.visitField(Opcodes.ACC_PUBLIC  +  Opcodes.ACC_FINAL  +  Opcodes.ACC_STATIC,  " LESS " ,  " I " ,

             null ,  new  Integer( - 1 )).visitEnd();

            cw.visitField(Opcodes.ACC_PUBLIC  +  Opcodes.ACC_FINAL  +  Opcodes.ACC_STATIC,  " EQUAL " ,  " I " ,

             null ,  new  Integer( 0 )).visitEnd();

            cw.visitField(Opcodes.ACC_PUBLIC  +  Opcodes.ACC_FINAL  +  Opcodes.ACC_STATIC,  " GREATER " ,  " I " ,

             null ,  new  Integer( 1 )).visitEnd();

            cw.visitMethod(Opcodes.ACC_PUBLIC  +  Opcodes.ACC_ABSTRACT,  " absTo " ,

             " (Ljava/lang/Object;)I " ,  null ,  null ).visitEnd();

            cw.visitEnd();

             byte [] b  =  cw.toByteArray();

            List < ClassLoader >  classLoaders  =   new  ArrayList < ClassLoader > ();

             while  ( true ) {

                MyClassLoader classLoader  =   new  MyClassLoader();

                classLoader.defineClass( " org.rosenjiang.test.MyAbsClass " , b);

                classLoaders.add(classLoader);

            }

        }  catch  (Exception e) {

            e.printStackTrace();

        }

    }

}

不一会儿,控制台就报错了。

java.lang.OutOfMemoryError: PermGen space

Dumping heap to java_pid3023.hprof 

性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)

Heap dump file created  [ 92593641 bytes in 2.405 secs ]

Exception in thread  " main "  java.lang.OutOfMemoryError: PermGen space

性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)
性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)
性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)

打开java_pid3023.hprof文件,注意看下图的Classes: 88.1k和Class Loader: 87.7k部分,从这点可看出class loader加载了大量的类。

性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)

更进一步分析,点击上图中红框线圈起来的按钮,选择Java Basics——Class Loader Explorer功能。打开后能看到下图所示的界面,第一列是class loader名字;第二列是class loader已定义类(defined classes)的个数,这里要说一下已定义类和已加载类(loaded classes)了,当需要加载类的时候,相应的class loader会首先把请求委派给父class loader,只有当父class loader加载失败后,该class loader才会自己定义并加载类,这就是Java自己的“双亲委派加载链”结构;第三列是class loader所加载的类的实例数目。

性能分析工具之-- Eclipse Memory Analyzer tool(MAT)(三)

在Class Loader Explorer这里,能发现class loader是否加载了过多的类。另外,还有Duplicate Classes功能,也能协助分析重复加载的类,在此就不再截图了,可以肯定的是MyAbsClass被重复加载了N多次。

最后

其实MAT工具非常的强大,上面故弄玄虚的范例代码根本用不上MAT的其他分析功能,所以就不再描述了。其实对于OOM不只我列举的两种溢出错误,还有多种其他错误,但我想说的是,对于perm gen,如果实在找不出问题所在,建议使用JVM的-verbose参数,该参数会在后台打印出日志,可以用来查看哪个class loader加载了什么类,例:“[Loaded org.rosenjiang.test.MyAbsClass from org.rosenjiang.test.MyClassLoader]”。

全文完。

参考资料

memoryanalyzer Blog

java类加载器体系结构

ClassLoader