天天看點

夯實Java基礎系列22:一文讀懂Java序列化和反序列化

本系列文章将整理到我在GitHub上的《Java面試指南》倉庫,更多精彩内容請到我的倉庫裡檢視

https://github.com/h2pl/Java-Tutorial

喜歡的話麻煩點下Star哈

文章首發于我的個人部落格:

www.how2playlife.com

本文參考

http://www.importnew.com/17964.html

https://www.ibm.com/developerworks/cn/java/j-lo-serial/

序列化與反序列化概念

序列化 (Serialization)是将對象的狀态資訊轉換為可以存儲或傳輸的形式的過程。一般将一個對象存儲至一個儲存媒介,例如檔案或是記億體緩沖等。在網絡傳輸過程中,可以是位元組或是XML等格式。而位元組的或XML編碼格式可以還原完全相等的對象。這個相反的過程又稱為反序列化。

Java對象的序列化與反序列化

在Java中,我們可以通過多種方式來建立對象,并且隻要對象沒有被回收我們都可以複用該對象。但是,我們建立出來的這些Java對象都是存在于JVM的堆記憶體中的。

隻有JVM處于運作狀态的時候,這些對象才可能存在。一旦JVM停止運作,這些對象的狀态也就随之而丢失了。

但是在真實的應用場景中,我們需要将這些對象持久化下來,并且能夠在需要的時候把對象重新讀取出來。Java的對象序列化可以幫助我們實作該功能。

對象序列化機制(object serialization)是Java語言内建的一種對象持久化方式,通過對象序列化,可以把對象的狀态儲存為位元組數組,并且可以在有需要的時候将這個位元組數組通過反序列化的方式再轉換成對象。

對象序列化可以很容易的在JVM中的活動對象和位元組數組(流)之間進行轉換。

在Java中,對象的序列化與反序列化被廣泛應用到RMI(遠端方法調用)及網絡傳輸中。

相關接口及類

Java為了友善開發人員将Java對象進行序列化及反序列化提供了一套友善的API來支援。其中包括以下接口和類:

java.io.Serializable

java.io.Externalizable

ObjectOutput

ObjectInput

ObjectOutputStream

ObjectInputStream

Serializable 接口
           

類通過實作 java.io.Serializable 接口以啟用其序列化功能。

未實作此接口的類将無法使其任何狀态序列化或反序列化。可序列化類的所有子類型本身都是可序列化的。序列化接口沒有方法或字段,僅用于辨別可序列化的語義。 (該接口并沒有方法和字段,為什麼隻有實作了該接口的類的對象才能被序列化呢?)

當試圖對一個對象進行序列化的時候,如果遇到不支援 Serializable 接口的對象。在此情況下,将抛出NotSerializableException。

如果要序列化的類有父類,要想同時将在父類中定義過的變量持久化下來,那麼父類也應該內建java.io.Serializable接口。

下面是一個實作了java.io.Serializable接口的類

public class 序列化和反序列化 {


    public static void main(String[] args) {

    }
    //注意,内部類不能進行序列化,因為它依賴于外部類
    @Test
    public void test() throws IOException {
        A a = new A();
        a.i = 1;
        a.s = "a";
        FileOutputStream fileOutputStream = null;
        FileInputStream fileInputStream = null;
        try {
            //将obj寫入檔案
            fileOutputStream = new FileOutputStream("temp");
            ObjectOutputStream objectOutputStream = new ObjectOutputStream(fileOutputStream);
            objectOutputStream.writeObject(a);
            fileOutputStream.close();
            //通過檔案讀取obj
            fileInputStream = new FileInputStream("temp");
            ObjectInputStream objectInputStream = new ObjectInputStream(fileInputStream);
            A a2 = (A) objectInputStream.readObject();
            fileInputStream.close();
            System.out.println(a2.i);
            System.out.println(a2.s);
            //列印結果和序列化之前相同
        } catch (IOException e) {
            e.printStackTrace();
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
    }
}

class A implements Serializable {

    int i;
    String s;
}
           

Externalizable接口

除了Serializable 之外,java中還提供了另一個序列化接口Externalizable

為了了解Externalizable接口和Serializable接口的差別,先來看代碼,我們把上面的代碼改成使用Externalizable的形式。

class B implements Externalizable {
    //必須要有公開無參構造函數。否則報錯
    public B() {

    }
    int i;
    String s;
    @Override
    public void writeExternal(ObjectOutput out) throws IOException {

    }

    @Override
    public void readExternal(ObjectInput in) throws IOException, ClassNotFoundException {

    }
}

@Test
    public void test2() throws IOException, ClassNotFoundException {
        B b = new B();
        b.i = 1;
        b.s = "a";
        //将obj寫入檔案
        FileOutputStream fileOutputStream = new FileOutputStream("temp");
        ObjectOutputStream objectOutputStream = new ObjectOutputStream(fileOutputStream);
        objectOutputStream.writeObject(b);
        fileOutputStream.close();
        //通過檔案讀取obj
        FileInputStream fileInputStream = new FileInputStream("temp");
        ObjectInputStream objectInputStream = new ObjectInputStream(fileInputStream);
        B b2 = (B) objectInputStream.readObject();
        fileInputStream.close();
        System.out.println(b2.i);
        System.out.println(b2.s);
        //列印結果為0和null,即初始值,沒有被指派
        //0
        //null
    }
           

通過上面的執行個體可以發現,對B類進行序列化及反序列化之後得到的對象的所有屬性的值都變成了預設值。也就是說,之前的那個對象的狀态并沒有被持久化下來。這就是Externalizable接口和Serializable接口的差別:

Externalizable繼承了Serializable,該接口中定義了兩個抽象方法:writeExternal()與readExternal()。

當使用Externalizable接口來進行序列化與反序列化的時候需要開發人員重寫writeExternal()與readExternal()方法。由于上面的代碼中,并沒有在這兩個方法中定義序列化實作細節,是以輸出的内容為空。

還有一點值得注意:在使用Externalizable進行序列化的時候,在讀取對象時,會調用被序列化類的無參構造器去建立一個新的對象,然後再将被儲存對象的字段的值分别填充到新對象中。是以,實作Externalizable接口的類必須要提供一個public的無參的構造器。
class C implements Externalizable {
    int i;
    int j;
    String s;
    public C() {

    }
    //實作下面兩個方法可以選擇序列化中需要被複制的成員。
    //并且,寫入順序和讀取順序要一緻,否則報錯。
    //可以寫入多個同類型變量,順序保持一緻即可。
    @Override
    public void writeExternal(ObjectOutput out) throws IOException {
        out.writeInt(i);
        out.writeInt(j);
        out.writeObject(s);
    }

    @Override
    public void readExternal(ObjectInput in) throws IOException, ClassNotFoundException {
        i = in.readInt();
        j = in.readInt();
        s = (String) in.readObject();
    }
}

@Test
    public void test3() throws IOException, ClassNotFoundException {
        C c = new C();
        c.i = 1;
        c.j = 2;
        c.s = "a";
        //将obj寫入檔案
        FileOutputStream fileOutputStream = new FileOutputStream("temp");
        ObjectOutputStream objectOutputStream = new ObjectOutputStream(fileOutputStream);
        objectOutputStream.writeObject(c);
        fileOutputStream.close();
        //通過檔案讀取obj
        FileInputStream fileInputStream = new FileInputStream("temp");
        ObjectInputStream objectInputStream = new ObjectInputStream(fileInputStream);
        C c2 = (C) objectInputStream.readObject();
        fileInputStream.close();
        System.out.println(c2.i);
        System.out.println(c2.j);
        System.out.println(c2.s);
        //列印結果為0和null,即初始值,沒有被指派
        //0
        //null
    }
           

序列化ID

序列化 ID 問題

情境:兩個用戶端 A 和 B 試圖通過網絡傳遞對象資料,A 端将對象 C 序列化為二進制資料再傳給 B,B 反序列化得到 C。

問題:C 對象的全類路徑假設為 com.inout.Test,在 A 和 B 端都有這麼一個類檔案,功能代碼完全一緻。也都實作了 Serializable 接口,但是反序列化時總是提示不成功。

解決:虛拟機是否允許反序列化,不僅取決于類路徑和功能代碼是否一緻,一個非常重要的一點是兩個類的序列化 ID 是否一緻(就是 private static final long serialVersionUID = 1L)。清單 1 中,雖然兩個類的功能代碼完全一緻,但是序列化 ID 不同,他們無法互相序列化和反序列化。

package com.inout; 
 
import java.io.Serializable; 
 
public class A implements Serializable { 
 
    private static final long serialVersionUID = 1L; 
 
    private String name; 
    
    public String getName() 
    { 
        return name; 
    } 
    
    public void setName(String name) 
    { 
        this.name = name; 
    } 
} 
 
package com.inout; 
 
import java.io.Serializable; 
 
public class A implements Serializable { 
 
    private static final long serialVersionUID = 2L; 
    
    private String name; 
    
    public String getName() 
    { 
        return name; 
    } 
    
    public void setName(String name) 
    { 
        this.name = name; 
    } 
}
           

靜态變量不參與序列化

清單 2 中的 main 方法,将對象序列化後,修改靜态變量的數值,再将序列化對象讀取出來,然後通過讀取出來的對象獲得靜态變量的數值并列印出來。依照清單 2,這個 System.out.println(t.staticVar) 語句輸出的是 10 還是 5 呢?

public class Test implements Serializable {
 
    private static final long serialVersionUID = 1L;
 
    public static int staticVar = 5;
 
    public static void main(String[] args) {
        try {
            //初始時staticVar為5
            ObjectOutputStream out = new ObjectOutputStream(
                    new FileOutputStream("result.obj"));
            out.writeObject(new Test());
            out.close();
 
            //序列化後修改為10
            Test.staticVar = 10;
 
            ObjectInputStream oin = new ObjectInputStream(new FileInputStream(
                    "result.obj"));
            Test t = (Test) oin.readObject();
            oin.close();
             
            //再讀取,通過t.staticVar列印新的值
            System.out.println(t.staticVar);
             
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
    }
}
           

最後的輸出是 10,對于無法了解的讀者認為,列印的 staticVar 是從讀取的對象裡獲得的,應該是儲存時的狀态才對。之是以列印 10 的原因在于序列化時,并不儲存靜态變量,這其實比較容易了解,序列化儲存的是對象的狀态,靜态變量屬于類的狀态,是以 序列化并不儲存靜态變量。

探究ArrayList的序列化

ArrayList的序列化

在介紹ArrayList序列化之前,先來考慮一個問題:

如何自定義的序列化和反序列化政策

帶着這個問題,我們來看java.util.ArrayList的源碼

public class ArrayList<E> extends AbstractList<E>
        implements List<E>, RandomAccess, Cloneable, java.io.Serializable
{
    private static final long serialVersionUID = 8683452581122892189L;
    transient Object[] elementData; // non-private to simplify nested class access
    private int size;
}
           

筆者省略了其他成員變量,從上面的代碼中可以知道ArrayList實作了java.io.Serializable接口,那麼我們就可以對它進行序列化及反序列化。

因為elementData是transient的(1.8好像改掉了這一點),是以我們認為這個成員變量不會被序列化而保留下來。我們寫一個Demo,驗證一下我們的想法:

public class ArrayList的序列化 {
    public static void main(String[] args) throws IOException, ClassNotFoundException {
        ArrayList list = new ArrayList();
        list.add("a");
        list.add("b");
        ObjectOutputStream objectOutputStream = new ObjectOutputStream(new FileOutputStream("arr"));
        objectOutputStream.writeObject(list);
        objectOutputStream.close();
        ObjectInputStream objectInputStream = new ObjectInputStream(new FileInputStream("arr"));
        ArrayList list1 = (ArrayList) objectInputStream.readObject();
        objectInputStream.close();
        System.out.println(Arrays.toString(list.toArray()));
        //序列化成功,裡面的元素保持不變。
    }
               

了解ArrayList的人都知道,ArrayList底層是通過數組實作的。那麼數組elementData其實就是用來儲存清單中的元素的。通過該屬性的聲明方式我們知道,他是無法通過序列化持久化下來的。那麼為什麼code 4的結果卻通過序列化和反序列化把List中的元素保留下來了呢?

writeObject和readObject方法

在ArrayList中定義了來個方法: writeObject和readObject。

這裡先給出結論:

在序列化過程中,如果被序列化的類中定義了writeObject 和 readObject 方法,虛拟機會試圖調用對象類裡的 writeObject 和 readObject 方法,進行使用者自定義的序列化和反序列化。

如果沒有這樣的方法,則預設調用是 ObjectOutputStream 的 defaultWriteObject 方法以及 ObjectInputStream 的 defaultReadObject 方法。

使用者自定義的 writeObject 和 readObject 方法可以允許使用者控制序列化的過程,比如可以在序列化的過程中動态改變序列化的數值。

來看一下這兩個方法的具體實作:

private void readObject(java.io.ObjectInputStream s)
        throws java.io.IOException, ClassNotFoundException {
        elementData = EMPTY_ELEMENTDATA;

        // Read in size, and any hidden stuff
        s.defaultReadObject();

        // Read in capacity
        s.readInt(); // ignored

        if (size > 0) {
            // be like clone(), allocate array based upon size not capacity
            ensureCapacityInternal(size);

            Object[] a = elementData;
            // Read in all elements in the proper order.
            for (int i=0; i<size; i++) {
                a[i] = s.readObject();
            }
        }
    }
    
    
private void writeObject(java.io.ObjectOutputStream s)
        throws java.io.IOException{
        // Write out element count, and any hidden stuff
        int expectedModCount = modCount;
        s.defaultWriteObject();

        // Write out size as capacity for behavioural compatibility with clone()
        s.writeInt(size);

        // Write out all elements in the proper order.
        for (int i=0; i<size; i++) {
            s.writeObject(elementData[i]);
        }

        if (modCount != expectedModCount) {
            throw new ConcurrentModificationException();
        }
    }
           

那麼為什麼ArrayList要用這種方式來實作序列化呢?

why transient
ArrayList實際上是動态數組,每次在放滿以後自動增長設定的長度值,如果數組自動增長長度設為100,而實際隻放了一個元素,那就會序列化99個null元素。為了保證在序列化的時候不會将這麼多null同時進行序列化,ArrayList把元素數組設定為transient。

why writeObject and readObject
前面說過,為了防止一個包含大量空對象的數組被序列化,為了優化存儲,是以,ArrayList使用transient來聲明elementData。 但是,作為一個集合,在序列化過程中還必須保證其中的元素可以被持久化下來,是以,通過重寫writeObject 和 readObject方法的方式把其中的元素保留下來。

writeObject方法把elementData數組中的元素周遊的儲存到輸出流(ObjectOutputStream)中。

readObject方法從輸入流(ObjectInputStream)中讀出對象并儲存指派到elementData數組中。

           

延續上一部分,剛剛我們明白了ArrayList序列化數組元素的原理。

至此,我們先試着來回答剛剛提出的問題:

答:可以通過在被序列化的類中增加writeObject 和 readObject方法。那麼問題又來了:

雖然ArrayList中寫了writeObject 和 readObject 方法,但是這兩個方法并沒有顯示的被調用啊。

那麼如果一個類中包含writeObject 和 readObject 方法,那麼這兩個方法是怎麼被調用的呢?

ObjectOutputStream

從code 4中,我們可以看出,對象的序列化過程通過ObjectOutputStream和ObjectInputputStream來實作的,那麼帶着剛剛的問題,我們來分析一下ArrayList中的writeObject 和 readObject 方法到底是如何被調用的呢?

為了節省篇幅,這裡給出ObjectOutputStream的writeObject的調用棧:

writeObject ---> writeObject0 --->writeOrdinaryObject--->writeSerialData--->invokeWriteObject

這裡看一下invokeWriteObject:

void invokeWriteObject(Object obj, ObjectOutputStream out)
        throws IOException, UnsupportedOperationException
    {
        if (writeObjectMethod != null) {
            try {
                writeObjectMethod.invoke(obj, new Object[]{ out });
            } catch (InvocationTargetException ex) {
                Throwable th = ex.getTargetException();
                if (th instanceof IOException) {
                    throw (IOException) th;
                } else {
                    throwMiscException(th);
                }
            } catch (IllegalAccessException ex) {
                // should not occur, as access checks have been suppressed
                throw new InternalError(ex);
            }
        } else {
            throw new UnsupportedOperationException();
        }
    }           

其中writeObjectMethod.invoke(obj, new Object[]{ out });是關鍵,通過反射的方式調用writeObjectMethod方法。官方是這麼解釋這個writeObjectMethod的:

class-defined writeObject method, or null if none

在我們的例子中,這個方法就是我們在ArrayList中定義的writeObject方法。通過反射的方式被調用了。

如果一個類中包含writeObject 和 readObject 方法,那麼這兩個方法是怎麼被調用的?

答:在使用ObjectOutputStream的writeObject方法和ObjectInputStream的readObject方法時,會通過反射的方式調用。

           

為什麼要實作Serializable

至此,我們已經介紹完了ArrayList的序列化方式。那麼,不知道有沒有人提出這樣的疑問:

Serializable明明就是一個空的接口,它是怎麼保證隻有實作了該接口的方法才能進行序列化與反序列化的呢?

Serializable接口的定義:

public interface Serializable {
}
讀者可以嘗試把code 1中的繼承Serializable的代碼去掉,再執行code 2,會抛出java.io.NotSerializableException。
           

其實這個問題也很好回答,我們再回到剛剛ObjectOutputStream的writeObject的調用棧:

writeObject ---> writeObject0 --->writeOrdinaryObject--->writeSerialData--->invokeWriteObject
           

writeObject0方法中有這麼一段代碼:

if (obj instanceof String) {
                writeString((String) obj, unshared);
            } else if (cl.isArray()) {
                writeArray(obj, desc, unshared);
            } else if (obj instanceof Enum) {
                writeEnum((Enum<?>) obj, desc, unshared);
            } else if (obj instanceof Serializable) {
                writeOrdinaryObject(obj, desc, unshared);
            } else {
                if (extendedDebugInfo) {
                    throw new NotSerializableException(
                        cl.getName() + "\n" + debugInfoStack.toString());
                } else {
                    throw new NotSerializableException(cl.getName());
                }
            }           

在進行序列化操作時,會判斷要被序列化的類是否是Enum、Array和Serializable類型,如果不是則直接抛出NotSerializableException。

序列化知識點總結

1、如果一個類想被序列化,需要實作Serializable接口。否則将抛出NotSerializableException異常,這是因為,在序列化操作過程中會對類型進行檢查,要求被序列化的類必須屬于Enum、Array和Serializable類型其中的任何一種。

2、通過ObjectOutputStream和ObjectInputStream對對象進行序列化及反序列化

3、虛拟機是否允許反序列化,不僅取決于類路徑和功能代碼是否一緻,一個非常重要的一點是兩個類的序列化 ID 是否一緻(就是 private static final long serialVersionUID)

序列化 ID 在 Eclipse 下提供了兩種生成政策,一個是固定的 1L,一個是随機生成一個不重複的 long 類型資料(實際上是使用 JDK 工具生成),在這裡有一個建議,如果沒有特殊需求,就是用預設的 1L 就可以,這樣可以確定代碼一緻時反序列化成功。那麼随機生成的序列化 ID 有什麼作用呢,有些時候,通過改變序列化 ID 可以用來限制某些使用者的使用。

4、序列化并不儲存靜态變量。

5、要想将父類對象也序列化,就需要讓父類也實作Serializable 接口。

6、Transient 關鍵字的作用是控制變量的序列化,在變量聲明前加上該關鍵字,可以阻止該變量被序列化到檔案中,在被反序列化後,transient 變量的值被設為初始值,如 int 型的是 0,對象型的是 null。

7、伺服器端給用戶端發送序列化對象資料,對象中有一些資料是敏感的,比如密碼字元串等,希望對該密碼字段在序列化時,進行加密,而用戶端如果擁有解密的密鑰,隻有在用戶端進行反序列化時,才可以對密碼進行讀取,這樣可以一定程度保證序列化對象的資料安全。

8、在類中增加writeObject 和 readObject 方法可以實作自定義序列化政策

參考文章

https://blog.csdn.net/qq_34988624/article/details/86592229 https://www.meiwen.com.cn/subject/slhvhqtx.html https://segmentfault.com/a/1190000012220863 https://my.oschina.net/wuxinshui/blog/1511484 https://blog.csdn.net/hukailee/article/details/81107412

微信公衆号

Java技術江湖

如果大家想要實時關注我更新的文章以及分享的幹貨的話,可以關注我的公衆号【Java技術江湖】一位阿裡 Java 工程師的技術小站,作者黃小斜,專注 Java 相關技術:SSM、SpringBoot、MySQL、分布式、中間件、叢集、Linux、網絡、多線程,偶爾講點Docker、ELK,同時也分享技術幹貨和學習經驗,緻力于Java全棧開發!

Java工程師必備學習資源: 一些Java工程師常用學習資源,關注公衆号後,背景回複關鍵字 “Java” 即可免費無套路擷取。

夯實Java基礎系列22:一文讀懂Java序列化和反序列化

個人公衆号:黃小斜

作者是跨考軟體工程的 985 碩士,自學 Java 兩年,拿到了 BAT 等近十家大廠 offer,從技術小白成長為阿裡工程師。

作者專注于 JAVA 後端技術棧,熱衷于分享程式員幹貨、學習經驗、求職心得和程式人生,目前黃小斜的CSDN部落格有百萬+通路量,知乎粉絲2W+,全網已有10W+讀者。

黃小斜是一個斜杠青年,堅持學習和寫作,相信終身學習的力量,希望和更多的程式員交朋友,一起進步和成長!

關注公衆号【黃小斜】後回複【原創電子書】即可領取我原創的電子書《菜鳥程式員修煉手冊:從技術小白到阿裡巴巴Java工程師》

程式員3T技術學習資源: 一些程式員學習技術的資源大禮包,關注公衆号後,背景回複關鍵字 “資料” 即可免費無套路擷取。

夯實Java基礎系列22:一文讀懂Java序列化和反序列化