天天看點

那些經常被問的JAVA面試題(7)—— 幂等性

那些經常被問的JAVA面試題(7)—— 幂等性

兩個對象互相引用會不會被GC?

仍然會被GC。因為JVM按照對象在以GC root為根節點的圖中的可達性來決定對象是否被GC。互相引用的兩個對象,引用數雖然不為0,但如果跟外界其他對象都沒有引用關系,即是一個孤島,仍然會被GC。

java中可作為GC Root的對象有

  1. 虛拟機棧中引用的對象(本地變量表)
  2. 方法區中靜态屬性引用的對象
  3. 方法區中常量引用的對象
  4. 本地方法棧中引用的對象(Native對象)

樂觀鎖與悲觀鎖

悲觀鎖

悲觀鎖(Pessimistic Lock),顧名思義,就是很悲觀,每次去拿資料的時候都認為别人會修改,是以每次在拿資料的時候都會上鎖,這樣别人想拿這個資料就會block直到它拿到鎖。 悲觀鎖:假定會發生并發沖突,屏蔽一切可能違反資料完整性的操作。 Java synchronized 就屬于悲觀鎖的一種實作,每次線程要修改資料時都先獲得鎖,保證同一時刻隻有一個線程能操作資料,其他線程則會被block。

樂觀鎖

樂觀鎖(Optimistic Lock),顧名思義,就是很樂觀,每次去拿資料的時候都認為别人不會修改,是以不會上鎖,但是在送出更新的時候會判斷一下在此期間别人有沒有去更新這個資料。樂觀鎖适用于讀多寫少的應用場景,這樣可以提高吞吐量。 樂觀鎖:假設不會發生并發沖突,隻在送出操作時檢查是否違反資料完整性。

樂觀鎖一般來說有以下2種方式:

使用資料版本(Version)記錄機制實作,這是樂觀鎖最常用的一種實作方式。何謂資料版本?即為資料增加一個版本辨別,一般是通過為資料庫表增加一個數字類型的 “version” 字段來實作。當讀取資料時,将version字段的值一同讀出,資料每更新一次,對此version值加一。當我們送出更新的時候,判斷資料庫表對應記錄的目前版本資訊與第一次取出來的version值進行比對,如果資料庫表目前版本号與第一次取出來的version值相等,則予以更新,否則認為是過期資料。 使用時間戳(timestamp)。

樂觀鎖定的第二種實作方式和第一種差不多,同樣是在需要樂觀鎖控制的table中增加一個字段,名稱無所謂,字段類型使用時間戳(timestamp), 和上面的version類似,也是在更新送出的時候檢查目前資料庫中資料的時間戳和自己更新前取到的時間戳進行對比,如果一緻則OK,否則就是版本沖突。 Java JUC中的atomic包就是樂觀鎖的一種實作,AtomicInteger 通過CAS(Compare And Set)操作實作線程安全的自增。

ThreadLocal記憶體洩漏問題,如何防止

ThreadLocal的實作是這樣的:每個Thread 維護一個 ThreadLocalMap 映射表,這個映射表的 key 是 ThreadLocal 執行個體本身,value 是真正需要存儲的 Object。

也就是說 ThreadLocal 本身并不存儲值,它隻是作為一個 key 來讓線程從 ThreadLocalMap 擷取 value。值得注意的是圖中的虛線,表示 ThreadLocalMap 是使用 ThreadLocal 的弱引用作為 Key 的,弱引用的對象在 GC 時會被回收。

ThreadLocal記憶體洩漏的根源是:由于ThreadLocalMap的生命周期跟Thread一樣長,如果沒有手動删除對應key就會導緻記憶體洩漏,而不是因為弱引用。 綜合上面的分析,我們可以了解ThreadLocal記憶體洩漏的前因後果,那麼怎麼避免記憶體洩漏呢?

每次使用完ThreadLocal,都調用它的remove()方法,清除資料。 在使用線程池的情況下,沒有及時清理ThreadLocal,不僅是記憶體洩漏的問題,更嚴重的是可能導緻業務邏輯出現問題。是以,使用ThreadLocal就跟加鎖完要解鎖一樣,用完就清理。

開閉原則

定義:一個軟體實體如類、子產品和函數應該對擴充開放,對修改關閉。 問題由來:在軟體的生命周期内,因為變化、更新和維護等原因需要對軟體原有代碼進行修改時,可能會給舊代碼中引入錯誤,也可能會使我們不得不對整個功能進行重構,并且需要原有代碼經過重新測試。

解決方案:當軟體需要變化時,盡量通過擴充軟體實體的行為來實作變化,而不是通過修改已有的代碼來實作變化。

開閉原則是面向對象設計中最基礎的設計原則,它指導我們如何建立穩定靈活的系統。開閉原則可能是設計模式六項原則中定義最模糊的一個了,它隻告訴我們對擴充開放,對修改關閉,可是到底如何才能做到對擴充開放,對修改關閉,并沒有明确的告訴我們。以前,如果有人告訴我“你進行設計的時候一定要遵守開閉原則”,我會覺的他什麼都沒說,但貌似又什麼都說了。因為開閉原則真的太虛了。

在仔細思考以及仔細閱讀很多設計模式的文章後,終于對開閉原則有了一點認識。其實,我們遵循設計模式前面5大原則,以及使用23種設計模式的目的就是遵循開閉原則。也就是說,隻要我們對前面5項原則遵守的好了,設計出的軟體自然是符合開閉原則的,這個開閉原則更像是前面五項原則遵守程度的“平均得分”,前面5項原則遵守的好,平均分自然就高,說明軟體設計開閉原則遵守的好;如果前面5項原則遵守的不好,則說明開閉原則遵守的不好。

其實,開閉原則無非就是想表達這樣一層意思:用抽象建構架構,用實作擴充細節。因為抽象靈活性好,适應性廣,隻要抽象的合理,可以基本保持軟體架構的穩定。而軟體中易變的細節,我們用從抽象派生的實作類來進行擴充,當軟體需要發生變化時,我們隻需要根據需求重新派生一個實作類來擴充就可以了。當然前提是我們的抽象要合理,要對需求的變更有前瞻性和預見性才行。

說到這裡,再回想一下前面說的5項原則,恰恰是告訴我們用抽象建構架構,用實作擴充細節的注意事項而已:單一職責原則告訴我們實作類要職責單一;裡氏替換原則告訴我們不要破壞繼承體系;依賴倒置原則告訴我們要面向接口程式設計;接口隔離原則告訴我們在設計接口的時候要精簡單一;迪米特法則告訴我們要降低耦合。而開閉原則是總綱,他告訴我們要對擴充開放,對修改關閉。

幂等設計

高并發的核心技術-幂等的實作方案

一、背景 我們實際系統中有很多操作,是不管做多少次,都應該産生一樣的效果或傳回一樣的結果。 例如:

  1. 前端重複送出選中的資料,應該背景隻産生對應這個資料的一個反應結果。
  2. 我們發起一筆付款請求,應該隻扣使用者賬戶一次錢,當遇到網絡重發或系統bug重發,也應該隻扣一次錢;
  3. 發送消息,也應該隻發一次,同樣的短信發給使用者,使用者會哭的;
  4. 建立業務訂單,一次業務請求隻能建立一個,建立多個就會出大問題。

等等很多重要的情況,這些邏輯都需要幂等的特性來支援。

二、幂等性概念 幂等(idempotent、idempotence)是一個數學與計算機學概念,常見于抽象代數中。

在程式設計中.一個幂等操作的特點是其任意多次執行所産生的影響均與一次執行的影響相同。幂等函數,或幂等方法,是指可以使用相同參數重複執行,并能獲得相同結果的函數。這些函數不會影響系統狀态,也不用擔心重複執行會對系統造成改變。例如,“getUsername()和setTrue()”函數就是一個幂等函數.

更複雜的操作幂等保證是利用唯一交易号(流水号)實作.

我的了解:幂等就是一個操作,不論執行多少次,産生的效果和傳回的結果都是一樣的

三、技術方案

  1. 查詢操作

查詢一次和查詢多次,在資料不變的情況下,查詢結果是一樣的。select是天然的幂等操作

  1. 删除操作

删除操作也是幂等的,删除一次和多次删除都是把資料删除。(注意可能傳回結果不一樣,删除的資料不存在,傳回0,删除的資料多條,傳回結果多個)

  1. 唯一索引,

防止新增髒資料 比如:支付寶的資金賬戶,支付寶也有使用者賬戶,每個使用者隻能有一個資金賬戶,怎麼防止給使用者建立資金賬戶多個,那麼給資金賬戶表中的使用者ID加唯一索引,是以一個使用者新增成功一個資金賬戶記錄

要點: 唯一索引或唯一組合索引來防止新增資料存在髒資料 (當表存在唯一索引,并發時新增報錯時,再查詢一次就可以了,資料應該已經存在了,傳回結果即可)

  1. token機制,

防止頁面重複送出 業務要求: 頁面的資料隻能被點選送出一次 發生原因: 由于重複點選或者網絡重發,或者nginx重發等情況會導緻資料被重複送出 解決辦法: 叢集環境:采用token加redis(redis單線程的,處理需要排隊) 單JVM環境:采用token加redis或token加jvm記憶體 處理流程:

  1. 資料送出前要向服務的申請token,token放到redis或jvm記憶體,token有效時間
  2. 送出後背景校驗token,同時删除token,生成新的token傳回 token特點: 要申請,一次有效性,可以限流

注意:redis要用删除操作來判斷token,删除成功代表token校驗通過,如果用select+delete來校驗token,存在并發問題,不建議使用

  1. 悲觀鎖

擷取資料的時候加鎖擷取 select * from table_xxx where id='xxx' for update; 注意:id字段一定是主鍵或者唯一索引,不然是鎖表,會死人的 悲觀鎖使用時一般伴随事務一起使用,資料鎖定時間可能會很長,根據實際情況選用

  1. 樂觀鎖

樂觀鎖隻是在更新資料那一刻鎖表,其他時間不鎖表,是以相對于悲觀鎖,效率更高。

樂觀鎖的實作方式多種多樣可以通過version或者其他狀态條件:

  1. 通過版本号實作 update table_xxx set name=#name#,version=version+1 where version=#version# 如下圖(來自網上):
  2. 通過條件限制 update table_xxx set avai_amount=avai_amount-#subAmount# where avai_amount-#subAmount# >= 0 要求:quality-#subQuality# >= ,這個情景适合不用版本号,隻更新是做資料安全校驗,适合庫存模型,扣份額和復原份額,性能更高

注意:樂觀鎖的更新操作,最好用主鍵或者唯一索引來更新,這樣是行鎖,否則更新時會鎖表,上面兩個sql改成下面的兩個更好 update table_xxx set name=#name#,version=version+1 where id=#id# and version=#version# update table_xxx set avai_amount=avai_amount-#subAmount# where id=#id# and avai_amount-#subAmount# >= 0

  1. 分布式鎖

還是拿插入資料的例子,如果是分布是系統,建構全局唯一索引比較困難,例如唯一性的字段沒法确定,這時候可以引入分布式鎖,通過第三方的系統(redis或zookeeper),在業務系統插入資料或者更新資料,擷取分布式鎖,然後做操作,之後釋放鎖,這樣其實是把多線程并發的鎖的思路,引入多多個系統,也就是分布式系統中得解決思路。

要點:某個長流程處理過程要求不能并發執行,可以在流程執行之前根據某個标志(使用者ID+字尾等)擷取分布式鎖,其他流程執行時擷取鎖就會失敗,也就是同一時間該流程隻能有一個能執行成功,執行完成後,釋放分布式鎖(分布式鎖要第三方系統提供)

  1. select + insert 并發不高的背景系統,或者一些任務JOB,為了支援幂等,支援重複執行,簡單的處理方法是,先查詢下一些關鍵資料,判斷是否已經執行過,在進行業務處理,就可以了 注意:核心高并發流程不要用這種方法
  2. 狀态機幂等 在設計單據相關的業務,或者是任務相關的業務,肯定會涉及到狀态機(狀态變更圖),就是業務單據上面有個狀态,狀态在不同的情況下會發生變更,一般情況下存在有限狀态機,這時候,如果狀态機已經處于下一個狀态,這時候來了一個上一個狀态的變更,理論上是不能夠變更的,這樣的話,保證了有限狀态機的幂等。

注意:訂單等單據類業務,存在很長的狀态流轉,一定要深刻了解狀态機,對業務系統設計能力提高有很大幫助

  1. 對外提供接口的api如何保證幂等 如銀聯提供的付款接口:需要接入商戶提傳遞款請求時附帶:source來源,seq序列号 source+seq在資料庫裡面做唯一索引,防止多次付款,(并發時,隻能處理一個請求)