天天看點

高并發系統資料幂等的技術嘗試

在系統開發過程中,經常遇到資料重複插入、重複更新、消息重發發送等等問題,因為應用系統的複雜邏輯以及網絡互動存在的不确定性,會導緻這一重複現象,但是有些邏輯是需要有幂等特性的,否則造成的後果會比較嚴重,例如訂單重複建立,這時候帶來的問題可是非同一般啊。
幂等是資料中得一個概念,表示n次變換和1次變換的結果相同。
查詢的api,可以說是天然的幂等性,因為你查詢一次和查詢兩次,對于系統來講,沒有任何資料的變更,是以,查詢一次和查詢多次一樣的。
多版本并發控制,update with condition,更新帶條件,這也是在系統設計的時候,合理的選擇樂觀鎖,通過version或者其他條件,來做樂觀鎖,這樣保證更新及時在并發的情況下,也不會有太大的問題。 例如update table_xxx set name=#name#,version=version+1 where version=#version# ,或者是 update table_xxx set quality=quality-#subquality# where quality-#subquality# >= 0 。
如果涉及到的去重的地方特别多,例如erp系統中有各種各樣的業務單據,每一種業務單據都需要去重,這時候,可以單獨搞一張去重表,在插入資料的時候,插入去重表,利用資料庫的唯一索引特性,保證唯一的邏輯。
還是拿插入資料的例子,如果是分布是系統,建構唯一索引比較困難,例如唯一性的字段沒法确定,這時候可以引入分布式鎖,通過第三方的系統,在業務系統插入資料或者更新資料,擷取分布式鎖,然後做操作,之後釋放鎖,這樣其實是把多線程并發的鎖的思路,引入多多個系統,也就是分布式系統中得解決思路。

###删除資料> 删除資料,僅僅第一次删除是真正的操作資料,第二次甚至第三次删除,直接傳回成功,這樣保證了幂等。

###插入資料的唯一索引> 插入資料的唯一性,可以通過業務主鍵來進行限制,例如一個特定的業務場景,三個字段肯定确定唯一性,那麼,可以在資料庫表添加唯一索引來進行标示。 這裡有一個場景,api層面的幂等,例如送出資料,如何控制重複送出,這裡可以在送出資料的form表單或者用戶端軟體,增加一個唯一标示,然後服務端,根據這個uuid來進行去重,這樣就能比較好的做到api層面的唯一标示。

###狀态機幂等 > 在設計單據相關的業務,或者是任務相關的業務,肯定會涉及到狀态機,就是業務單據上面有個狀态,狀态在不同的情況下會發生變更,一般情況下存在有限狀态機,這時候,如果狀态機已經處于下一個狀态,這時候來了一個上一個狀态的變更,理論上是不能夠變更的,這樣的話,保證了有限狀态機的幂等。