如何用GO語言編寫緩存服務？

随着網際網路的飛速發展，各行各業對網際網路服務的要求也越來越高，服務架構能撐起多大的業務資料？服務響應的速度能不能達到要求？我們的架構師每天都在思考這些問題。

對于資料庫或者對象存儲等服務來說，它們受限于自己先天的設計目标，往往不能具有很好的性能，響應時間通常是秒級。此時就需要高性能的緩存來為我們的服務提速了，緩存服務的響應時間通常是毫秒級，甚至小于1ms。

緩存服務需要被設定在其他服務的前端，用戶端首先通路緩存，查詢自己的資料，僅當用戶端需要的資料不存在于緩存中時，才去通路實際的服務。從實際的服務中擷取到的資料會被放在緩存中，以備下次使用。

緩存的設計目标就是盡可能地快，但它引起了其他的問題。比如目前業界使用較多的緩存服務有Memcached和Redis等，它們都是記憶體内緩存，單節點最大的容量不能超過整個系統的記憶體。

且一旦伺服器重新開機，對于Memcached來說就是内容徹底丢失；Redis稍好一點，但也要花費不少時間從磁盤上的資料檔案中重新讀入記憶體。

當我們決定要用Go語言編寫一個緩存服務的時候，首先想到的就是HTTP服務。因為用Go語言寫基于HTTP的緩存服務真的是太友善了，我們隻需要一個map來儲存資料，寫一個handler負責處理請求，然後調用http.ListenAndServe，最後用go run運作。一切就是這麼簡單，你不需要去考慮複雜的并發問題，也不需要自己設計一套網絡協定，Go語言的HTTP服務架構會幫你處理好底層的一切。

我們在本文将要實作的是一個簡單的記憶體緩存服務，所有的緩存資料都存儲在伺服器的記憶體中。一旦伺服器重新開機，所有的資料都将被清零。

緩存服務的接口

1.1.1　REST接口

本章的接口支援緩存的設定（Set）、擷取（Get）和删除（Del）這3個基本操作，同時還支援對緩存服務狀态的查詢。Set操作用于将一對鍵值對（key value pair）設定進緩存伺服器，它通過HTTP的PUT方法進行；Get操作用于查詢某個鍵并擷取其值，它通過HTTP的GET方法進行；Del操作用于從緩存中删除某個鍵，它通過HTTP的DELETE方法進行。我們可以查詢的緩存服務狀态包括目前緩存了多少對鍵值對，所有的鍵一共占據了多少位元組，所有的值一共占據了多少位元組。​

用戶端通過HTTP的PUT方法将一對鍵值對設定進緩存伺服器，伺服器将該鍵值對儲存在記憶體堆上建立的map裡。

​這裡/cache/是一個URL，它辨別了緩存的值（value）所在的位置。URL是Uniform Resource Locator的縮寫，它是一個網絡位址，用于引用某個網絡資源在網絡上的位置。HTTP的請求正文（request body）裡包含了該key對應的value的内容。​

用戶端通過HTTP的GET方法從緩存伺服器上擷取key對應的value，伺服器在map中查找該key，如果key不存在，伺服器傳回HTTP錯誤代碼404 NOT FOUND；如果key存在，則伺服器在HTTP響應正文（response body）中傳回相應的value。

​用戶端通過HTTP的GET方法從緩存伺服器上擷取key對應的value，伺服器在map中查找該key，如果key不存在，伺服器傳回HTTP錯誤代碼404 NOT FOUND；如果key存在，則伺服器在HTTP響應正文（response body）中傳回相應的value。

用戶端通過HTTP的DELETE方法将key從緩存中删除。無論之前該key是否存在，之後它都将不存在，伺服器始終傳回HTTP錯誤代碼200 OK。

​用戶端通過這個接口擷取緩存服務的狀态，在HTTP響應正文中傳回的狀态是以JSON格式編碼的一個cache.Stat結構體（見例1-3）。

1.1.2　緩存Set流程

我們可以用一張簡單的圖來概括Set流程，見圖1-1。

圖1-1　in memory緩存的Set流程

用戶端的PUT請求提供了key和value。cacheHandler實作了http.Handler接口，其ServeHTTP方法對HTTP請求進行解析，并調用cache.Cache接口的Set方法。

在cache子產品中，inMemoryCache結構體實作Cache接口，其Set方法最終将鍵值對儲存在記憶體的map中。cacheHandler最後會傳回用戶端一個HTTP錯誤号來表示結果，如果成功則傳回的是200 OK，否則傳回500 Internal Server Error。

Go語言中的map的含義和用法跟大多數現代程式設計語言中的map一樣，map是一種用于儲存鍵值對的散清單資料結構，可以通過中括号 [ ] 進行key的查詢和設定。

由于程式會對key進行散列和掩碼運算以直接擷取存儲key的偏移量，是以能獲得近乎O(1)的查詢和設定複雜度。之是以說近乎O(1)是因為兩個key在經過散列和掩碼運算後有可能會具有相同的偏移量，此時将不得不繼續進行線性搜尋，不過發生這種不幸情況的機率很小。

1.1.3　緩存Get流程

緩存Get流程見圖1-2。

圖1-2　in memory緩存的Get流程

用戶端的Get請求提供了key。cacheHandler的ServeHTTP方法對HTTP請求進行解析，并調用cache.Cache接口的Get方法。inMemoryCache結構體的Get方法在map中查詢key對應的value并傳回。cacheHandler會将value寫入HTTP響應正文并傳回200 OK，如果cache.Cache.Get方法傳回錯誤，cacheHandler會傳回500 Internal Server Error。如果value長度為0，說明該key不存在，cacheHandler會傳回404 Not Found。

1.1.4　緩存Del流程

緩存Del流程見圖1-3。

圖1-3　in memory緩存的Del流程

用戶端的DELETE請求提供了key。cacheHandler的ServeHTTP方法對HTTP請求進行解析，并調用cache.Cache接口的Del方法。inMemoryCache結構體的Del方法在map中查詢key是否存在，如果存在則調用delete函數删除該key。如果cache.Cache.Del方法傳回錯誤，cacheHandler會傳回500 Internal Server Error，否則傳回200 OK。

REST接口和處理流程介紹完了，接下來我們來看看如何實作。

Go語言實作

1.2.1　main包的實作

緩存服務的main包隻有一個函數，就是main函數。在Go語言中，如果某個項目需要被編譯為可執行程式，那麼它的源碼需要有一個main包，其中需要有一個main函數，它用來作為可執行程式的入口函數。如果某個項目不需要被編譯為可執行程式，隻是實作一個庫，則可以沒有main包和main函數。我們的緩存服務需要被編譯成一個可執行程式，是以需要提供main包和main函數。main函數的實作見例1-1：

例1-1　main函數

​我們的main函數非常簡單，它需要做的隻是調用cache.New函數建立一個新的cache.Cache接口的執行個體c，然後以c為參數調用http.New函數建立一個指向http.Server結構體的指針并調用其Listen方法。

cache.New這樣的寫法則是指定我們調用的New函數屬于cache包。Go語言調用同一個包内的函數不需要在函數前面帶上包名，Go編譯器會預設在目前包内查找。調用另一個包中的函數則需要指定包名，讓Go編譯器知道去哪裡查找這個函數。這裡我們是在main包中調用cache包的New函數，是以需要指定包名。

1.2.2　cache包的實作

我們在cache包中實作服務的緩存功能。在cache包内，我們首先聲明了一個Cache接口，見例1-2。

例1-2　Cache接口

​在Go語言中，接口和實作是完全分開的。接口甚至擁有它自己的類型（type interface）。開發者可以自由聲明一個接口，然後以一種或多種方式去實作這個接口。在例1-2中，我們看到的就是一個名為Cache的接口聲明。

在接口内，我們會聲明一些方法，一個接口就是該接口内所有方法的集合。任何結構體隻要實作了某個接口聲明的所有方法，我們就認為該結構體實作了該接口。實作某個接口的結構體可以不止一個，這意味着同樣的接口實作的方式可以有很多種，Go語言就是用這種方式來實作多态。

我們的Cache接口一共聲明了4個方法，分别是Set、Get、Del和GetStat。

Set方法用于将鍵值對設定進緩存，它接收兩個參數，類型分别是string和[ ]byte，其中string是key的類型，而[ ]byte則是value的類型，byte前面的中括号意味着它的類型是位元組（byte）的切片（slice）。Go語言中切片的内部實作可以被認為是一個指向切片第一個元素的位址和該切片的長度。切片和數組（Array）的差別在于數組的長度是固定的，而切片則是底層數組的一個視圖，其長度可以動态調整。Set方法的傳回值隻有一個。若傳回值的類型是error，則用于傳回Set操作的錯誤，當Set操作成功時，傳回nil。

Get方法根據key從緩存中擷取value，是以它接收一個string類型的參數，傳回值則是兩個，分别是 [ ]byte和error。在Go語言中，當函數具有多個傳回值時，需要用小括号()将它們括在一起。

Del方法從緩存中删除key，是以它隻有一個string類型的參數和一個error類型的傳回值。

GetStat方法用于擷取緩存的狀态，它沒有參數，隻有一個Stat類型的傳回值。Stat是一種結構體，見例1-3。

例1-3　Stat結構體相關實作

Go語言程式設計僅僅聲明接口類型（type interface）是沒用的，還必須實作接口。而接口的實作需要依附于某個結構體類型（type struct）。Stat就是一個結構體，它的内部有3個字段，Count用于表示緩存目前儲存的鍵值對數量，KeySize和ValueSize分别表示key和value占據的總位元組數。

結構體也可以包含方法，和接口不同的地方在于結構體必須實作這些方法，而接口隻需要聲明。Stat結構體實作了add和del兩個方法，這兩個方法分别用于新加鍵值對和删除鍵值對時改變緩存的狀态。

在了解完整個Cache接口之後，我們就可以去看看New函數的實作了，見例1-4。

例1-4　New函數實作

cache包的New函數用來建立并傳回一個Cache接口，它接收一個string類型的參數typ，typ用于指定需要建立的Cache接口的具體結構體類型。

我們在函數體的第一行聲明了一個類型為Cache接口的變量c，當typ字元串等于“inmemory”時，我們将newInMemoryCache函數的傳回值指派給c。如果c為nil，我們調用panic報錯并退出整個程式，否則我們列印一條日志通知緩存開始服務并将c傳回。

本文實作的緩存服務是一種記憶體緩存（in memory），實作Cache接口的結構體名為inMemoryCache，見例1-5。

例1-5　inMemoryCache相關代碼

inMemoryCache結構體包含一個成員c，類型是以string為key、以 [ ]byte為value的map，用來儲存鍵值對；一個mutex，類型是sync.RWMutex，用來對map的并發通路提供讀寫鎖保護；一個Stat，用來記錄緩存狀态。

Go語言的map可以支援多個goroutine同時讀，但不能支援多個goroutine同時寫或同時既讀又寫，是以我們必須用一個讀寫鎖保護map的并發讀寫，當多個goroutine同時讀時，它們會調用mutex.RLock()，互不影響。

當有至少一個goroutine需要寫時，它會調用mutex.Lock()，此時它會等待所有其他讀寫鎖釋放，然後自己加鎖，在它加鎖後其他goroutine需要加鎖則必須等待它先解鎖。讀寫鎖mutex的類型是sync.RWMutex，sync是Go語言自帶的一個标準包，它提供了包括Mutex、RWMutex在内的多種互斥鎖的實作。

需要特别注意的是Stat，它的類型是Stat結構體，但是它沒有提供成員名字，這種寫法在Go語言中被稱為内嵌。結構體可以内嵌多個結構體和接口，接則隻能内嵌多個接口。

Go語言通過内嵌來實作繼承，内嵌結構體/接口可以被認為是外層結構體/接口的父類。一個内嵌結構體/接口的所有成員/方法都可以通過外層結構體/接口直接通路，那些成員/方法的首字母不需要大寫。（通常我們從一個結構體外部隻能通路其首字母大寫的成員/方法，通路自己的内嵌成員的成員/方法不受此限制。）當我們需要通路某個内嵌成員本身時，我們可以直接用它的類型指代它，就如同我們在inMemoryCache.GetStat函數中做的那樣。

1.2.3　HTTP包的實作

HTTP包用來實作我們的HTTP服務功能。由于不需要使用多态，我們在HTTP包裡并沒有聲明接口，而是直接聲明了一個Server結構體，見例1-6。

例1-6　Server相關實作

Server結構體中内嵌了cache.Cache，cache.Cache就是之前介紹的cache包的Cache接口。HTTP包的Server結構體内嵌該接口意味着http.Server也實作了cache.Cache接口，而實作的方式則由實際的内嵌結構體決定。

接下來我們看到Server的Listen方法會調用http.Handle函數，它會注冊兩個Handler分别用來處理/cache/和/status這兩個HTTP協定的端點。

這裡需要注意的是http.Handle函數并不屬于我們的HTTP包，而是Go語言自己的net/http标準包。還記得嗎？Server結構體自身就處于我們的HTTP包裡，引用自己包内的名字無需指定包名，是以當我們指定HTTP包名時，Go語言編譯器會知道去net/http包中查找名字。

Server.cacheHandler方法傳回的是一個http.Handler接口，它用來處理HTTP端點/cache/的請求，也就是緩存的Set、Get、Del這3個基本操作，見例1-7。

例1-7　cacheHandler相關實作

cacheHandler結構體内嵌了一個Server結構體的指針，并實作了ServeHTTP方法，實作該方法就意味着實作了http.Handler接口。例1-8展示了Go語言标準包net/http對Handler接口的定義。

例1-8　Go标準包net/http中Handler接口的定義

​cacheHandler的ServeHTTP方法解析URL以擷取key，并根據HTTP請求的3種方式PUT/GET/DELETE決定調用cache.Cache的Set/Get/Del方法。

這裡我們看到了Go語言内嵌的高階使用方式——多重内嵌：cacheHandler内嵌了Server結構體指針，而Server内嵌了cache.Cache接口。于是cacheHandler就可以直接通路cache.Cache的方法了。

Server.statusHandler方法同樣傳回一個http.Handler接口，其實作見例1-9。

例1-9　statusHandler相關實作

和cacheHandler一樣，statusHandler内嵌Server結構體指針并實作ServeHTTP方法。該方法調用cache.Cache的GetStat方法并将傳回的cache.Stat結構體用JSON格式編碼成位元組切片b，寫入HTTP的響應正文。

如果你是一位程式員，看到這裡你的心裡可能會有一個疑問。我們這樣實作會不會太複雜了？為了處理兩個HTTP端點的請求，我們需要實作兩個Handler結構體并分别實作它們的ServeHTTP方法，能不能直接在Server結構體上實作ServeHTTP方法并根據URL區分不同的HTTP請求？

從實作上來說是可行的，但是那意味着Server的ServeHTTP需要承擔兩個不同的職責，處理兩類HTTP請求。将這兩類請求分開到不同的結構體内實作符合SOLID的單一職責原則。

Go語言的實作介紹完了，接下來我們需要把程式運作起來，并進行功能測試來驗證我們的實作。

《分布式緩存——原理、架構及Go語言實作》

胡世傑 著

點選此處購買紙書

本書共分3個部分，每個部分都有3章。第1部分為基本功能的實作,主要介紹基于HTTP的in memory緩存服務、HTTP/REST協定、TCP等。第2部分介紹性能相關的内容，我們将集中全力講解從各方面提升緩存服務性能的方法，主要包括pipeline的原理、RocksDB批量寫入等。最後一個部分則HE 分布式緩存服務叢集有關，主要介紹分布式緩存叢集、節點的再平衡功能等。