天天看點

golang高性能RPC:Apache Thrift安裝使用完全攻略

在企業應用中RPC的使用可以說是十分的廣泛,使用該技術可以友善的與各種程式互動而不用考慮其編寫使用的語言。

如果你對RPC的概念還不太清楚,可以點選這裡。

現今市面上已經有許多應用廣泛的RPC架構,比如GRPC,而今天我們要介紹的是同樣使用廣泛的Apache Thrift。這篇文章将帶你安全越過所有坑點,請放心食用。

Thrift簡介

Thrift是Facebook的一個開源項目,後來進入Apache進行孵化。Thrift也是支援跨語言的,是以它有自己的一套IDL。目前它支援幾乎所有主流的程式設計語言:C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OCaml and Delphi and other languages。Thrift可以支援多種資訊格式,除了Thrift私有的二進制編碼規則和一種LVQ(類似于TLV消息格式)的消息格式,還有正常的JSON格式。Thrift的網絡協定建立在TCP協定基礎上,并且支援阻塞式IO模型和多路IO複用模型。我們将在後文詳細講解Apache Thrift的使用。Thrift也是目前最流行的RPC架構之一,從網絡上各種性能測試情況開,Thrift的性能都是領先的。Thrift的官網位址為:http://thrift.apache.org/

安裝

首先是安裝golang的庫:

go get git.apache.org/thrift.git/lib/go/thrift/...      

為了能編譯Thrift IDL,我們還得編譯thrift-compiler,主要的坑全在這裡。

首先,如果你在用ubuntu,千萬别用apt去安裝,因為官方源和所有ppa裡的compiler版本嚴重過時了;

其次網上的單獨編譯compiler教程不要看,基本都過時了,現在thrift的版本已經是1.0.0-dev,如果按那些教程編譯出來的工具是無法和go get安裝的庫一起使用的,而且很大機率你連正常編譯都無法進行,如果不使用go get,那麼可以按照這裡的方法2進行安裝。(方法2裡編譯compiler的步驟請跳過,使用我在下面要講的方法)

好了下面我們開始安裝thrift-compiler,首先是安裝依賴:

sudo apt-get install libboost-dev libboost-test-dev libboost-program-options-dev libboost-filesystem-dev libboost-thread-dev libevent-dev automake libtool flex bison pkg-config g++ libssl-dev      

接着我們clone最新的thrift倉庫,然後編譯:

git clone https://github.com/apache/thrift
cd thrift
./bootstrap.sh
./configure --without-qt4 --wihout-qt5
make
sudo make install      

解釋一下,--without-qt*是為了加快編譯并防止報錯,因為qt始終要依賴moc,很容易出問題而且我們一般也用不到,是以舍去。

如果你也不需要其他語言的生成功能,可以用--without-[name]來去除,具體參見./configure --help。

make也可以改成”make -j N“,N是你cpu可用核心數,并行編譯加快速度。

安裝好後我們運作thrift指令驗證一下安裝:

thrift -version
# Thrift version 1.0.0-dev      

這樣Thrift就算安裝完成了。

另外,不使用go get而用源碼進行安裝時,請保證thrift-compiler和你安裝的庫的版本相同,否則會有數不清的問題出現。當然,使用go get+自行編譯的安裝方法不會有這些問題。

Thrift的使用

首先我們要編寫IDL檔案,定義RPC的接口和資料。如果你還不熟悉thrift IDL的文法,可以參考這裡,它和c/c++的文法十分相似,上手起來也較容易。

我們來看一個例子,我們定義一個“compute”子產品,在其中定義DivMod(計算商和模)和MulRange(計算階乘)兩個服務,并定義一種包含DivMod計算結果的資料類型:

golang高性能RPC:Apache Thrift安裝使用完全攻略
golang高性能RPC:Apache Thrift安裝使用完全攻略
namespace go compute

struct Result {
    1: i64 div;
    2: i64 mod;
}

service DivMod {
    Result DoDivMod(1:i64 arg1, 2:i64 arg2);
}

service MulRange {
    string BigRange(1:i64 max)
}      

Thrift IDL

然後我們用thrift-compiler将其編譯成golang代碼:

thrift -r --gen go compute.thrift      

它會在目前目錄下生成一個gen-go目錄,在其中有個compute目錄,那就是我們生成的子產品,copy出來放在$GOPATH裡。

接下來我們來實作服務端,現在我們隻定義了接口,而沒有實作它,建立服務端需要如下幾個步驟:

  1. 實作服務處理接口,在1.0版本中,接口第一個參數需要是context.Context,用以支援取消或對RPC調用設定逾時。
  2. 建立 Processor,也就是把實作的接口注冊進RPC服務建立 Transport,Transport用于管理網絡IO。它是一個interface,可以是TSocket,TServerSocket以及NewTHttpClient*或TTransportFactory.GetTransport傳回的對象。
  3. 建立 Protocol,也就是傳輸協定,一般使用二進制協定來傳輸資料,當然也可以選擇json或其他格式。
  4. 建立server,使用前面的Processor,Transport,Protocol以及ip位址來建立服務端。
  5. 運作server。

下面我們先實作接口:

// computeThrift 實作service中定義的方法
type divmodThrift struct {
}

// 每個方法除了定義的傳回值之外還要傳回一個error,包括定義成void的方法。自定義類型會在名字之後加一條下劃線
// 暫時用不到context,是以忽略
func (d *divmodThrift) DoDivMod(_ context.Context, arg1, arg2 int64) (*compute.Result_, error) {
    divRes := int64(arg1 / arg2)
    modRes := int64(arg1 % arg2)
    // 生成的用于生成自定義資料對象的函數
    res := compute.NewResult_()
    res.Div = divRes
    res.Mod = modRes
    
    return res, nil
}

// 盡量一個struct對應一個service
type mulrangeThrift struct {
}

func (m *mulrangeThrift) BigRange(_ context.Context, max int64) (string, error) {
    result := new(big.Int)
    result.SetString("1", 10)
    result = result.MulRange(2, max)
    
    return result.String()
}      

接口實作之後我們就要建立并啟動伺服器了,首先我們先建立Transport:

// 建立伺服器
serverTransport, err := thrift.NewTServerSocket(net.JoinHostPort("127.0.0.1", "9999"))
if err != nil {
    fmt.Println("Error!", err)
    os.Exit(1)
}      

然後建立傳輸協定:

// 建立二進制協定
protocolFactory := thrift.NewTBinaryProtocolFactoryDefault()
transportFactory := thrift.NewTFramedTransportFactory(thrift.NewTTransportFactory())      

接着我們把實作的接口注冊成Processor:

// 建立Processor,用一個端口處理多個服務
divmodProcessor := compute.NewDivModProcessor(new(divmodThrift))
mulrangeProcessor := compute.NewMulRangeProcessor(new(mulrangeThrift))
    
multiProcessor := thrift.NewTMultiplexedProcessor()
// 給每個service起一個名字
multiProcessor.RegisterProcessor("divmod", divmodProcessor)
multiProcessor.RegisterProcessor("mulrange", mulrangeProcessor)      

這裡我們用TMultiplexedProcessor來實作一個端口監聽多個服務。

最後就是啟動伺服器:

// 啟動伺服器
server := thrift.NewTSimpleServer4(multiProcessor, serverTransport, transportFactory, protocolFactory)
server.Serve()
// 退出時停止伺服器
defer server.Stop()      

啟動伺服器這裡也有坑點,網上有文章說使用NewTSimpleServer2可以直接啟用二進制格式的資料傳輸,這是錯的,想用二進制或其他格式傳輸資料,必須明确生成對應的ProtocolFactory并使用NewTSimpleServer4建立伺服器。官方給的例子裡就是這樣做的,我也是在被反複坑了數次之後才确認了這個問題。

用戶端:

要建立用戶端,也要按照如下幾個步驟:

  1. 建立 Transport
  2. 建立 Protocol
  3. 基于 Potocol 建立 Client
  4. 打開 Transport(不一定要在client建立後才打開,但必須在protocol建立後,接口調用前打開)
  5. 調用接口

下面我們來看代碼:

func main() {
    // 先建立和伺服器的連接配接的socket,再通過socket建立Transport
    socket, err := thrift.NewTSocket(net.JoinHostPort("127.0.0.1", "9999"))
    if err != nil {
        fmt.Println("Error opening socket:", err)
        os.Exit(1)
    }
    transport := thrift.NewTFramedTransport(socket)
    
    // 建立二進制協定
    protocol := thrift.NewTBinaryProtocolTransport(transport)
    // 打開Transport,與伺服器進行連接配接
    if err := transport.Open(); err != nil {
        fmt.Fprintln(os.Stderr, "Error opening socket to "+"localhost"+":"+"9999", err)
        os.Exit(1)
    }
    defer transport.Close()
    
    // 接口需要context,以便在長操作時使用者可以取消RPC調用
    ctx := context.Background()
    
    // 使用divmod服務
    divmodProtocol := thrift.NewTMultiplexedProtocol(protocol, "divmod")
    // 建立代理用戶端,使用TMultiplexedProtocol通路對應的服務
    c := thrift.NewTStandardClient(divmodProtocol, divmodProtocol)
    
    client := compute.NewDivModClient(c)
    res, err := client.DoDivMod(ctx, 100, 3)
    if err != nil {
        fmt.Println(err)
        os.Exit(1)
    }
    fmt.Println(res)
    
    // 使用mulrange服務
    // 步驟與上面的相同
    mulProtocol := thrift.NewTMultiplexedProtocol(protocol, "mulrange")
    c = thrift.NewTStandardClient(mulProtocol, mulProtocol)
    client2 := compute.NewMulRangeClient(c)
    num, err := client2.BigRange(ctx, 100)
    if err != nil {
        fmt.Println(err)
        os.Exit(1)
    }
    fmt.Println(num)
}      

當然,大部分情況下我們可能都是用單服務,對于單服務來說,0.11版本的接口和1.0并沒有變化,這個找網上的例子即可。

go build之後我們分别運作client和server。

下面是輸出,計算了100÷3和100%3的結果,還有100的階乘,用戶端調用接口後檢查err,沒有錯誤發生就輸出結果:

golang高性能RPC:Apache Thrift安裝使用完全攻略

這樣一個支援多服務的RPC示例就完成了。

如果有疑問或者建議,歡迎在評論指出。

祝玩得愉快!