天天看點

自定義RPC的完整實作---深入了解rpc内部原理

倘若不使用RPC遠端調用的情況下,代碼如下:

local.py

# coding:utf-8

# 本地調用除法運算的形式
class InvalidOperation(Exception):
    def __init__(self, message = None):
        self.message = message or 'involid operation'

def divide(num1, num2 = 1):
    if num2 == 0:
        raise InvalidOperation
    res = num1 / num2
    return res

try:
    val = divide(200, 100)
except InvalidOperation as e:
    print(e.message)
else:
    print(val)           

接下來将使用RPC二進制的形式,遠端過程調用代碼如下。

service.py 中自定義需要實作消息協定、傳輸控制,并且實作用戶端存根clientStub和伺服器端存根serverStub,伺服器定義以及channel的定義。

import struct
from io import BytesIO
import socket

class InvalidOperation(BaseException):
    def __init__(self, message = None):
        self.message = message or 'involid operation'

class MethodProtocol(object):
    ''''
    解讀方法名
    '''
    def __init__(self, connection):
        self.conn = connection

    def _read_all(self, size):
        """
        幫助我們讀取二進制資料
        :param  size: 想要讀取的二進制資料大小
        :return:  二進制資料bytes
        """
        # self.conn
        if isinstance(self.conn, BytesIO):
            buff = self.conn.read(size)
            return buff
        else:
            # 有時候長度大于每次讀取的長度
            have = 0
            buff = b''
            while have < size:
                chunk = self.conn.recv(size - have)
                buff += chunk
                l = len(chunk)
                have += l
                if l == 0:
                    # 表示用戶端已經關閉了
                    raise EOFError
            return buff

    def get_method_name(self):
        # 讀取字元串長度
        buff = self._read_all(4)
        length = struct.unpack('!I',buff)[0]

        # 讀取字元串
        buff = self._read_all(length)
        name = buff.decode()
        return name

class DivideProtocol(object):
    """
    divide過程消息協定轉換工具
    """
    def args_encode(self, num1, num2=1):
        """
        将原始調用的請求參數轉換打包成二進制消息資料
        :param num1: int
        :param num2: int
        :return: bytes 二進制消息資料
        """
        name = 'divide'

        # 處理函數名
        buff = struct.pack('!I', 6) # 無符号int
        buff += name.encode()

        # 處理參數1
        buff2 = struct.pack('!B', 1) # 無符号byte
        buff2 += struct.pack('!i', num1)

        # 處理參數2
        if num2 != 1:
            # 沒有傳參的時候
            buff2 += struct.pack('!B', 2)
            buff2 += struct.pack('!i', num2)

        # 處理參數邊界群組合成完整資料
        buff += struct.pack('!I',len(buff2))
        buff += buff2

        return buff

    def _read_all(self, size):
        """
        幫助我們讀取二進制資料
        :param  size: 想要讀取的二進制資料大小
        :return:  二進制資料bytes
        """
        # self.conn
        if isinstance(self.conn, BytesIO):
            buff = self.conn.read(size)
            return buff
        else:
            # 有時候長度大于每次讀取的長度
            have = 0
            buff = b''
            while have < size:
                chunk = self.conn.recv(size - have)
                buff += chunk
                l = len(chunk)
                have +=  l
                if l == 0:
                    # 表示用戶端已經關閉了
                    raise EOFError
            return buff

    def args_decode(self, connection):
        """
        接受調用請求資料病進行解析
        :param connection: 連結請求資料 socket  BytesIO
        :return: 因為有多個參數,定義為字典
        """
        param_len_map = {
            1:4,
            2:4,
        }

        param_fmt_map = {
            1:'!i',
            2:'!i',
        }

        param_name_map = {
            1: 'num1',
            2: 'num2',
        }

        # 儲存用來傳回的參數字典
        args = {}

        self.conn = connection
        # 處理方法的名字,已經提前被處理,稍後處理

        # 處理消息邊界
        # 1) 讀取二進制資料----read  , ------ByteIO.read
        # 2) 将二進制資料轉換為python的資料類型
        buff = self._read_all(4)
        length = struct.unpack('!I',buff)[0]

        # 記錄已經讀取的長度值
        have = 0

        # 處理第一個參數
        # 解析參數序号
        buff = self._read_all(1)
        have += 1
        param_seq = struct.unpack('!B', buff)[0]

        # 解析參數值
        param_len = param_len_map[param_seq]
        buff = self._read_all(param_len)
        have += param_len
        param_fmt = param_fmt_map[param_seq]
        param = struct.unpack(param_fmt,buff)[0]

        # 設定解析後的字典
        param_name = param_name_map[param_seq]
        args[param_name] = param

        if have >= length:
            return args
        # 處理第二個參數
        # 解析參數序号
        buff = self._read_all(1)
        param_seq = struct.unpack('!B', buff)[0]

        # 解析參數值
        param_len = param_len_map[param_seq]
        buff = self._read_all(param_len)
        param_fmt = param_fmt_map[param_seq]
        param = struct.unpack(param_fmt, buff)[0]

        # 設定解析後的字典
        param_name = param_name_map[param_seq]
        args[param_name] = param
        return args

    def result_encode(self, result):
        """
        将原始結果資料轉換為消息協定二進制資料
        :param result:
        :return:
        """
        if  isinstance(result,float):
            # 處理傳回值類型
            buff = struct.pack('!B', 1)
            buff += struct.pack('!f', result)
            return buff
        else:
            buff = struct.pack('!B', 2)
            # 處理傳回值
            length = len(result.message)
            # 處理字元串長度
            buff += struct.pack('!I', length)
            buff += result.message.encode()
            return buff

    def result_decode(self, connection):
        """
        将傳回值消息資料轉換為原始傳回值
        :param connection: socket BytesIo
        :return: float InvalidOperation對象
        """
        self.conn = connection
        # 處理傳回值類型
        buff = self._read_all(1)
        result_type = struct.unpack('!B', buff)[0]

        if result_type == 1:
            #正常情況
            buff = self._read_all(4)
            val = struct.unpack('!f', buff)[0]
            return val
        else:
            buff = self._read_all(4)
            length = struct.unpack('!I', buff)[0]
            # 讀取字元串
            buff = self._read_all(length)
            message = buff.decode(buff)
            return InvalidOperation(message)

class Channel(object):
    """
    用于用戶端建立網絡連結
    """
    def __init__(self, host, port):
        self.host = host
        self.port = port

    def get_connection(self):
        """
        擷取連結對象
        :return: 與伺服器通訊的socket
        """
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        sock.connect((self.host, self.port))
        return sock

class Server(object):
    """
    RPC伺服器
    """
    def __init__(self, host, port, handlers):
        sock = socket.socket(socket.AF_INET,socket.SOCK_STREAM)

        # 位址複用
        sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

        self.host = host
        self.port = port
        # 綁定位址
        sock.bind((self.host, self.port))

        #  因為在啟動的方法中才開啟監聽,是以不在此處開啟
        # sock.listen(128)
        self.sock = sock
        self.handlers = handlers

    def serve(self):
        """
        開啟伺服器運作,提供RPC服務
        :return:
        """
        # 開啟伺服器的監聽,等待用戶端的連結請求
        self.sock.listen(128)
        print("伺服器開啟監聽,ip位址為%s,port為%d..." % (self.host,self.port))
        while True:
            # 不斷的接收用戶端的連結請求
            client_sock, client_addr = self.sock.accept()
            print("與用戶端%s建立連接配接" % str(client_addr))

            # 交個ServerStub,完成用戶端的具體的RPC的調用請求
            stub = ServerStub(client_sock, self.handlers)
            try:
                while True:
                    # 不斷的接收
                    stub.process()
            except EOFError:
                # 表示用戶端關閉了連接配接
                print('用戶端關閉了連接配接')
                client_sock.close()

class ClientStub(object):
    """
    用來幫助用戶端完成遠端過程調用 RPC調用

    stub = ClientStub()
    stub.divide(200, 100)
    """
    def __init__(self, channel):
        self.channel = channel
        self.conn = self.channel.get_connection()

    def divide(self, num1, num2 = 1):
        # 将調用的參數打包成消息協定的資料
        proto = DivideProtocol()
        args = proto.args_encode(num1, num2)
        # 将消息資料通過網絡發送給伺服器
        self.conn.sendall(args)

        # 接受伺服器傳回的消息資料,并進行解析
        result = proto.result_decode(self.conn)

        # 将結果之(正常float 或 異常InvalidOperation)傳回給用戶端
        if isinstance(result,float):
            return result
        else:
            raise result

class ServerStub(object):
    """
    服務端存根
    幫助服務端完成遠端過程調用
    """
    def __init__(self, connection, handlers):
        """
        :param connection: 與用戶端的連結
        :param handlers: 真正的本地函數路由
        此處不以map的形式處理,實作類的形式
        class Handler:
            @staticmethod
            def divide():
                pass
            @staticmethod
            def add():
                pass
        """
        self.conn = connection
        self.method_proto = MethodProtocol(self.conn)
        self.process_map = {
            'divide': self._process_divide,
            'add': self._process_add
        }
        self.handlers = handlers

    def process(self):
        """
        當服務端接受了客戶的連結,建立好連結後,完成遠端調用的處理
        :return:
        """
        # 接收消息資料,并解析方法的名字
        name = self.method_proto.get_method_name()
        # 根據解析獲得的方法名,調用相應的過程協定,接收并解析消息資料
        self.process_map[name]()

    def _process_divide(self):
        """
        處理除法過程調用
        :return:
        """
        proto = DivideProtocol()
        args = proto.args_decode(self.conn)
        # args = {'num1':xxx, 'num2':xxx}
        # 除法過程的本地調用------------------->>>>>>>>>
        # 将本地調用過程的傳回值(包括可能的異常)打包成消息協定的資料,通過網絡傳回給用戶端
        try:
            val = self.handlers.divide(**args)
        except InvalidOperation as e:
            ret_message = proto.result_encode(e)
        else:
            ret_message = proto.result_encode(val)
        self.conn.sendall(ret_message)

    def _process_add(self):
        """
        處理加法過程調用
        此方法暫時不識閑
        :return:
        """
        pass

if __name__ == '__main__':
    # 目的:消息協定測試,模拟網絡傳輸
    # 構造消息資料
    proto = DivideProtocol()

    # 測試一
    # divide(200,100)
    # message = proto.args_encode(200,100)

    # 測試二
    message = proto.args_encode(200)

    conn = BytesIO()
    conn.write(message)
    conn.seek(0)

    # 解析消息資料
    method_proto = MethodProtocal(conn)
    name = method_proto.get_method_name()
    print(name)

    args = proto.args_decode(conn)
    print(args)
           

接下來,隻需要建立伺服器執行個體和使用用戶端發起請求

server.py

from services import InvalidOperation
from services import Server

class Handlers:
    @staticmethod
    def divide(num1, num2 = 1):
        if num2 == 0:
            raise InvalidOperation('ck_god_err')
        val = num1/num2
        return val

if __name__ == '__main__':
    # 開啟伺服器
    _server = Server('127.0.0.1', 8000, Handlers)
    _server.serve()           

client.py

ffrom services import ClientStub
from services import Channel
from services import InvalidOperation

# 建立與伺服器的連接配接
channel = Channel('127.0.0.1', 8000)

# 建立用于rpc調用的工具
stub = ClientStub(channel)

# 進行調用
for i in range(5):
    try:
        # val = stub.divide(i * 100,100)
        # val = stub.divide(i * 100)
        val = stub.divide( 100, 0)
    except InvalidOperation as e:
        print(e.message)
    else:
        print(val)           

當然如果有必要的話,可以在services.py添加如下代碼,改為多線程的方式,自己再重寫建立執行個體就可以調用了。

class ThreadServer(object):
    """
    多線成RPC伺服器
    """
    def __init__(self, host, port, handlers):
        sock = socket.socket(socket.AF_INET,socket.SOCK_STREAM)

        # 位址複用
        sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

        self.host = host
        self.port = port
        # 綁定位址
        sock.bind((self.host, self.port))

        #  因為在啟動的方法中才開啟監聽,是以不在此處開啟
        # sock.listen(128)
        self.sock = sock
        self.handlers = handlers

    def serve(self):
        """
        開啟伺服器運作,提供RPC服務
        :return:
        """
        # 開啟伺服器的監聽,等待用戶端的連結請求
        self.sock.listen(128)
        print("伺服器開啟監聽,ip位址為%s,port為%d..." % (self.host,self.port))
        while True:
            # 不斷的接收用戶端的連結請求
            client_sock, client_addr = self.sock.accept()
            print("與用戶端%s建立連接配接" % str(client_addr))
            t = threading.Thread(target= self.handle, args=(client_sock,))
            t.start()

    # 子線程函數
    def handle(self,client_sock):
        """
        子線程調用的方法,用來處理一個客戶段的請求
        :return: 
        """
        # 交個ServerStub,完成用戶端的具體的RPC的調用請求
        stub = ServerStub(client_sock, self.handlers)
        try:
            while True:
                # 不斷的接收
                stub.process()
        except EOFError:
            # 表示用戶端關閉了連接配接
            print('用戶端關閉了連接配接')
            client_sock.close()
           

繼續閱讀