Flask 的 資料庫連接配接 與 DBUtils 資料庫連接配接池

本地線程：thread_local

            為每個線程建立存儲資料的空間，用于線程之間的資料隔離
            否則多個線程同時通路，會使得資料混亂
           

1 Flask 連接配接資料庫 的方法

pymysql

    依賴 SQLArchemy
           

資料庫連接配接的方案

1  每次請求反複的建立資料庫連接配接  (可以并發請求 -- 但是每次都會建立連接配接)
    # 連接配接數太多

2  将連接配接放在全局變量  單線程(沒有問題)  pymysql 隻能支援單線程
    # 不能支援并發


3  import threading
   LOCK = threading.RLock()
   with LOCK:
      connect ---
      ...
   # 這樣控制每次隻能有一個線程連接配接  (不能并發操作)
   # 不加鎖 ，多線程狀況下 會報錯


4  基于 DBUtils 實作 資料庫連接配接池

    --  為每一個線程建立一個連接配接，當連接配接關閉的時候，不是真正的關閉；
        當本線程再次使用的時候，還是使用最開始的連接配接，
        隻有當線程終止的時候，連接配接才會關閉

    -- 建立一個連接配接池(清單)，為所有的線程 提供連接配接，使用完畢 再放回連接配接池
       所有的連接配接都可以被重複使用，共享

    -- 基于實作本地線程： 線程間的資料隔離
           

2 為什麼要使用資料庫連接配接池

如果沒有連接配接池，使用pymysql來連接配接資料庫時，單線程應用完全沒有問題，但如果涉及到多線程應用那麼就需要加鎖，一旦加鎖那麼連接配接勢必就會排隊等待，當請求比較多時，性能就會降低了

實作并發，避免無限制的連接配接
           

3 使用DBUtils 資料庫連接配接池

DBUtils是Python的一個用于實作資料庫連接配接池的子產品
           

模式一：為每個線程建立一個連接配接，線程即使調用了close方法，也不會關閉，隻是把連接配接重新放到連接配接池，供自己線程再次使用。當線程終止時，連接配接自動關閉

基于本地線程   每個線程建立一個本地線程

POOL = PersistentDB(
    creator=pymysql,  # 使用連結資料庫的子產品
    maxusage=None,  # 一個連結最多被重複使用的次數，None表示無限制
    setsession=[],  # 開始會話前執行的指令清單。如：["set datestyle to ...", "set time zone ..."]
    ping=0,
    # ping MySQL服務端，檢查是否服務可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
    closeable=False,
    # 如果為False時， conn.close() 實際上被忽略，供下次使用，再線程關閉時，才會自動關閉連結。如果為True時， conn.close()則關閉連結，那麼再次調用pool.connection時就會報錯，因為已經真的關閉了連接配接（pool.steady_connection()可以擷取一個新的連結）
    threadlocal=None,  # 本線程獨享值得對象，用于儲存連結對象，如果連結對象被重置
    host='127.0.0.1',
    port=3306,
    user='root',
    password='123',
    database='pooldb',
    charset='utf8'
)

def func():
    conn = POOL.connection(shareable=False)
    cursor = conn.cursor()
    cursor.execute('select * from tb1')
    result = cursor.fetchall()
    cursor.close()
    conn.close()                         # 結束本次連接配接，供本線程再次使用

func()
           

模式二：建立一批連接配接到連接配接池，供所有線程共享使用

先 建立本地連接配接，讓所有線程公用

PS：由于pymysql、MySQLdb等threadsafety值為1，是以該模式連接配接池中的線程會被所有線程共享。
是以 最大共享數 無用的。
           

這種模式是最常使用的

db.py:

    import time
    import pymysql
    import threading
    from DBUtils.PooledDB import PooledDB, SharedDBConnection
    POOL = PooledDB(
        creator=pymysql,  # 使用連結資料庫的子產品
        maxconnections=6,  # 連接配接池允許的最大連接配接數，0和None表示不限制連接配接數
        mincached=2,  # 初始化時，連結池中至少建立的空閑的連結，0表示不建立
        maxcached=5,  # 連結池中最多閑置的連結，0和None不限制
        maxshared=3,  # 連結池中最多共享的連結數量，0和None表示全部共享。PS: 無用，因為pymysql和MySQLdb等子產品的 threadsafety都為1，所有值無論設定為多少，_maxcached永遠為0，是以永遠是所有連結都共享。
        blocking=True,  # 連接配接池中如果沒有可用連接配接後，是否阻塞等待。True，等待；False，不等待然後報錯
        maxusage=None,  # 一個連結最多被重複使用的次數，None表示無限制
        setsession=[],  # 開始會話前執行的指令清單。如：["set datestyle to ...", "set time zone ..."]
        ping=0,
        # ping MySQL服務端，檢查是否服務可用。# 如：0 = None = never, 1 = default = whenever it is requested, 2 = when a cursor is created, 4 = when a query is executed, 7 = always
        host='127.0.0.1',
        port=3306,
        user='root',
        password='123',
        database='pooldb',
        charset='utf8'
    )


使用的時候:

    from db import POOL
    
    def func():
        # 檢測目前正在運作連接配接數的是否小于最大連結數，如果不小于則：等待或報raise TooManyConnections異常
        # 否則
        # 則優先去初始化時建立的連結中擷取連結 SteadyDBConnection。
        # 然後将SteadyDBConnection對象封裝到PooledDedicatedDBConnection中并傳回。
        # 如果最開始建立的連結沒有連結，則去建立一個SteadyDBConnection對象，再封裝到PooledDedicatedDBConnection中并傳回。
        # 一旦關閉連結後，連接配接就傳回到連接配接池讓後續線程繼續使用。

        conn = POOL.connection()

        # print(th, '連結被拿走了', conn1._con)
        # print(th, '池子裡目前有', pool._idle_cache, '\r\n')

        cursor = conn.cursor()
        cursor.execute('select * from tb1')
        result = cursor.fetchall()
        conn.close()                         # 結束本次連接配接，把連接配接放回連接配接池

    func()
           

小結

1 每次操作都要連接配接  --- 不允許

2 公用一個連接配接，多線程會出問題， 加鎖-->> 變成了串行

3 DBUtils 資料庫連接配接池：
    (1) 基于treading.local 實作為每一個線程 建立一個連接配接，目前線程可以反複使用本線程的連接配接，線程終止的時候連接配接關閉

      # treading.local  為每一個線程建立一份獨立的值，相當于一個字典(每個線程的唯一辨別為 鍵)

    (2) 設定最大連接配接數
        預設啟動時，連接配接池中建立的連接配接

      #  1個連接配接可以為3個線程服務(可能中途返還)
           

轉載于:https://www.cnblogs.com/big-handsome-guy/p/8544617.html