其實對這種和資料庫互動的應用,現在的程式中,大多都用了資料庫連接配接池,無論用的開源,還是自研的,無非都是想通過連接配接池,更友善、更高效地和資料庫互動,是以一定程度上,連接配接池的正确使用會關系到應用和資料庫互動的品質。一 前言
應用執行SQL請求完成的過程中,資料庫連接配接占很重要一部分。尤其是涉及到流量瞬間暴漲,需要建立大量連接配接,或者網絡異常導緻重連時,從業務端來看,sql執行緩慢的問題,此時sql執行并非真的慢。本文是基于我們自己的生産環境的Durid最佳實踐,僅供各位參考,當然不同公司的鍊路/業務壓力可能不一樣。具體到個别參數需要差別對待。
二 具體實踐
從整體系統的角度,我們要考慮幾個點 ,資料庫連接配接數配置多少合适,針對空閑連接配接,網絡異常的逾時時間,如何高效複用連接配接,druid 版本選擇這幾個方面來介紹。
2.1 如何設定連接配接池大小
合适的連接配接池大小和業務請求的 QPS 和 單個請求的 RT(機關為毫秒)。基本公式:
連接配接數 = QPS /(1000/RT) + N = QPS * RT /1000 + N
注意: 此處 QPS 和 RT 為單個應用端統計。假定随連接配接數量增加,用戶端能處理的請求數線性增加。
舉個例子
比如 一個請求的耗時rt=2ms,每個連接配接能處理的請求數量
S = 1000/2 =500 ,
業務層總請求量是 M=5000 ,那麼合理的連接配接數為
M/S=5000/500=10
為了避免連接配接數被占滿,我們會在上面的連接配接數的基礎上再加上N ,最終的連接配接數為10+N .
複制
統計平時的最大 QPS 和此時的 RT,以此計算 minIdle,并設定 initialSize = minIdle。
統計峰值時的 QPS 和此時的 RT,以此計算 maxActive。
可以通過以下方法,通過 jmx 觀察 Druid 實際的連接配接池狀況,重點關注 ActiveCount:活動連接配接數,PoolingCount:池子中的連接配接數。并根據實際情況考慮調整。
java -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+TieredCompilation -XX:TieredStopAtLevel=1 -Xverify:none -client -jar /PATH/cmdline-jmxclient-0.10.3.jar - 127.0.0.1:7777 'com.alibaba.druid:type=DruidDataSourceStat' DataSourceList |& grep -E 'ActiveCount|PoolingCount'
2.2 如何設定逾時時間
連接配接池中的逾時時間主要有:
connectTimeout 建立 TCP 連接配接的逾時時間
maxWait 從連接配接池擷取連接配接的最長等待時間
socketTimeout 發送請求後等待響應的逾時時間
其中,connectTimeout 建議不要小于 1200ms。TCP 在建立連接配接時,SYN 包的逾時重傳時間為 1s。connectTimeout 設定過短,很可能造成應用釋出時,初始化連接配接池過程中由于網絡抖動,或中間網絡裝置需要初始化狀态發生丢包觸發逾時,進而造成連接配接池初始化失敗而導緻釋出失敗。
socketTimeout 可以根據應用最長的查詢傳回時間設定。過長會造成生網絡問題,或資料庫服務有問題時雪崩;過短也會造成頻繁請求逾時。不要短于 300ms。TCP 的最小 RTO 為 200ms,并根據延遲動态調整。過短的逾時時間會造成單個丢包就造成請求逾時。生産環境資料庫都配置有 SQL Killer,會自動殺死執行時間過長的請求。是以,設定過長的 socketTimeout 也是沒有意義的。
maxWait 可以根據應用期待的等待時間設定。為避免在發生網絡問題,或資料庫服務有問題時雪崩,這個時間設定不要過大。下面的預設值 800ms 是個保守的設定。應用可以設定一個更短的時間,如 300ms。過短的時間也會造成在連接配接池中連接配接數不足,需要建立連接配接時造成大量逾時。建議不要低于 100ms。
2.3 如何設定連接配接保持時間
設定連接配接保持活躍的時間需要考慮是直連還是通過資料庫中間件proxy連接配接。一般現在的生産環境大多為:
App -> LVS -> Proxy -> DB
其中應用到 RDS 的通路路徑為 App -> LVS -> Proxy 。
其中,LVS 空閑連接配接保留時間為 90s。Proxy 為了避免通路到已被關閉的連接配接,自身的空閑連接配接保留時間為 [70, 85) s。是以,應用程式為了避免從連接配接池擷取到已被關閉的連接配接,應當設定自身保留白閑連接配接時間不能超過70s。打開KeepAlive之後的效果
初始化連接配接池時會填充到minIdle數量。
連接配接池中的minIdle數量以内的連接配接,空閑時間超過
minEvictableIdleTimeMillis,則會執行keepAlive操作。
當網絡斷開等原因産生的由ExceptionSorter檢測出來的死連接配接被清除後,自動補充連接配接到minIdle數量。
timeBetweenEvictionRunsMillis=10000,
minEvictableIdleTimeMillis=44000,
maxEvictableIdleTimeMillis=55000。
複制
2.4 必選配置項
以下預設配置可以根據實際情況調整。
<bean id="cartDataSource" class="com.alibaba.druid.pool.DruidDataSource"
init-method="init" destroy-method="close">
<property name="url" value="${cluster.jdbc.url}"/>
<property name="username" value="${cluster.jdbc.username}"/>
<property name="password" value="${cluster.jdbc.password}"/>
<property name="connectionInitSqls" value="set names utf8mb4"/>
<!-- 連接配接池初始連接配接數 -->
<property name="initialSize" value="5" />
<!-- 允許的最大同時使用中(在被業務線程持有,還沒有歸還給druid) 的連接配接數 -->
<property name="maxActive" value="20" />
<!-- 允許的最小空閑連接配接數,空閑連接配接逾時踢除過程會最少保留的連接配接數 -->
<property name="minIdle" value="5" />
<!-- 從連接配接池擷取連接配接的最大等待時間 800毫秒;業務方根據可以自行調整-->
<property name="maxWait" value="800" />
<!-- 一條實體連接配接的最大存活時間 120分鐘-->
<property name="phyTimeoutMillis" value="7200000"/>
<!-- 強行關閉從連接配接池擷取而長時間未歸還給druid的連接配接(認為異常連接配接)-->
<property name="removeAbandoned" value="true"/>
<!-- 異常連接配接判斷條件,超過180 秒 則認為是異常的,需要強行關閉 -->
<property name="removeAbandonedTimeout" value="180"/>
<!-- 從連接配接池擷取到連接配接後,如果超過被空閑剔除周期,是否做一次連接配接有效性檢查 -->
<property name="testWhileIdle" value="true"/>
<!-- 從連接配接池擷取連接配接後,是否馬上執行一次檢查 -->
<property name="testOnBorrow" value="false"/>
<!-- 歸還連接配接到連接配接池時是否馬上做一次檢查 -->
<property name="testOnReturn" value="false"/>
<!-- 連接配接有效性檢查的SQL -->
<property name="validationQuery" value="SELECT 1"/>
<!-- 連接配接有效性檢查的逾時時間 1 秒 -->
<property name="validationQueryTimeout" value="1"/>
<!-- 周期性剔除長時間呆在池子裡未被使用的空閑連接配接, 10秒一次-->
<property name="timeBetweenEvictionRunsMillis" value="10000"/>
<!-- 空閑多久可以認為是空閑太長而需要剔除 44 秒-->
<property name="minEvictableIdleTimeMillis" value="44000"/>
<!-- 如果空閑時間太長即使連接配接池所剩連接配接 < minIdle 也會被剔除 55 秒 -->
<property name="maxEvictableIdleTimeMillis" value="55000"/>
<!-- 是否設定自動送出,相當于每個語句一個事務 -->
<property name="defaultAutoCommit" value="true"/>
<!-- 記錄被判定為異常的連接配接 -->
<property name="logAbandoned" value="true"/>
<!-- 網絡讀取逾時,網絡連接配接逾時
socketTimeout : 對于線上業務小于5s,對于BI等執行時間較長的業務的SQL,需要設定大一點
-->
<property name="connectionProperties" value="socketTimeout=3000;connectTimeout=1200"/>
<property name="proxyFilters">
<list>
<ref bean="log-filter"/>
</list>
</property>
</bean>
複制
1.0.28版本之後,新加入keepAlive配置,預設關閉。使用keepAlive功能,建議使用1.1.16或者更高版本。一般業務無需打開,除非分鐘請求量在個位數或者啟動時間超長導緻初始連接配接都過期。
2.5 druid版本
建議使用最新版本,不要使用太老的版本,以免遇到 bug。
e.g. Maven 配置:
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
<version>1.0.27</version>
</dependency>
複制