Hikari?數(shù)據(jù)庫連接池內(nèi)部源碼實現(xiàn)的小細節(jié)
Hikari 默認幾個超時配置
連接創(chuàng)建超時時間 30s
private static final long CONNECTION_TIMEOUT = SECONDS.toMillis(30);
連接存活驗證時間5s,這個時間就是驗證時socketTimeout,驗證之后恢復(fù)為0,
但是真正做數(shù)據(jù)查詢時默認為0,表示永不超時
private static final long VALIDATION_TIMEOUT = SECONDS.toMillis(5);
連接空閑時間10分鐘
private static final long IDLE_TIMEOUT = MINUTES.toMillis(10);
連接最大存活時間30分鐘
private static final long MAX_LIFETIME = MINUTES.toMillis(30);
Hikari 連接池中默認連接數(shù)量為10
默認最小連接數(shù)等于最大相同未為10
private static final int DEFAULT_POOL_SIZE = 10;
Hikari通過CopyOnWriteArrayList保存所有的連接
com.zaxxer.hikari.util.ConcurrentBag#sharedList
線程無法獲取連接時通過SynchronousQueue實現(xiàn)公平阻塞等待
當池的連接被用盡,Hikari通過SynchronousQueue
實現(xiàn)讓線程阻塞等待,并且采用的是公平鎖。
源碼見com.zaxxer.hikari.util.ConcurrentBag#handoffQueue
以及com.zaxxer.hikari.util.ConcurrentBag#ConcurrentBag
構(gòu)造方法
Hikari內(nèi)部有三個單線程的 線程池 對象
houseKeepingExecutorService
,addConnectionExecutor
,closeConnectionExecutor
分別是都只有一條線程的線程池,源碼見:com.zaxxer.hikari.pool.HikariPool
。houseKeepingExecutorService
是一個ScheduledExecutorService
對象。池中每創(chuàng)建一個連接,就會被封裝成一個PoolEntry
對象,然后放在定時任務(wù)中,定時時間就是設(shè)置的max-lifetime
。只要到達這個時間就會采取軟驅(qū)逐的方式從池中移除。- 除此之外,
houseKeepingExecutorService
還用于每隔30s來檢查一次池中的空閑連接、最大連接情況,并通過調(diào)用異步創(chuàng)建連接、異步銷毀連接的方法來維護池中連接數(shù)的平衡。
何謂軟驅(qū)逐
- 如果這個連接正在被使用,則不立即關(guān)閉連接,但是通過PoolEntry對象中的private volatile boolean evict;字段來標記為需要關(guān)閉。下次有線程來獲取到這個連接時,發(fā)現(xiàn)evict=true則調(diào)用異步關(guān)閉方法。重新獲取池中其它的連接。
- 如果這個連接未被使用,則立即調(diào)用異步關(guān)閉連接的方法。
池中連接的創(chuàng)建,關(guān)閉,除了初始化時只同步創(chuàng)建1條,其它都是異步的。
- 創(chuàng)建連接通過
addConnectionExecutor
(ThreadPoolExecutor
)來完成,關(guān)閉連接通過closeConnectionExecutor
(ThreadPoolExecutor
)來完成. - 這兩個線程池都每個都只有一個線程。加上
houseKeepingExecutorService
,那么一個Hikari連接池會創(chuàng)建3條線程?。?! - 可以通過啟動參數(shù)
-Dcom.zaxxer.hikari.blockUntilFilled
和InitializationFailTimeout
單位ms,來讓Hikari啟動時等待創(chuàng)建完成設(shè)置的最小連接數(shù)。默認為false
一個connection本質(zhì)上就是一個socket連接
一個連接池中,有多少個connection連接則對應(yīng)多少個 socket 對象與服務(wù)端的連接。
Hikari中會使用ThreadLocal來將連接綁定到線程
Hikari為了提高從池中獲取連接的性能,通過ThreadLocal來避免資源競爭,一個connection可以對應(yīng)多個Thread,一個Thread可以綁定多個connection,源碼見ConcurrentBag類中的成員變量private final ThreadLocal<List<Object>> threadList;
為什么ThreadLocal里面的泛型是List< Object >?
因為一個connection可以在不同時期被多個線程使用,當另一個線程綁定的connection正在被別的線程使用時,就需要選擇其它沒有被使用的connection,新選擇的connection同樣需要綁定到這條線程,所以使用的是List來保存。
源碼見:com.zaxxer.hikari.util.ConcurrentBag#borrow
什么時候向ThreadLocal里面保存connection?
當調(diào)用連接池中connection釋放資源的時候回收,這里的connection實際上是Hikari實現(xiàn)的一個代理類(ProxyConnection
),封裝了JDBC 連接。
源碼見:com.zaxxer.hikari.pool.ProxyConnection#close
Hikari如何做到連接的回收
通過ProxyConnection
代理類來實現(xiàn)。
源碼見:com.zaxxer.hikari.pool.ProxyConnection#close
Hikari通過CAS樂觀鎖來控制連接當前狀態(tài)
Hikari通過PoolEntry
來封裝Connection
,并通過private volatile int state
來記錄Connection當前狀態(tài),主要有如下幾個枚舉值,并通過CAS樂觀鎖來維護這些狀態(tài),提高多線程之間獲取連接的性能.
public interface IConcurrentBagEntry{ int STATE_NOT_IN_USE = 0; int STATE_IN_USE = 1; int STATE_REMOVED = -1; int STATE_RESERVED = -2; boolean compareAndSet(int expectState, int newState); void setState(int newState); int getState(); }
獲取連接,對驗證連接可用性的優(yōu)化
每次從池中獲取連接后,先判斷連接最后訪問時間和當前時間差,如果小于500ms,則直接認為連接是可用的,避免向服務(wù)器發(fā)送驗證的sql語句,提高連接池性能。
源碼見:com.zaxxer.hikari.pool.HikariPool#getConnection(long hardTimeout)
if (poolEntry.isMarkedEvicted() || (elapsedMillis(poolEntry.lastAccessed, now) > aliveBypassWindowMs && !isConnectionAlive(poolEntry.connection))) { closeConnection(poolEntry, poolEntry.isMarkedEvicted() ? EVICTED_CONNECTION_MESSAGE : DEAD_CONNECTION_MESSAGE); timeout = hardTimeout - elapsedMillis(startTime); }
否則需要驗證連接可用性:
如果配置了connection-test-query
則使用配置sql驗證,否則使用數(shù)據(jù)庫驅(qū)動程序?qū)崿F(xiàn)的java.sql.Connection#isValid(int timeout)
方法驗證。
源碼見:com.zaxxer.hikari.pool.PoolBase#isConnectionAlive
。
如果連接不可用,會輸出警告日志
如果驗證連接可用性過程,連接因為數(shù)據(jù)庫wait_timeout
超時被服務(wù)端關(guān)閉,或者網(wǎng)絡(luò)異常,則會出現(xiàn)如下警告日志,
Failed to validate connection com.mysql.cj.jdbc.ConnectionImpl@2e2ce118 (No operations allowed after connection closed.). Possibly consider using a shorter maxLifetime value.
解決方案參考我的另一篇博客:Failed to validate connection com.mysql.cj.jdbc.ConnectionImpl問題排查
總結(jié)
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
關(guān)于在IDEA中SpringBoot項目中activiti工作流的使用詳解
這篇文章主要介紹了關(guān)于在IDEA中SpringBoot項目中activiti工作流的使用詳解,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08Java底層基于鏈表實現(xiàn)集合和映射--集合Set操作詳解
這篇文章主要介紹了Java底層基于鏈表實現(xiàn)集合和映射集合Set操作,結(jié)合實例形式詳細分析了Java使用鏈表實現(xiàn)集合和映射相關(guān)原理、操作技巧與注意事項,需要的朋友可以參考下2020-03-03RocketMQ生產(chǎn)者一個應(yīng)用不能發(fā)送多個NameServer消息解決
這篇文章主要為大家介紹了RocketMQ生產(chǎn)者一個應(yīng)用不能發(fā)送多個NameServer消息原因及解決方法詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-11-11