Spring + iBatis 的多库横向切分简易解决思路

1.引言

笔者最近在做一个互联网的“类SNS”应用，应用中用户数量巨大（约4000万）左右，因此，简单的使用传统单一数据库存储肯定是不行的。

参考了业内广泛使用的分库分表，以及使用DAL数据访问层等的做法，笔者决定使用一种最简单的数据源路由选择方式来解决问题。

严格的说，目前的实现不能算是一个解决方案，只能是一种思路的简易实现，笔者也仅花了2天时间来完成（其中1.5天是在看资料和Spring/ibatis的源码）。这里也只是为各位看官提供一个思路参考，顺便给自己留个笔记

2.系统的设计前提

我们的系统使用了16个数据库实例（目前分布在2台物理机器上，后期将根据系统负荷的增加，逐步移库到16台物理机器上）。16个库是根据用户的UserID进行简单的hash分配。这里值得一说的是，我们既然做了这样的横向切分设计，就已经考虑了系统需求的特性，

1.不会发生经常性的跨库访问。

2.主要的业务逻辑都是围绕UserID为核心的，在一个单库事务内即可完成。

在系统中，我们使用Spring和iBatis。Spring负责数据库的事务管理AOP，以及Bean间的IOC。选择iBatis的最大原因是对Sql的性能优化，以及后期如果有分表要求的时，可以很容易实现对sql表名替换。

3.设计思路

首先，要说明一下笔者的思路，其实很简单，即“在每次数据库操作前，确定当前要选择的数据库对象”而后就如同访问单库一样的访问当前选中的数据库即可。

其次，要在每次DB访问前选择数据库，需要明确几个问题，1.iBatis在什么时候从DataSource中取得具体的数据库Connection的，2.对取得的Connection，iBatis是否进行缓存，因为在多库情况下Connection被缓存就意味着无法及时改变数据库链接选择。3.由于我们使用了Spring来管理DB事务，因此必须搞清Spring对DB Connction的开关拦截过程是否会影响多DataSource的情况。

幸运的是，研究源码的结果发现，iBatis和Spring都是通过标准的DataSource接口来控制

Connection的，这就为我们省去了很多的麻烦，只需要实现一个能够支持多个数据库的DataSource，就能达到我们的目标。

4.代码与实现

多数据库的DataSource实现：MultiDataSource.class

<code>import</code> <code>java.io.PrintWriter;</code>

<code>import</code> <code>java.sql.Connection;</code>

<code>import</code> <code>java.sql.SQLException;</code>

<code>import</code> <code>java.util.ArrayList;</code>

<code>import</code> <code>java.util.Collection;</code>

<code>import</code> <code>java.util.HashMap;</code>

<code>import</code> <code>java.util.Map;</code>

<code>import</code> <code>javax.sql.DataSource;</code>

<code>import</code> <code>org.apache.log4j.Logger;</code>

<code>import</code> <code>com.xxx.sql.DataSourceRouter.RouterStrategy;</code>

<code> </code><code>* 复合多数据源（Alpha）</code>

<code> </code><code>* @author [email protected]</code>

<code>public</code> <code>class</code> <code>MultiDataSource</code><code>implements</code> <code>DataSource {</code>

<code> </code><code>static</code> <code>Logger logger = Logger.getLogger(MultiDataSource.</code><code>class</code><code>);</code>

<code> </code><code>//当前线程对应的实际DataSource</code>

<code> </code><code>private</code> <code>ThreadLocal<DataSource> currentDataSourceHolder =</code><code>new</code> <code>ThreadLocal<DataSource>();</code>

<code> </code><code>//使用Key-Value映射的DataSource</code>

<code> </code><code>private</code> <code>Map<String , DataSource> mappedDataSources;</code>

<code> </code><code>//使用横向切分的分布式DataSource</code>

<code> </code><code>private</code> <code>ArrayList<DataSource> clusterDataSources;</code>

<code> </code><code>public</code> <code>MultiDataSource(){</code>

<code> </code><code>mappedDataSources =</code><code>new</code> <code>HashMap<String , DataSource>(</code><code>4</code><code>);</code>

<code> </code><code>clusterDataSources =</code><code>new</code> <code>ArrayList<DataSource>(</code><code>4</code><code>);</code>

<code> </code><code>* 数据库连接池初始化</code>

<code> </code><code>* 该方法通常在web 应用启动时调用</code>

<code> </code><code>public</code> <code>void</code> <code>initialMultiDataSource(){</code>

<code> </code><code>for</code><code>(DataSource ds : clusterDataSources){</code>

<code> </code><code>Connection conn =</code><code>null</code><code>;</code>

<code> </code><code>conn = ds.getConnection(); </code>

<code> </code><code>}</code><code>catch</code> <code>(SQLException e) {</code>

<code> </code><code>e.printStackTrace();</code>

<code> </code><code>}</code><code>finally</code><code>{</code>

<code> </code><code>conn.close();</code>

<code> </code><code>}</code><code>catch</code> <code>(SQLException e) {</code>

<code> </code><code>e.printStackTrace();</code>

<code> </code><code>Collection<DataSource> dsCollection = mappedDataSources.values();</code>

<code> </code><code>for</code><code>(DataSource ds : dsCollection){</code>

<code> </code><code>conn = ds.getConnection();</code>

<code> </code><code>* 获取当前线程绑定的DataSource</code>

<code> </code><code>* @return</code>

<code> </code><code>public</code> <code>DataSource getCurrentDataSource() {</code>

<code> </code><code>//如果路由策略存在，且更新过，则根据路由算法选择新的DataSource</code>

<code> </code><code>RouterStrategy strategy = DataSourceRouter.currentRouterStrategy.get();</code>

<code> </code><code>if</code><code>(strategy ==</code><code>null</code><code>){</code>

<code> </code><code>throw</code> <code>new</code> <code>IllegalArgumentException(</code><code>"DataSource RouterStrategy No found."</code><code>);</code>

<code> </code><code>if</code><code>(strategy !=</code><code>null</code> <code>&& strategy.isRefresh()){ </code>

<code> </code><code>if</code><code>(RouterStrategy.SRATEGY_TYPE_MAP.equals(strategy.getType())){</code>

<code> </code><code>this</code><code>.choiceMappedDataSources(strategy.getKey());</code>

<code> </code><code>}</code><code>else</code> <code>if</code><code>(RouterStrategy.SRATEGY_TYPE_CLUSTER.equals(strategy.getType())){</code>

<code> </code><code>this</code><code>.routeClusterDataSources(strategy.getRouteFactor());</code>

<code> </code><code>strategy.setRefresh(</code><code>false</code><code>);</code>

<code> </code><code>return</code> <code>currentDataSourceHolder.get();</code>

<code> </code><code>public</code> <code>Map<String, DataSource> getMappedDataSources() {</code>

<code> </code><code>return</code> <code>mappedDataSources;</code>

<code> </code><code>public</code> <code>void</code> <code>setMappedDataSources(Map<String, DataSource> mappedDataSources) {</code>

<code> </code><code>this</code><code>.mappedDataSources = mappedDataSources;</code>

<code> </code><code>public</code> <code>ArrayList<DataSource> getClusterDataSources() {</code>

<code> </code><code>return</code> <code>clusterDataSources;</code>

<code> </code><code>public</code> <code>void</code> <code>setClusterDataSources(ArrayList<DataSource> clusterDataSources) {</code>

<code> </code><code>this</code><code>.clusterDataSources = clusterDataSources;</code>

<code> </code><code>* 使用Key选择当前的数据源</code>

<code> </code><code>* @param key</code>

<code> </code><code>public</code> <code>void</code> <code>choiceMappedDataSources(String key){</code>

<code> </code><code>DataSource ds =</code><code>this</code><code>.mappedDataSources.get(key);</code>

<code> </code><code>throw</code> <code>new</code> <code>IllegalStateException(</code><code>"No Mapped DataSources Exist!"</code><code>);</code>

<code> </code><code>this</code><code>.currentDataSourceHolder.set(ds);</code>

<code> </code><code>* 使用取模算法，在群集数据源中做路由选择</code>

<code> </code><code>* @param routeFactor</code>

<code> </code><code>public</code> <code>void</code> <code>routeClusterDataSources(</code><code>int</code> <code>routeFactor){</code>

<code> </code><code>int</code> <code>size =</code><code>this</code><code>.clusterDataSources.size();</code>

<code> </code><code>throw</code> <code>new</code> <code>IllegalStateException(</code><code>"No Cluster DataSources Exist!"</code><code>);</code>

<code> </code><code>int</code> <code>choosen = routeFactor % size;</code>

<code> </code><code>DataSource ds =</code><code>this</code><code>.clusterDataSources.get(choosen);</code>

<code> </code><code>throw</code> <code>new</code> <code>IllegalStateException(</code><code>"Choosen DataSources is null!"</code><code>);</code>

<code> </code><code>logger.debug(</code><code>"Choosen DataSource No."</code> <code>+ choosen+</code><code>" : "</code> <code>+ ds.toString());</code>

<code> </code><code>/* (non-Javadoc)</code>

<code> </code><code>* @see javax.sql.DataSource#getConnection()</code>

<code> </code><code>public Connection getConnection() throws SQLException {</code>

<code> </code><code>if(getCurrentDataSource() != null){</code>

<code> </code><code>return getCurrentDataSource().getConnection();</code>

<code> </code><code>return null;</code>

<code> </code><code>* @see javax.sql.DataSource#getConnection(java.lang.String, java.lang.String)</code>

<code> </code><code>public Connection getConnection(String username, String password)</code>

<code> </code><code>throws SQLException {</code>

<code> </code><code>return getCurrentDataSource().getConnection(username , password);</code>

<code> </code><code>* @see javax.sql.CommonDataSource#getLogWriter()</code>

<code> </code><code>public PrintWriter getLogWriter() throws SQLException {</code>

<code> </code><code>return getCurrentDataSource().getLogWriter();</code>

<code> </code><code>* @see javax.sql.CommonDataSource#getLoginTimeout()</code>

<code> </code><code>public int getLoginTimeout() throws SQLException {</code>

<code> </code><code>return getCurrentDataSource().getLoginTimeout();</code>

<code> </code><code>return 0;</code>

<code> </code><code>* @see javax.sql.CommonDataSource#setLogWriter(java.io.PrintWriter)</code>

<code> </code><code>public void setLogWriter(PrintWriter out) throws SQLException {</code>

<code> </code><code>getCurrentDataSource().setLogWriter(out);</code>

<code> </code><code>* @see javax.sql.CommonDataSource#setLoginTimeout(int)</code>

<code> </code><code>public void setLoginTimeout(int seconds) throws SQLException {</code>

<code> </code><code>getCurrentDataSource().setLoginTimeout(seconds);</code>

<code> </code><code>* 该接口方法since 1.6</code>

<code> </code><code>* 不是所有的DataSource都实现有这个方法</code>

<code> </code><code>* @see java.sql.Wrapper#isWrapperFor(java.lang.Class)</code>

<code> </code><code>public boolean isWrapperFor(Class<?> iface) throws SQLException {</code>

<code>// if(getCurrentDataSource() != null){</code>

<code>// return getCurrentDataSource().isWrapperFor(iface);</code>

<code> </code><code>return false;</code>

<code> </code><code>* @see java.sql.Wrapper#unwrap(java.lang.Class)</code>

<code> </code><code>public</code> <code><T> T unwrap(Class<T> iface)</code><code>throws</code> <code>SQLException {</code>

<code>// return getCurrentDataSource().unwrap(iface);</code>

<code> </code><code>return</code> <code>null</code><code>;</code>

这个类实现了DataSource的标准接口，而最核心的部分是getConnection()方法的重载。下面具体阐述：

1.实例变量 clusterDataSources 是一个DataSource 的 ArrayList它存储了多个数据库的DataSource实例，我们使用Spring的IOC功能，将多个DataSource注入到这个list中。

2.实例变量 mappedDataSources 是一个DataSource 的Map，它与clusterDataSources 一样用来存储多个数据库的DataSource实例，不同的是，它可以使用key直接获取DataSource。我们一样会使用Spring的IOC功能，将多个DataSource注入到这个Map中。

3.实例变量currentDataSourceHolder ，他是一个ThreadLocal变量，保存与当前线程相关的且已经取得的DataSource实例。这是为了在同一线程中，多次访问同一数据库时，不需要再重新做路由选择。

4.当外部类调用getConnection()方法时，方法将根据上下文的路由规则，从clusterDataSources 或者 mappedDataSources 选择对应DataSource，并返回其中的Connection。

（PS：关于DataSource的路由选择规则，可以根据应用场景的不同，自行设计。笔者这里提供两种简单的思路，1.根据HashCode,在上述例子中可以是UserId，进行取模运算，来定位数据库。2.根据上下文设置的关键字key，从map中选择映射的DataSource）

5.将MultiDataSource与Spring，iBatis结合

在完成了上述的编码过程后，就是将这个MultiDataSource与现有Spring和iBatis结合起来配置。

STEP 1。配置多个数据源

笔者这里使用了C3P0作为数据库连接池，这一步和标准的Spring配置一样，唯一不同的是，以前只配置一个，现在要配置多个

<code><</code><code>bean</code> <code>id</code><code>=</code><code>"c3p0_dataSource_1"</code> <code>class</code><code>=</code><code>"com.mchange.v2.c3p0.ComboPooledDataSource"</code> <code>destroy-method</code><code>=</code><code>"close"</code><code>> </code>

<code> </code><code><</code><code>property</code> <code>name</code><code>=</code><code>"driverClass"</code><code>> </code>

<code> </code><code><</code><code>value</code><code>>${jdbc.driverClass}</</code><code>value</code><code>> </code>

<code> </code><code></</code><code>property</code><code>> </code>

<code> </code><code><</code><code>property</code> <code>name</code><code>=</code><code>"jdbcUrl"</code><code>> </code>

<code> </code><code><</code><code>value</code><code>>${mysql.url_1}</</code><code>value</code><code>> </code>

<code> </code><code><</code><code>property</code> <code>name</code><code>=</code><code>"user"</code><code>> </code>

<code> </code><code><</code><code>value</code><code>>${jdbc.username}</</code><code>value</code><code>> </code>

<code> </code><code><</code><code>property</code> <code>name</code><code>=</code><code>"password"</code><code>> </code>

<code> </code><code><</code><code>value</code><code>>${jdbc.password}</</code><code>value</code><code>> </code>

<code> </code><code></</code><code>property</code><code>> </code>

<code> </code><code><</code><code>property</code> <code>name</code><code>=</code><code>"minPoolSize"</code><code>> </code>

<code> </code><code><</code><code>value</code><code>>${c3p0.minPoolSize}</</code><code>value</code><code>> </code>

<code> </code><code><</code><code>property</code> <code>name</code><code>=</code><code>"maxPoolSize"</code><code>> </code>

<code> </code><code><</code><code>value</code><code>>${c3p0.maxPoolSize}</</code><code>value</code><code>> </code>

<code> </code><code><</code><code>property</code> <code>name</code><code>=</code><code>"initialPoolSize"</code><code>> </code>

<code> </code><code><</code><code>value</code><code>>${c3p0.initialPoolSize}</</code><code>value</code><code>> </code>

<code> </code><code></</code><code>property</code><code>></code>

<code> </code><code><</code><code>property</code> <code>name</code><code>=</code><code>"idleConnectionTestPeriod"</code><code>> </code>

<code> </code><code><</code><code>value</code><code>>${c3p0.idleConnectionTestPeriod}</</code><code>value</code><code>> </code>

<code><</code><code>bean</code> <code>id</code><code>=</code><code>"c3p0_dataSource_2"</code> <code>class</code><code>=</code><code>"com.mchange.v2.c3p0.ComboPooledDataSource"</code> <code>destroy-method</code><code>=</code><code>"close"</code><code>> </code>

<code> </code><code><</code><code>value</code><code>>${mysql.url_2}</</code><code>value</code><code>> </code>

STEP 2。将多个数据源都注入到MultiDataSource中

<code><</code><code>bean</code> <code>id</code><code>=</code><code>"multiDataSource"</code> <code>class</code><code>=</code><code>"com.xxx.sql.MultiDataSource"</code><code>></code>

<code> </code><code><</code><code>property</code> <code>name</code><code>=</code><code>"clusterDataSources"</code><code>></code>

<code> </code><code><</code><code>ref</code> <code>bean</code><code>=</code><code>"c3p0_dataSource_1"</code> <code>/></code>

<code> </code><code><</code><code>ref</code> <code>bean</code><code>=</code><code>"c3p0_dataSource_2"</code> <code>/></code>

<code> </code><code><</code><code>ref</code> <code>bean</code><code>=</code><code>"c3p0_dataSource_3"</code> <code>/></code>

<code> </code><code><</code><code>ref</code> <code>bean</code><code>=</code><code>"c3p0_dataSource_4"</code> <code>/></code>

<code> </code><code><</code><code>ref</code> <code>bean</code><code>=</code><code>"c3p0_dataSource_5"</code> <code>/></code>

<code> </code><code><</code><code>ref</code> <code>bean</code><code>=</code><code>"c3p0_dataSource_6"</code> <code>/></code>

<code> </code><code><</code><code>ref</code> <code>bean</code><code>=</code><code>"c3p0_dataSource_7"</code> <code>/></code>

<code> </code><code><</code><code>ref</code> <code>bean</code><code>=</code><code>"c3p0_dataSource_8"</code> <code>/></code>

<code> </code><code><</code><code>property</code> <code>name</code><code>=</code><code>"mappedDataSources"</code><code>></code>

<code> </code><code><</code><code>entry</code> <code>key</code><code>=</code><code>"system"</code> <code>value-ref</code><code>=</code><code>"c3p0_dataSource_system"</code> <code>/></code>

STEP 3。像使用标准的DataSource一样，使用MultiDataSource

<code><</code><code>bean</code> <code>id</code><code>=</code><code>"sqlMapClient"</code> <code>class</code><code>=</code><code>"org.springframework.orm.ibatis.SqlMapClientFactoryBean"</code><code>></code>

<code> </code><code><</code><code>property</code> <code>name</code><code>=</code><code>"configLocation"</code> <code>value</code><code>=</code><code>"classpath:SqlMapConfig.xml"</code><code>/></code>

<code> </code><code><</code><code>property</code> <code>name</code><code>=</code><code>"dataSource"</code> <code>ref</code><code>=</code><code>"multiDataSource"</code><code>></</code><code>property</code><code>></code>

<code><</code><code>bean</code> <code>id</code><code>=</code><code>"jdbc_TransactionManager"</code> <code>class</code><code>=</code><code>"org.springframework.jdbc.datasource.DataSourceTransactionManager"</code><code>></code>

至此，我们的程序就可以让Spring来管理多库访问了，但请注意，数据库事务仍然限于单库范围（之前已经说过，这里的应用场景不存在跨库的事务）。

6.Java代码使用例子

首先要说明的是，这里我们只是提供了一个简单的使用范例，在范例中，我们还必须手动的调用API，以确定DataSource的路由规则，在实际的应用中，您可以针对自己的业务特点，对此进行封装，以实现相对透明的路由选择

<code>public boolean addUserGameInfo(UserGameInfo userGameInfo){</code>

<code> </code><code>//1.根据UserGameInfo.uid 进行数据源路由选择</code>

<code> </code><code>DataSourceRouter.setRouterStrategy(</code>

<code> </code><code>RouterStrategy.SRATEGY_TYPE_CLUSTER ,</code>

<code> </code><code>userGameInfo.getUid());</code>

<code> </code><code>//2.数据库存储</code>

<code> </code><code>userGameInfoDAO.insert(userGameInfo);</code>

<code> </code><code>return true;</code>

<code> </code><code>} catch (SQLException e) {</code>

<code> </code><code>e.printStackTrace();</code>

<code> </code><code>logger.debug("Insert UserGameInfo failed. " + userGameInfo.toString());</code>

<code> </code><code>return false;</code>

OK，我们的多库横向切分的实验可以暂告一个段落。实际上，要实现一个完整的DAL是非常庞大的工程，而对我们推动巨大的，可能只是很小的一个部分，到处都存在着8-2法则，要如何选择，就看各位看官了！！

补充：

DataSourceRouter.java

Spring + iBatis 的多库横向切分简易解决思路

继续阅读

Dijkstra--简易版（最短路径）

GitHub连夜封杀！这份阿里 10W 字内部 Java 字面试手册到底有多强？

spark/scala关于【资源文件】加载方法概述外部文件加载方案测试资源文件打包入jar包中小结

NOSQL安全攻击

mybatis_入门程序Mybatis入门

AOP编程_Android优雅权限框架(1)概念基础，2021金三银四前言正文大纲正文

登录plsql 报错 the account is locked --用户被锁

sqlServer根据经纬查距离

Effective Java 8:通用程序设计

SequoiaDB巨杉数据库C++驱动概述

OOM三种类型

工厂模式-三种类型

【递归】高效率求2的n次幂

win10本地scala和spark安装安装scala安装spark

scala (3) Function 和 Method

hdu7108哈希