解决django高并发时数据库连接量过大的问题（实现连接池的方法）

Django默认每访问一次数据库都会创建一个新的数据库连接，执行完数据库操作后再关闭连接。这在高并发的场景下会导致连接数不断增多，最终出现“too many connections”错误。

如果我们使用gunicorn的gevent模式运行项目，那么不能在项目中使用threading（多线程）模块进行数据库操作。因为gevent会给threading模块动态打补丁，这会导致数据库连接无法复用，出现“too many connections”错误。

要解决以上问题，我们需要实现一个数据库的连接池。实现连接池的方法参考了https://yunsonbai.top/2017/07/02/gunicorn-gevent-django/，这里做了一些调优。实现的步骤如下：

1. 在项目的settings.py中配置数据库连接参数，使用自定义的数据库引擎

DATABASES = {
    'default': {
        'ENGINE': 'myproject.mysql',  # 注意这里必须是.mysql结尾
        'POOL_SIZE': 20,  # 每个进程的连接池的大小，总连接数=20*总进程数
        'NAME': 'test',
        'USER': 'root',
        'HOST': '127.0.0.1',
        'PASSWORD': '******',
        'STORAGE_ENGINE': 'INNODB',
        'PORT': '3306',
        'CHARSET': 'utf-8',
        'CONN_MAX_AGE': 28790,  # 比mysql默认的wait_timeout小10秒
        'OPTIONS': {
            'init_command': 'SET default_storage_engine=INNODB',
        }
    }
}           

2. 在项目中增加自定义的连接池模块

以项目的根目录为myproject为例，新建以下两个文件：

myproject/mysql/__init__.py

myproject/mysql/base.py           

这里的文件路径mysql/base.py是固定搭配，文件夹、文件的名称和层级关系不能变，否则会造成django及其插件导入数据库引擎失败，从而自动使用默认的数据库引擎。

__init__.py是空文件，当然也可以填充其他内容。base.py的内容如下：

# -*- coding: utf-8 -*-
import random
from django.core.exceptions import ImproperlyConfigured

try:
    import MySQLdb as Database
except ImportError as err:
    raise ImproperlyConfigured(
        'Error loading MySQLdb module.\n'
        'Did you install mysqlclient?'
    ) from err

from django.db.backends.mysql.base import *
from django.db.backends.mysql.base import DatabaseWrapper as _DatabaseWrapper


class DatabaseWrapper(_DatabaseWrapper):
    def get_new_connection(self, conn_params):
        pool_size = self.settings_dict.get('POOL_SIZE') or 1
        return ConnectPool.instance(conn_params, pool_size).get_connection()

    def _close(self):
        return None  # 覆盖掉原来的close方法，查询结束后连接不会自动关闭


class ConnectPool(object):
    def __init__(self, conn_params, pool_size):
        self.conn_params = conn_params
        self.pool_size = pool_size
        self.connects = []

    # 实现连接池的单例
    @staticmethod
    def instance(conn_params, pool_size):
        if not hasattr(ConnectPool, '_instance'):
            ConnectPool._instance = ConnectPool(conn_params, pool_size)
        return ConnectPool._instance

    def get_connection(self):
        if len(self.connects) < self.pool_size:
            new_connect = Database.connect(**self.conn_params)
            self.connects.append(new_connect)
            return new_connect
        index = random.randint(0, self.pool_size - 1)  # 注意这里和range不一样，要减1
        try:
            self.connects[index].ping()
        except:
            self.connects[index] = Database.connect(**self.conn_params)
        return self.connects[index]
           

3. 调整mysql的配置

调整mysql的max_connections，使其大于项目的总连接数（连接池大小*服务进程数），修改"/etc/mysql/my.cnf"，在[mysqld]配置项下设置max_connections=1000，然后重启mysql的服务。查看配置结果的sql：

SHOW VARIABLES LIKE "max_connections";           

配置settings的CONN_MAX_AGE参数，使其小于数据库的wait_timeout配置，查看wait_timeout的sql：

SHOW GLOBAL VARIABLES LIKE "%wait%";           

4. 验证结果

启动项目后访问几个会与数据库交互的页面，然后查看连接的数量，验证连接池的效果，查看连接数量的sql：

SHOW processlist;