第三章 分布式扩展
当我们用 top -H
-
cpu us
-
cpu sy
-
load average
-
memory
Nginx 反向代理负载均衡
上一章我们看到当程序运行在单机系统时，容量有限，响应时间变长TPS (吞吐量) 上不去的问题。Nginx 反向代理的功能就是代理后端Tomcat服务器集群，以统一域名方式来访问。
- 单机容量问题，水平扩展
- Nginx 反向代理
- 负载均衡配置
单机容量问题，水平扩展
- Mysql 数据库开放远端连接
- 服务端水平对称部署
- 验证访问
注意：这次的水平扩展指的是对应用系统程序的扩展，而 Mysql 数据库只有一个，用来开放远端连接（mysql读写分离、分库分表等方法可实现 mysql 水平扩展，这里没讨论），服务端实现水平对称部署，最后验证访问。
原单机系统架构图
改进后的Nginx系统架构图
我们在阿里云就需要4台服务器（其中1台用作数据库，2台用作应用程序，1台用作nginx反向代理）
修改前端资源用于部署 Nginx
Nginx有三种用途：
- 使用nginx作为web服务器（静态资源访问）
- 使用nginx作为动静分离服务器
- 使用nginx作为反向动态代理服务器（动态资源请求）
整个项目前端 H5 请求的类型有两种，一种是静态资源，一种是ajax请求动态资源。
- 对于
ajax
miaoshaserver
nginx
miaosha
- 而对于静态资源 (static，HTML,CSS等) 访问域名
miaoshaserver/resources
nginx
部署Nginx OpenResty
使用 Nginx 的框架 OpenResty 来开发配置 Nginx，OpenResty 是基于 NGINX 和 LuaJIT 的动态Web平台。优点是可以支持lua的一些开发。
部署静态资源请求：
- 因为我们在每个页面中都写上了ajax请求地址，所以现在我们要编写一个整体的 js 文件，里面写一个全局变量来代表服务器 tomcat 端口地址，然后在每个页面中引用该 js 文件。
- 在
static
gethost.js
var g_host = "localhost"; Nginx 部署
- 因为 nginx 在编译阶段需要指定很多参数来支持那些东西，对初学者不友好，所以我们选择了安装OpenResty
- 下载好
openresty
chmod -R 777 openresty安装包
tar -xvzf openresty安装包
- 进入到
openresty
./configure
- 此时会报错：根据报错信息我们需要安装
readline、pcre、openssl
yum install pcre-devel openssl-devel gcc curl - 官网文档中写清楚了我们需要的前提环境：
- 然后再次执行
./configure
make
- 下图代表编译完成，然后执行安装命令
make install
- 安装在目录：
-
nginx
sbin/nginx -c conf/nginx.conf
使用 nginx 作为 web 服务器
将 nginx 指定成对应的 web 服务器
- location节点 path ：指定url映射key
- location节点内容：root 指定 location path 后对应的根路径，index 指定默认的访问页
-
sbin/nginx -c conf/nginx.conf
- 修改配置后直接
sbin/nginx -s reload
前端资源部署
- 启动 nginx：
sbin/nginx -c conf/nginx.conf
- 访问 nginx 服务器ip地址，出现 welcome to OpenResty 则代表成功 😄
操作步骤
- 把项目目录
resources
/usr/local/openresty/nginx/html/
- 上传成功后的 html 目录
- 修改本地 hosts 文件，指定
nginx
miaoshaserver
- 修改 nginx 目录下的 conf 文件：
vim /nginx/conf/nginx.conf
upstream backend_server={
server 秒杀应用服务器1（后端jar包位置）:端口号 weight=1;
server 秒杀应用服务器2（后端jar包位置）:端口号 weight=1;
keepalive=30; # 设置的是nginx与后端服务器之间保持长连接（默认不保持）
}
location /resources/ {
alias /usr/local/openresty/nginx/html/resources/;
index index.html index.htm;
}
location / {
proxy_pass http://backend_server;
# proxy_set_header Host $http_host:$proxy_port;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_http_version 1.1;
proxy_set_header Connection "";
} - 当我们浏览器访问
miaoshaserver/resources/…
/usr/local/openresty/nginx/html/resources/
- 使用
sbin/nginx -s reload
nginx
nginx
- 可以看到执行命令前后 master 进程不改变，worker 进程的进程号改变了
使用 nginx 配置动静分离服务器
- location 节点 path 特定 resources：静态资源路径
- location节点其他路径：动态资源用
nginx 做反向代理服务器
- 设置 upstream server（后端反向代理服务器节点）
- 设置动态请求 location 为 proxy pass 路径
- 开启 tomcat access log 验证
设置 upstream server
- 修改
/usr/local/openresty/nginx/conf/nginx.conf
- 配置两个应用服务器以轮询的方式进行，weight代表权重，设置为1代表 nginx 做反向代理的后端服务器的轮询是按照 1:1 的关系，也就是有一半的请求轮询到第一台应用服务器，有一半的请求轮询到另一台应用服务器。
设置动态请求 location 为 proxy pass 路径
- 修改
/usr/local/openresty/nginx/conf/nginx.conf
- 配置完成后，执行
sbin/nginx -s reload
开启 tomcat access log 验证
- 开启 tomcat access log 来验证反向代理是否成功，虽然开启日志要消耗一定的性能，但tomcat 内部使用的是异步日志的记录方式，这样就不会消耗主线程的处理时间。
- 建议在生产环境中将 tomcat access log 开启，以便根据日志分析问题。
- 在 miaosha/目录下面新建文件夹tomcat，授权所有权限
sudo chmod 777 tomcat/
- 在
application.properties
%h 表示远端host地址（远端IP地址）
%l 默认返回-
%u 表示远端主机user
%t 表示处理时间
%r 打印请求的方法/url
%s HTTP返回状态码
%b 表示请求response的大小
%D 表示处理请求时长 - 重启 tomcat，刷新网页，发现多了一个
access_log
tail -f access_log
- 表示 远端主机为 172.31.49.160 (nginx反向代理服务器) 的请求，GET请求，访问的是
/item/get?id=6
分布式扩展后的性能压测
- 分布式扩展后，我们测试一下压测前后的性能，设置线程数1000，循环20次，启动时间15s进行压测
- 请求直接打在“三合一”服务器上：
- 请求打在 nginx 负载均衡服务器上：
解决了单机的容量瓶颈问题，可以做水平扩展
回顾
考虑整个系统还可以优化的地方：
- miaosha.jar包从mysql本地中分离出来，涉及到局域网的通信，而连接数据库的 datasouce 采用druid数据库连接池，所以延迟低。
- nginx和H5客户端采用了tomcat长连接，降低了开销。
- nginx服务器和应用服务器miaosha.jar采用的是短连接方式，可以优化。
操作步骤
- 修改
/usr/local/openresty/nginx/conf/nginx.conf
- 因为 nginx 服务器和应用服务器的通信采用HTTP1.0协议，要配置HTTP1.1才支持长连接
- 无缝重启 nginx 服务器，压测性能：