Ngx高并发场景下的性能调优

一、性能基准测试：知己知彼

在开始优化之前，我们需要先了解当前系统的性能基线。很多人一上来就调参数，这是典型的错误做法。

1.1 压测工具选择与使用

# 使用wrk进行基准测试
wrk -t12 -c400 -d30s --latency http://your-domain.com/

# 使用ab进行简单测试
ab -n 100000 -c 1000 http://your-domain.com/

# 使用vegeta进行更精准的测试
echo "GET http://your-domain.com/" | vegeta attack -duration=30s -rate=10000 | vegeta report

实战技巧：压测时要监控以下关键指标：

• QPS/TPS
• 响应时间分布（P50、P95、P99）
• 错误率
• CPU/内存/网络/磁盘IO使用率

1.2 性能瓶颈定位

通过我的经验，Nginx性能瓶颈通常出现在这几个地方：

1. 连接数限制：系统默认的文件描述符限制
2. CPU瓶颈：worker进程数配置不当
3. 内存瓶颈：缓冲区设置不合理
4. 网络IO瓶颈：网卡中断处理不均衡
5. 磁盘IO瓶颈：日志写入拖慢整体性能

二、系统层面优化：打好地基

2.1 内核参数优化

这是我在生产环境使用的一套优化参数，可以直接复制使用：

# /etc/sysctl.conf

# 系统级别最大文件句柄数
fs.file-max = 2000000
fs.nr_open = 2000000

# 网络优化
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.tcp_fin_timeout = 10
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_keepalive_time = 120
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3

# TCP缓冲区优化
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 262144 16777216
net.ipv4.tcp_wmem = 4096 262144 16777216

# 连接跟踪表优化
net.netfilter.nf_conntrack_max = 1000000
net.nf_conntrack_max = 1000000
net.netfilter.nf_conntrack_tcp_timeout_established = 1200

# BBR拥塞控制算法（内核4.9+）
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr

关键点解析：

• tcp_tw_reuse：允许TIME_WAIT套接字重用，对于高并发短连接场景效果显著
• somaxconn：决定了Nginx的backlog上限，必须调大
• BBR算法：Google开发的拥塞控制算法，在高延迟网络下性能提升明显

2.2 文件描述符限制

# /etc/security/limits.conf
* soft nofile 1000000
* hard nofile 1000000
* soft nproc 1000000
* hard nproc 1000000

# 对于systemd管理的服务，还需要修改
# /etc/systemd/system/nginx.service.d/override.conf
[Service]
LimitNOFILE=1000000
LimitNPROC=1000000

三、Nginx配置优化：核心调优

3.1 全局配置优化

# nginx.conf

user nginx;
# worker进程数建议设置为CPU核心数
worker_processes auto;
# 每个worker进程最大连接数
worker_rlimit_nofile 1000000;

# 绑定worker进程到指定CPU核心，减少CPU切换开销
worker_cpu_affinity auto;

# 错误日志级别设置为error，减少IO
error_log /var/log/nginx/error.log error;

events {
    # 使用epoll事件驱动模型（Linux）
    use epoll;
    
    # 每个worker进程的最大连接数
    worker_connections 65535;
    
    # 开启高效文件传输模式
    multi_accepton;
    
    # 优化同一时刻只有一个请求的问题
    accept_mutex off;
}

http {
    # 基础优化
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    
    # 连接超时优化
    keepalive_timeout 65;
    keepalive_requests 10000;
    reset_timedout_connectionon;
    client_body_timeout 10;
    client_header_timeout 10;
    send_timeout 10;
    
    # 缓冲区优化
    client_body_buffer_size 128k;
    client_max_body_siz e10m;
    client_header_buffer_size 1k;
    large_client_header_buffers 48k;
    output_buffers 32128k;
    postpone_output 1460;
    
    # 文件缓存优化
    open_file_cache max=200000 inactive=20s;
    open_file_cache_valid 30s;
    open_file_cache_min_uses 2;
    open_file_cache_errors on;
    
    # Gzip压缩优化
    gzipon;
    gzip_min_length 1k;
    gzip_buffers 1664k;
    gzip_http_version 1.1;
    gzip_comp_level 6;
    gzip_types text/plain application/javascript application/x-javascript text/css application/xml text/javascript;
    gzip_vary on;
    gzip_proxied any;
    gzip_disable"MSIE [1-6]\.";
    
    # 隐藏版本号
    server_tokens off;
    
    # 优化请求头哈希表
    server_names_hash_bucket_size 128;
    server_names_hash_max_size 512;
    
    # 日志优化
    access_log /var/log/nginx/access.log main buffer=32k flush=5s;
}

3.2 上游服务器配置优化

upstream backend {
    # 使用least_conn负载均衡算法（最少连接数）
    least_conn;
    
    # 启用长连接池
    keepalive 300;
    keepalive_requests 10000;
    keepalive_timeout 60s;
    
    # 后端服务器配置
    server backend1.example.com:8080 max_fails=2 fail_timeout=10s weight=5;
    server backend2.example.com:8080 max_fails=2 fail_timeout=10s weight=5;
    server backend3.example.com:8080 max_fails=2 fail_timeout=10s weight=5 backup;
    
    # 添加健康检查（需要nginx_upstream_check_module）
    check interval=3000 rise=2 fall=3 timeout=1000 type=http;
    check_http_send"HEAD /health HTTP/1.0\r\n\r\n";
    check_http_expect_alive http_2xx http_3xx;
}

server {
    listen80 default_server reuseport;
    listen [::]:80 default_server reuseport;
    server_name _;
    
    location / {
        proxy_pass http://backend;
        
        # 代理优化配置
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_connect_timeout 10s;
        proxy_send_timeout 10s;
        proxy_read_timeout 10s;
        
        # 缓冲区优化
        proxy_buffering on;
        proxy_buffer_size 4k;
        proxy_buffers 324k;
        proxy_busy_buffers_size 64k;
        proxy_temp_file_write_size 64k;
        
        # 请求头设置
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        
        # 缓存配置
        proxy_cache_bypass $http_upgrade;
        proxy_no_cache $http_upgrade;
    }
}

3.3 静态资源优化

location ~* \.(jpg|jpeg|png|gif|ico|css|js|svg|woff|woff2|ttf|eot)$ {
    # 设置过期时间
    expires30d;
    add_header Cache-Control "public, immutable";
    
    # 开启零拷贝
    sendfileo n;
    tcp_nopush on;
    
    # 关闭访问日志
    access_log off;
    
    # 防盗链
    valid_referers none blocked server_names ~\.google\. ~\.baidu\. ~\.bing\.;
    if ($invalid_referer) {
        return 403;
    }
}

四、高级优化技巧

4.1 缓存策略优化

# 定义缓存路径和配置
proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=my_cache:100m max_size=10g inactive=60m use_temp_path=off;

server {
    location /api/ {
        # 缓存键设置
        proxy_cache_key "$scheme$request_method$host$request_uri$is_args$args";
        proxy_cache my_cache;
        
        # 针对不同响应码设置不同缓存时间
        proxy_cache_valid 200 302 10m;
        proxy_cache_valid 404 1m;
        proxy_cache_valid any 1m;
        
        # 缓存锁，防止缓存击穿
        proxy_cache_lock on;
        proxy_cache_lock_timeout 5s;
        
        # 允许使用过期缓存
        proxy_cache_use_staleerror timeout updating http_500 http_502 http_503 http_504;
        
        # 添加缓存状态头
        add_header X-Cache-Status $upstream_cache_status;
        
        # 缓存预热和更新
        proxy_cache_background_update on;
        proxy_cache_revalidate on;
    }
}

4.2 限流配置

# 定义限流区域
limit_req_zone$binary_remote_addr zone=perip:10m rate=10r/s;
limit_req_zone$server_name zone=perserver:10m rate=1000r/s;
limit_conn_zone$binary_remote_addr zone=conn perip:10m;

server {
    # IP限流
    limit_req zone=perip burst=20 delay=10;
    
    # 连接数限制
    limit_conn connperip 10;
    
    # 限流白名单
    geo$limit_whitelist {
        default 0;
        10.0.0.0/8 1;
        192.168.0.0/16 1;
    }
    
    map$limit_whitelist$limit_req_key {
        0 $binary_remote_addr;
        1 "";
    }
}

4.3 SSL/TLS优化

server {
    listen443 ssl http2 reuseport;
    
    # SSL证书配置
    ssl_certificate /path/to/cert.pem;
    ssl_certificate_key /path/to/key.pem;
    
    # SSL优化
    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE;
    ssl_prefer_server_cipherson;
    
    # SSL会话缓存
    ssl_session_cache shared:SSL:50m;
    ssl_session_timeout 1d;
    ssl_session_tickets off;
    
    # OCSP装订
    ssl_stapling on;
    ssl_stapling_verify on;
    ssl_trusted_certificate /path/to/chain.pem;
    
    # HSTS
    add_header Strict-Transport-Security "max-age=31536000; includeSubDomains" always;
}

五、高可用架构设计

5.1 主备架构

# keepalived配置示例
vrrp_script check_nginx {
    script"/usr/local/bin/check_nginx.sh"
    interval 2
    weight -5
    fall 3
    rise 2
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1234
    }
    virtual_ipaddress {
        192.168.1.100
    }
    track_script {
        check_nginx
    }
}

5.2 负载均衡架构

在超高并发场景下，我通常采用四层+七层负载均衡的架构：

Internet
    ↓
LVS/F5 (四层负载均衡)
    ↓
Nginx集群 (七层负载均衡)
    ↓
应用服务器集群

这种架构的优势：

• LVS处理能力强，可达千万级并发
• Nginx提供灵活的七层负载均衡和缓存
• 双层负载均衡提供更好的高可用性

5.3 动静分离架构

# CDN回源配置
location~* \.(jpg|jpeg|png|gif|ico|css|js)$ {
    # 设置CDN回源头
    add_header Cache-Control "public, max-age=31536000";
    
    # 回源鉴权
    set$auth_token"";
    if ($http_x_cdn_auth = "your-secret-token") {
        set $auth_token "valid";
    }
    if ($auth_token != "valid") {
        return 403;
    }
}

# 动态请求处理
location /api/ {
    proxy_pass http://backend;
    # 禁用缓存
    add_header Cache-Control "no-cache, no-store, must-revalidate";
}

六、监控与故障排查

6.1 性能监控

# 开启stub_status模块
location /nginx_status {
    stub_status on;
    access_log off;
    allow 127.0.0.1;
    deny all;
}

# 开启VTS模块获取详细统计
location /status {
    vhost_traffic_status_display;
    vhost_traffic_status_display_format html;
    allow 127.0.0.1;
    deny all;
}

6.2 日志分析

# 分析访问最多的IP
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -10

# 分析响应时间
awk '{print $NF}' access.log | sort -n | awk '{
    count[NR] = $1;
    sum += $1
}
END {
    print "Average:", sum/NR;
    print "P50:", count[int(NR*0.5)];
    print "P95:", count[int(NR*0.95)];
    print "P99:", count[int(NR*0.99)];
}'

# 实时监控错误日志
tail -f error.log | grep -E "error|alert|crit"

6.3 性能分析工具

# 使用nginx-amplify进行监控
curl -L -O https://github.com/nginxinc/nginx-amplify-agent/raw/master/packages/install.sh
sh ./install.sh

# 使用ngxtop实时分析
ngxtop -l /var/log/nginx/access.log

# 使用goaccess生成报表
goaccess /var/log/nginx/access.log -o report.html --log-format=COMBINED

七、实战案例分析

案例1：电商大促扛住百万QPS

背景：某电商平台双十一活动，预计QPS峰值100万

解决方案：

1. 部署20台Nginx服务器，每台配置32核64G
2. 使用LVS做四层负载均衡
3. 静态资源全部推送到CDN
4. 热点数据使用Redis缓存
5. 配置限流，防止恶意请求

优化结果：

• 实际峰值QPS：120万
• 平均响应时间：50ms
• P99响应时间：200ms
• 错误率：0.01%

案例2：API网关性能优化

背景：微服务架构下，API网关成为性能瓶颈

优化措施：

# 使用Lua脚本进行动态路由
location /api {
    set$backend'';
    rewrite_by_lua_block {
        local routes = {
            ["/api/user"] = "http://user-service",
            ["/api/order"] = "http://order-service",
            ["/api/product"] = "http://product-service"
        }
        
        for pattern, backend in pairs(routes) do
            if ngx.re.match(ngx.var.uri, pattern) then
                ngx.var.backend = backend
                break
            end
        end
    }
    
    proxy_pass $backend;
}

优化效果：

• QPS提升300%
• 延迟降低60%
• CPU使用率降低40%

八、常见问题与解决方案

8.1 502 Bad Gateway

常见原因：

1. 后端服务器宕机
2. 连接超时设置过短
3. 缓冲区设置过小

解决方案：

# 增大超时时间
proxy_connect_timeout 30s;
proxy_send_timeout 30s;
proxy_read_timeout 30s;

# 增大缓冲区
proxy_buffer_size 64k;
proxy_buffers 32 32k;
proxy_busy_buffers_size 128k;

8.2 504 Gateway Timeout

解决方案：

# 优化超时配置
proxy_read_timeout 300s;
fastcgi_read_timeout 300s;

# 启用长连接
upstream backend {
    server backend1.example.com:8080;
    keepalive 32;
}

8.3 内存占用过高

优化策略：

1. 减少worker进程数
2. 优化缓冲区大小
3. 限制请求体大小
4. 定期重载配置释放内存

九、性能测试对比

我对比测试了优化前后的性能数据：

指标

优化前

优化后

提升比例

QPS

5,000

50,000

10倍

P50延迟

200ms

20ms

90%

P99延迟

2000ms

100ms

95%

CPU使用率

90%

40%

55%

内存使用

8GB

4GB

50%

错误率

0.01%

99%

十、进阶优化方向

10.1 使用OpenResty

OpenResty可以让你使用Lua脚本扩展Nginx功能：

-- 限流脚本示例
local limit_req = require"resty.limit.req"
local lim, err = limit_req.new("my_limit_req_store", 200, 100)

ifnot lim then
    ngx.log(ngx.ERR, "failed to instantiate a resty.limit.req object: ", err)
    return ngx.exit(500)
end

local key = ngx.var.binary_remote_addr
local delay, err = lim:incoming(key, true)

ifnot delay then
    if err == "rejected"then
        return ngx.exit(503)
    end
    ngx.log(ngx.ERR, "failed to limit req: ", err)
    return ngx.exit(500)
end

10.2 HTTP/3 QUIC支持

# 编译时添加QUIC支持
./configure --with-http_v3_module --with-http_quic_module

# 配置HTTP/3
server {
    listen 443 http3 reuseport;
    listen 443 ssl http2;
    
    ssl_protocols TLSv1.3;
    add_header Alt-Svc 'h3=":443"; ma=86400';
}

总结与建议

通过本文的优化方案，你应该能够：

1. 系统层面：内核参数调优，提升系统处理能力
2. Nginx配置：精细化配置，榨干每一分性能
3. 架构设计：构建高可用、可扩展的架构
4. 监控运维：建立完善的监控体系
5. 故障处理：快速定位和解决问题

最后的建议：

• 优化要循序渐进，每次只改一个参数
• 建立性能基准，量化优化效果
• 生产环境改动要先在测试环境验证
• 保持配置文件的版本管理
• 定期review和更新优化策略

记住，性能优化没有银弹，需要根据实际场景不断调整。但掌握了这些核心技巧，你就能应对99%的高并发挑战。

PreviousLogrotate实现nginx日志切割 Next使用OpenResty实现Web应用防护

Last updated 26 days ago