Ngx高并发场景下的性能调优

一、性能基准测试：知己知彼

在开始优化之前，我们需要先了解当前系统的性能基线。很多人一上来就调参数，这是典型的错误做法。

1.1 压测工具选择与使用

# 使用wrk进行基准测试
wrk -t12 -c400 -d30s --latency http://your-domain.com/

# 使用ab进行简单测试
ab -n 100000 -c 1000 http://your-domain.com/

# 使用vegeta进行更精准的测试
echo "GET http://your-domain.com/" | vegeta attack -duration=30s -rate=10000 | vegeta report

实战技巧：压测时要监控以下关键指标：

• QPS/TPS
• 响应时间分布（P50、P95、P99）
• 错误率
• CPU/内存/网络/磁盘IO使用率

1.2 性能瓶颈定位

通过我的经验，Nginx性能瓶颈通常出现在这几个地方：

1. 连接数限制：系统默认的文件描述符限制
2. CPU瓶颈：worker进程数配置不当
3. 内存瓶颈：缓冲区设置不合理
4. 网络IO瓶颈：网卡中断处理不均衡
5. 磁盘IO瓶颈：日志写入拖慢整体性能

二、系统层面优化：打好地基

2.1 内核参数优化

这是我在生产环境使用的一套优化参数，可以直接复制使用：

# /etc/sysctl.conf

# 系统级别最大文件句柄数
fs.file-max = 2000000
fs.nr_open = 2000000

# 网络优化
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 65535
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.tcp_fin_timeout = 10
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 0
net.ipv4.tcp_keepalive_time = 120
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3

# TCP缓冲区优化
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 262144 16777216
net.ipv4.tcp_wmem = 4096 262144 16777216

# 连接跟踪表优化
net.netfilter.nf_conntrack_max = 1000000
net.nf_conntrack_max = 1000000
net.netfilter.nf_conntrack_tcp_timeout_established = 1200

# BBR拥塞控制算法（内核4.9+）
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr

关键点解析：

• tcp_tw_reuse：允许TIME_WAIT套接字重用，对于高并发短连接场景效果显著
• somaxconn：决定了Nginx的backlog上限，必须调大
• BBR算法：Google开发的拥塞控制算法，在高延迟网络下性能提升明显

2.2 文件描述符限制

# /etc/security/limits.conf
* soft nofile 1000000
* hard nofile 1000000
* soft nproc 1000000
* hard nproc 1000000

# 对于systemd管理的服务，还需要修改
# /etc/systemd/system/nginx.service.d/override.conf
[Service]
LimitNOFILE=1000000
LimitNPROC=1000000

三、Nginx配置优化：核心调优

3.1 全局配置优化

# nginx.conf

user nginx;
# worker进程数建议设置为CPU核心数
worker_processes auto;
# 每个worker进程最大连接数
worker_rlimit_nofile 1000000;

# 绑定worker进程到指定CPU核心，减少CPU切换开销
worker_cpu_affinity auto;

# 错误日志级别设置为error，减少IO
error_log /var/log/nginx/error.log error;

events {
    # 使用epoll事件驱动模型（Linux）
    use epoll;
    
    # 每个worker进程的最大连接数
    worker_connections 65535;
    
    # 开启高效文件传输模式
    multi_accepton;
    
    # 优化同一时刻只有一个请求的问题
    accept_mutex off;
}

http {
    # 基础优化
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    
    # 连接超时优化
    keepalive_timeout 65;
    keepalive_requests 10000;
    reset_timedout_connectionon;
    client_body_timeout 10;
    client_header_timeout 10;
    send_timeout 10;
    
    # 缓冲区优化
    client_body_buffer_size 128k;
    client_max_body_siz e10m;
    client_header_buffer_size 1k;
    large_client_header_buffers 48k;
    output_buffers 32128k;
    postpone_output 1460;
    
    # 文件缓存优化
    open_file_cache max=200000 inactive=20s;
    open_file_cache_valid 30s;
    open_file_cache_min_uses 2;
    open_file_cache_errors on;
    
    # Gzip压缩优化
    gzipon;
    gzip_min_length 1k;
    gzip_buffers 1664k;
    gzip_http_version 1.1;
    gzip_comp_level 6;
    gzip_types text/plain application/javascript application/x-javascript text/css application/xml text/javascript;
    gzip_vary on;
    gzip_proxied any;
    gzip_disable"MSIE [1-6]\.";
    
    # 隐藏版本号
    server_tokens off;
    
    # 优化请求头哈希表
    server_names_hash_bucket_size 128;
    server_names_hash_max_size 512;
    
    # 日志优化
    access_log /var/log/nginx/access.log main buffer=32k flush=5s;
}

3.2 上游服务器配置优化

upstream backend {
    # 使用least_conn负载均衡算法（最少连接数）
    least_conn;
    
    # 启用长连接池
    keepalive 300;
    keepalive_requests 10000;
    keepalive_timeout 60s;
    
    # 后端服务器配置
    server backend1.example.com:8080 max_fails=2 fail_timeout=10s weight=5;
    server backend2.example.com:8080 max_fails=2 fail_timeout=10s weight=5;
    server backend3.example.com:8080 max_fails=2 fail_timeout=10s weight=5 backup;
    
    # 添加健康检查（需要nginx_upstream_check_module）
    check interval=3000 rise=2 fall=3 timeout=1000 type=http;
    check_http_send"HEAD /health HTTP/1.0\r\n\r\n";
    check_http_expect_alive http_2xx http_3xx;
}

server {
    listen80 default_server reuseport;
    listen [::]:80 default_server reuseport;
    server_name _;
    
    location / {
        proxy_pass http://backend;
        
        # 代理优化配置
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_connect_timeout 10s;
        proxy_send_timeout 10s;
        proxy_read_timeout 10s;
        
        # 缓冲区优化
        proxy_buffering on;
        proxy_buffer_size 4k;
        proxy_buffers 324k;
        proxy_busy_buffers_size 64k;
        proxy_temp_file_write_size 64k;
        
        # 请求头设置
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        
        # 缓存配置
        proxy_cache_bypass $http_upgrade;
        proxy_no_cache $http_upgrade;
    }
}

3.3 静态资源优化

location ~* \.(jpg|jpeg|png|gif|ico|css|js|svg|woff|woff2|ttf|eot)$ {
    # 设置过期时间
    expires30d;
    add_header Cache-Control "public, immutable";
    
    # 开启零拷贝
    sendfileo n;
    tcp_nopush on;
    
    # 关闭访问日志
    access_log off;
    
    # 防盗链
    valid_referers none blocked server_names ~\.google\. ~\.baidu\. ~\.bing\.;
    if ($invalid_referer) {
        return 403;
    }
}

四、高级优化技巧

4.1 缓存策略优化

# 定义缓存路径和配置
proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=my_cache:100m max_size=10g inactive=60m use_temp_path=off;

server {
    location /api/ {
        # 缓存键设置
        proxy_cache_key "$scheme$request_method$host$request_uri$is_args$args";
        proxy_cache my_cache;
        
        # 针对不同响应码设置不同缓存时间
        proxy_cache_valid 200 302 10m;
        proxy_cache_valid 404 1m;
        proxy_cache_valid any 1m;
        
        # 缓存锁，防止缓存击穿
        proxy_cache_lock on;
        proxy_cache_lock_timeout 5s;
        
        # 允许使用过期缓存
        proxy_cache_use_staleerror timeout updating http_500 http_502 http_503 http_504;
        
        # 添加缓存状态头
        add_header X-Cache-Status $upstream_cache_status;
        
        # 缓存预热和更新
        proxy_cache_background_update on;
        proxy_cache_revalidate on;
    }
}

4.2 限流配置

# 定义限流区域
limit_req_zone$binary_remote_addr zone=perip:10m rate=10r/s;
limit_req_zone$server_name zone=perserver:10m rate=1000r/s;
limit_conn_zone$binary_remote_addr zone=conn perip:10m;

server {
    # IP限流
    limit_req zone=perip burst=20 delay=10;
    
    # 连接数限制
    limit_conn connperip 10;
    
    # 限流白名单
    geo$limit_whitelist {
        default 0;
        10.0.0.0/8 1;
        192.168.0.0/16 1;
    }
    
    map$limit_whitelist$limit_req_key {
        0 $binary_remote_addr;
        1 "";
    }
}

4.3 SSL/TLS优化

server {
    listen443 ssl http2 reuseport;
    
    # SSL证书配置
    ssl_certificate /path/to/cert.pem;
    ssl_certificate_key /path/to/key.pem;
    
    # SSL优化
    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE;
    ssl_prefer_server_cipherson;
    
    # SSL会话缓存
    ssl_session_cache shared:SSL:50m;
    ssl_session_timeout 1d;
    ssl_session_tickets off;
    
    # OCSP装订
    ssl_stapling on;
    ssl_stapling_verify on;
    ssl_trusted_certificate /path/to/chain.pem;
    
    # HSTS
    add_header Strict-Transport-Security "max-age=31536000; includeSubDomains" always;
}

五、高可用架构设计

5.1 主备架构

# keepalived配置示例
vrrp_script check_nginx {
    script"/usr/local/bin/check_nginx.sh"
    interval 2
    weight -5
    fall 3
    rise 2
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1234
    }
    virtual_ipaddress {
        192.168.1.100
    }
    track_script {
        check_nginx
    }
}

5.2 负载均衡架构

在超高并发场景下，我通常采用四层+七层负载均衡的架构：

Internet
    ↓
LVS/F5 (四层负载均衡)
    ↓
Nginx集群 (七层负载均衡)
    ↓
应用服务器集群

这种架构的优势：

• LVS处理能力强，可达千万级并发
• Nginx提供灵活的七层负载均衡和缓存
• 双层负载均衡提供更好的高可用性

5.3 动静分离架构

# CDN回源配置
location~* \.(jpg|jpeg|png|gif|ico|css|js)$ {
    # 设置CDN回源头
    add_header Cache-Control "public, max-age=31536000";
    
    # 回源鉴权
    set$auth_token"";
    if ($http_x_cdn_auth = "your-secret-token") {
        set $auth_token "valid";
    }
    if ($auth_token != "valid") {
        return 403;
    }
}

# 动态请求处理
location /api/ {
    proxy_pass http://backend;
    # 禁用缓存
    add_header Cache-Control "no-cache, no-store, must-revalidate";
}

六、监控与故障排查

6.1 性能监控

# 开启stub_status模块
location /nginx_status {
    stub_status on;
    access_log off;
    allow 127.0.0.1;
    deny all;
}

# 开启VTS模块获取详细统计
location /status {
    vhost_traffic_status_display;
    vhost_traffic_status_display_format html;
    allow 127.0.0.1;
    deny all;
}

6.2 日志分析

# 分析访问最多的IP
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -10

# 分析响应时间
awk '{print $NF}' access.log | sort -n | awk '{
    count[NR] = $1;
    sum += $1
}
END {
    print "Average:", sum/NR;
    print "P50:", count[int(NR*0.5)];
    print "P95:", count[int(NR*0.95)];
    print "P99:", count[int(NR*0.99)];
}'

# 实时监控错误日志
tail -f error.log | grep -E "error|alert|crit"

6.3 性能分析工具

# 使用nginx-amplify进行监控
curl -L -O https://github.com/nginxinc/nginx-amplify-agent/raw/master/packages/install.sh
sh ./install.sh

# 使用ngxtop实时分析
ngxtop -l /var/log/nginx/access.log

# 使用goaccess生成报表
goaccess /var/log/nginx/access.log -o report.html --log-format=COMBINED

七、实战案例分析

案例1：电商大促扛住百万QPS

背景：某电商平台双十一活动，预计QPS峰值100万

解决方案：

1. 部署20台Nginx服务器，每台配置32核64G
2. 使用LVS做四层负载均衡
3. 静态资源全部推送到CDN
4. 热点数据使用Redis缓存
5. 配置限流，防止恶意请求

优化结果：

• 实际峰值QPS：120万
• 平均响应时间：50ms
• P99响应时间：200ms
• 错误率：0.01%

案例2：API网关性能优化

背景：微服务架构下，API网关成为性能瓶颈

优化措施：

# 使用Lua脚本进行动态路由
location /api {
    set$backend'';
    rewrite_by_lua_block {
        local routes = {
            ["/api/user"] = "http://user-service",
            ["/api/order"] = "http://order-service",
            ["/api/product"] = "http://product-service"
        }
        
        for pattern, backend in pairs(routes) do
            if ngx.re.match(ngx.var.uri, pattern) then
                ngx.var.backend = backend
                break
            end
        end
    }
    
    proxy_pass $backend;
}

优化效果：

• QPS提升300%
• 延迟降低60%
• CPU使用率降低40%

八、常见问题与解决方案

8.1 502 Bad Gateway

常见原因：

1. 后端服务器宕机
2. 连接超时设置过短
3. 缓冲区设置过小

解决方案：

# 增大超时时间
proxy_connect_timeout 30s;
proxy_send_timeout 30s;
proxy_read_timeout 30s;

# 增大缓冲区
proxy_buffer_size 64k;
proxy_buffers 32 32k;
proxy_busy_buffers_size 128k;

8.2 504 Gateway Timeout

解决方案：

# 优化超时配置
proxy_read_timeout 300s;
fastcgi_read_timeout 300s;

# 启用长连接
upstream backend {
    server backend1.example.com:8080;
    keepalive 32;
}

8.3 内存占用过高

优化策略：

1. 减少worker进程数
2. 优化缓冲区大小
3. 限制请求体大小
4. 定期重载配置释放内存

九、性能测试对比

我对比测试了优化前后的性能数据：

指标

优化前

优化后

提升比例

QPS

5,000

50,000

10倍

P50延迟

200ms

20ms

90%

P99延迟

2000ms

100ms

95%

CPU使用率

90%

40%

55%

内存使用

8GB

4GB

50%

错误率

0.01%

99%

十、进阶优化方向

10.1 使用OpenResty

OpenResty可以让你使用Lua脚本扩展Nginx功能：

-- 限流脚本示例
local limit_req = require"resty.limit.req"
local lim, err = limit_req.new("my_limit_req_store", 200, 100)

ifnot lim then
    ngx.log(ngx.ERR, "failed to instantiate a resty.limit.req object: ", err)
    return ngx.exit(500)
end

local key = ngx.var.binary_remote_addr
local delay, err = lim:incoming(key, true)

ifnot delay then
    if err == "rejected"then
        return ngx.exit(503)
    end
    ngx.log(ngx.ERR, "failed to limit req: ", err)
    return ngx.exit(500)
end

10.2 HTTP/3 QUIC支持

# 编译时添加QUIC支持
./configure --with-http_v3_module --with-http_quic_module

# 配置HTTP/3
server {
    listen 443 http3 reuseport;
    listen 443 ssl http2;
    
    ssl_protocols TLSv1.3;
    add_header Alt-Svc 'h3=":443"; ma=86400';
}

总结与建议

通过本文的优化方案，你应该能够：

1. 系统层面：内核参数调优，提升系统处理能力
2. Nginx配置：精细化配置，榨干每一分性能
3. 架构设计：构建高可用、可扩展的架构
4. 监控运维：建立完善的监控体系
5. 故障处理：快速定位和解决问题

最后的建议：

• 优化要循序渐进，每次只改一个参数
• 建立性能基准，量化优化效果
• 生产环境改动要先在测试环境验证
• 保持配置文件的版本管理
• 定期review和更新优化策略

记住，性能优化没有银弹，需要根据实际场景不断调整。但掌握了这些核心技巧，你就能应对99%的高并发挑战。

PreviousLogrotate实现nginx日志切割 Next使用OpenResty实现Web应用防护

Last updated 2 months ago

hashtag一、性能基准测试：知己知彼

hashtag1.1 压测工具选择与使用

hashtag1.2 性能瓶颈定位

hashtag二、系统层面优化：打好地基

hashtag2.1 内核参数优化

hashtag2.2 文件描述符限制

hashtag三、Nginx配置优化：核心调优

hashtag3.1 全局配置优化

hashtag3.2 上游服务器配置优化

hashtag3.3 静态资源优化

hashtag四、高级优化技巧

hashtag4.1 缓存策略优化

hashtag4.2 限流配置

hashtag4.3 SSL/TLS优化

hashtag五、高可用架构设计

hashtag5.1 主备架构

hashtag5.2 负载均衡架构

hashtag5.3 动静分离架构

hashtag六、监控与故障排查

hashtag6.1 性能监控

hashtag6.2 日志分析

hashtag6.3 性能分析工具

hashtag七、实战案例分析

hashtag案例1：电商大促扛住百万QPS

hashtag案例2：API网关性能优化

hashtag八、常见问题与解决方案

hashtag8.1 502 Bad Gateway

hashtag8.2 504 Gateway Timeout

hashtag8.3 内存占用过高

hashtag九、性能测试对比

hashtag十、进阶优化方向

hashtag10.1 使用OpenResty

hashtag10.2 HTTP/3 QUIC支持

hashtag总结与建议

一、性能基准测试：知己知彼

1.1 压测工具选择与使用

1.2 性能瓶颈定位

二、系统层面优化：打好地基

2.1 内核参数优化

2.2 文件描述符限制

三、Nginx配置优化：核心调优

3.1 全局配置优化

3.2 上游服务器配置优化

3.3 静态资源优化

四、高级优化技巧

4.1 缓存策略优化

4.2 限流配置

4.3 SSL/TLS优化

五、高可用架构设计

5.1 主备架构

5.2 负载均衡架构

5.3 动静分离架构

六、监控与故障排查

6.1 性能监控

6.2 日志分析

6.3 性能分析工具

七、实战案例分析

案例1：电商大促扛住百万QPS

案例2：API网关性能优化

八、常见问题与解决方案

8.1 502 Bad Gateway

8.2 504 Gateway Timeout

8.3 内存占用过高

九、性能测试对比

十、进阶优化方向

10.1 使用OpenResty

10.2 HTTP/3 QUIC支持

总结与建议