1. 问题现象与背景分析最近在排查一个线上SpringBoot应用的性能问题时发现系统在流量高峰期频繁出现资源耗尽导致的IO异常。具体表现为Undertow服务器抛出java.io.IOException: 资源暂时不可用错误同时Redis客户端也出现连接超时和连接池耗尽问题。这种连锁反应最终导致部分API请求失败影响了用户体验。这类问题在Java后端开发中并不罕见特别是在微服务架构下当某个组件出现资源瓶颈时往往会引发上下游的连锁反应。Undertow作为SpringBoot默认支持的轻量级Web服务器虽然以高性能著称但在线程池和连接配置不当的情况下依然可能成为系统瓶颈。而Redis作为缓存和会话存储的核心组件其连接池配置更是直接影响系统稳定性。2. 根因定位与诊断方法2.1 Undertow IO异常分析首先来看Undertow的报错信息java.io.IOException: 资源暂时不可用。这个错误通常发生在以下几种情况文件描述符耗尽Linux系统对单个进程可打开的文件描述符数量有限制默认1024线程池耗尽Undertow的工作线程不足以处理并发请求Socket缓冲区溢出网络连接积压超过内核队列大小通过以下命令可以快速诊断# 查看进程文件描述符使用量 ls -l /proc/PID/fd | wc -l # 查看系统级限制 ulimit -n # 查看线程池状态需要Undertow开启JMX jconsole - 查看线程数峰值2.2 Redis连接池问题排查Redis客户端的报错通常表现为Could not get a resource from the poolConnection timed outRead timed out这些错误指向连接池配置不足或Redis服务端性能瓶颈。关键检查点包括连接池配置参数maxTotal最大连接数maxIdle最大空闲连接minIdle最小空闲连接maxWaitMillis获取连接最大等待时间Redis服务端状态redis-cli info stats | grep instantaneous_ops_per_sec redis-cli info clients | grep connected_clients网络延迟检查redis-cli --latency3. 配置优化方案3.1 Undertow服务器调优在application.yml中配置Undertow参数server: undertow: threads: io: 16 worker: 200 buffer-size: 16384 direct-buffers: true max-http-post-size: 10MB参数说明io线程建议设置为CPU核心数处理IO事件worker线程计算公式为最大并发请求数 / (平均响应时间(秒) * 1000)buffer-size根据平均请求体大小调整减少内存碎片direct-buffers使用堆外内存提升性能重要提示worker线程数不是越大越好超过2000可能导致线程切换开销过大3.2 Redis连接池优化以Lettuce客户端为例的配置示例Bean public LettuceConnectionFactory redisConnectionFactory() { LettucePoolingClientConfiguration config LettucePoolingClientConfiguration.builder() .poolConfig(new GenericObjectPoolConfig() {{ setMaxTotal(200); setMaxIdle(50); setMinIdle(10); setMaxWait(Duration.ofMillis(500)); setTestOnBorrow(true); }}) .commandTimeout(Duration.ofSeconds(1)) .build(); return new LettuceConnectionFactory( new RedisStandaloneConfiguration(redis-host, 6379), config); }关键参数调优建议maxTotal根据QPS和平均命令耗时计算所需连接数 ≈ QPS × 平均耗时(秒) × 安全系数(1.2-1.5)maxWaitMillis建议设置为平均耗时的2-3倍testOnBorrow生产环境建议开启避免使用失效连接4. 系统级优化措施4.1 Linux系统参数调整对于高并发场景需要调整系统级限制# 临时生效 ulimit -n 65535 sysctl -w net.core.somaxconn32768 sysctl -w net.ipv4.tcp_max_syn_backlog16384 # 永久生效/etc/security/limits.conf * soft nofile 65535 * hard nofile 65535 # /etc/sysctl.conf net.core.somaxconn 32768 net.ipv4.tcp_max_syn_backlog 163844.2 JVM参数优化添加以下JVM参数防止资源耗尽-XX:UseG1GC -XX:MaxGCPauseMillis200 -XX:InitiatingHeapOccupancyPercent35 -XX:MaxDirectMemorySize1G -Dio.netty.maxDirectMemory05. 监控与告警配置5.1 Prometheus监控指标关键监控指标Undertow:undertow_request_active_sessionsundertow_request_queue_sizeundertow_request_active_countRedis:lettuce_pool_active_connectionslettuce_pool_idle_connectionslettuce_pool_waiting_threads5.2 Grafana告警规则建议设置以下告警阈值Undertow线程使用率 80% 持续5分钟Redis连接池等待线程数 50 持续2分钟文件描述符使用率 90%6. 压测验证方法使用JMeter进行全链路压测ThreadGroup numThreads500/numThreads rampUp60/rampUp loopCountforever/loopCount RedisDataSet hostredis-test/host port6379/port keystest_key*/keys /RedisDataSet HTTPRequest protocolhttps/protocol domainapi.example.com/domain path/v1/endpoint/path /HTTPRequest /ThreadGroup压测观察要点错误率曲线变化响应时间P99值服务器资源监控CPU、内存、IO中间件连接池使用情况7. 典型问题处理实录7.1 案例一连接泄漏现象Redis连接数持续增长不释放 排查步骤使用redis-cli client list查找空闲连接检查代码中是否漏掉close()调用使用jstack分析线程栈解决方案try (RedisConnection conn factory.getConnection()) { // 业务操作 } // 自动关闭连接7.2 案例二线程阻塞现象Undertow工作线程全部处于BLOCKED状态 排查工具jstack PID | grep -A 30 undertow-worker常见原因同步锁竞争慢SQL查询外部服务调用超时8. 架构层面的优化建议对于长期高负载系统可以考虑引入本地缓存Caffeine减轻Redis压力使用响应式编程WebFlux减少线程消耗实现连接池动态扩容机制部署Redis集群分担读压力配置示例Caffeine Redis多级缓存Bean public CacheManager cacheManager() { CaffeineCacheManager caffeineCacheManager new CaffeineCacheManager(); caffeineCacheManager.setCaffeine(Caffeine.newBuilder() .maximumSize(10_000) .expireAfterWrite(5, TimeUnit.MINUTES)); return new RedisCacheManager( redisTemplate, caffeineCacheManager, true); // 允许缓存null值 }9. 运维检查清单日常维护时需要定期检查系统资源监控文件描述符使用率TCP连接状态统计ss -s中间件状态Redis内存碎片率redis-cli info memory | grep fragmentation应用指标GC日志分析线程转储分析10. 总结与最佳实践经过这次问题排查我总结了几个关键经验连接池配置需要根据实际流量进行数学计算而不是随意设置系统级限制文件描述符、线程数等需要在部署时预先检查监控指标需要包含应用层和中间件层的关联指标压测时要模拟真实业务场景包括异常情况测试对于SpringBoot应用建议在项目启动时就加入以下健康检查Bean public HealthIndicator undertowHealthIndicator() { return () - { if (threadPool.getActiveCount() threshold) { return Health.down().build(); } return Health.up().build(); }; }