资源池的两个小教训

简介:

“不要使用全局的资源池。除非你真的知道它的合理配置——如大小、超时等。”


我在这个坑里踩了两次了。

第一次是Http的连接池。我用了一个默认的PoolingHttpClientConnectionManager来进行REST服务调用。没想到,默认配置下的http连接池中,同一个域名最多只创建两个链接。结果压力稍微上来一点就瞬间悲剧了。


第二次是线程池。Spring的task:annotation-driven配置会将全局的@Async注解类/方法,以及定时任务都放到同一个线程/任务池中进行异步调用。结果,当其中某些任务阻塞住了工作线程时,系统中一大批多线程操作都超时了。


除了这两个坑外,我算是成功的躲开了一个坑。

使用Java 8的parallel stream来运行多线程任务时,默认情况下,所有线程由ForkJoinPool.commonPool()来调度、运行。与我第二次踩坑时的问题相似:如果有某些任务阻塞住了工作线程时,其它多线程任务会付出额外的等待时间,甚至超时。


这次我用了自定义的ForkJoinPool来躲开这个坑。并且我提醒自己:使用全局资源池时,一定要慎重。例如,全局的线程池、http/db连接池、缓存池等等。因为“全局”的覆盖面和影响面都太广,一个地方的无心之失,就可能导致千百处问题。这样的风险太大、太不可控了。


不过,数据库连接池算是一个特例。实际上,数据库连接池同样有上面这些风险,只不过大部分情况下,我们对数据库连接池机制研究以及大小、超时时间等方面的配置已经比较完善了,因此才很少出现影响应用服务的问题。另外,由于数据库操作实在是太频繁了,数据库连接池算是一个刚需,没它不行。


区分使用资源池,可以起到问题隔离的作用。不过,过多的资源池有时候也会造成资源浪费。虽然这种情形的概率会更小,但是一旦真的出现问题了,那么要定位和解决起来就不是那么容易的了。


我的经验是,区分一下各类操作的类型(CPU密集运算、数据库读写操作、网络IO、硬盘IO等),对不同类型操作使用不同资源池(如不同的线程池);对同一类型的操作,可以再做细分(如内网IO、外网IO等),并以此为依据使用不同的资源池。

但总归,不要简单粗暴的使用全局统一的资源池。



本文转自 斯然在天边 51CTO博客,原文链接:http://blog.51cto.com/winters1224/1885296,如需转载请自行联系原作者

相关文章
|
5月前
|
负载均衡 网络协议 算法
云计算中的负载均衡技术,确保资源的平衡分配
云计算中的负载均衡技术,确保资源的平衡分配
110 0
|
9月前
|
传感器 数据采集 存储
窖池测温仪是如何工作的?
窖池测温仪是一种用于测量酒窖发酵池温度的仪器。它通常由温度传感器和数据采集模块组成,可以实时监测窖池内的温度,并将数据传输给集中控制系统或计算机进行分析和处理。这种仪器广泛应用于酿酒、葡萄酒存储等行业中,有助于保证产品的质量与稳定性。
102 0
|
9月前
|
存储 弹性计算 Kubernetes
如何优雅的排空节点上的pod?云服务商是如何回收机器的?
在 Kubernetes 中,不仅容器和 Pod 可以更换,节点也可以更换。Kubernetes 中的节点是 VM、服务器和其他具有计算能力的实体 (其实对k8s来说就是一个对象),在这些实体中运行 Pod 和容器。
80 0
GameMakerStudio学习资源
GameMakerStudio学习资源
71 0
|
人工智能 JSON 前端开发
学习资源
大家好,推荐一些学习资源给大家 当然大家可以留言评论自己发现的优秀资源地址
|
网络性能优化 调度 容器
Kubelet 对资源紧缺状况的应对
对于内存和磁盘这种不可压缩的资源,紧缺就相当于不稳定。 驱逐策略 Kubelet 能够监控资源消耗,来防止计算资源被耗尽。一旦出现资源紧缺的迹象,Kubelet 就会主动终止一或多个 Pod 的运行,以回收紧俏资源。
1624 0
|
测试技术
产品经理的需求池管理
在做项目的时我们经常会面临各种各样的需求,有的需求来自领导的指示,有的需求来自用户的反馈,有的需求来自灵光一闪,有的需求来自团队其他小伙伴等等,那么对于各种需求我们应该如何处理和管理呢?这个就是今天要和大家分享的内容:“产品经理需求池的管理”。
2028 0
|
网络协议 NoSQL Java
从内存池到连接池 老码农眼中的资源池
版权声明:本文为半吊子子全栈工匠(wireless_com,同公众号)原创文章,未经允许不得转载。 https://blog.csdn.net/wireless_com/article/details/79072305 如果将互联网应用比喻成冲浪的话, 可能需要先学会在池中游泳吧。
970 0