秋色园CPU高温优化-两天两夜吐血失败经验总结

简介:

前言:

 

前N天,一直在优化 秋色园 ,仍然纠结于access数据库锁问题,因为一旦被锁,只在网站涉及到读取数据库,基本上就不用打开了,下场仅有重启IIS。
 
为了解决这个并发锁问题,我是用心良苦,频繁出招,这些留下到“秋色园技术原理解析 系列”里写了。

 

过程:

 

复制代码
这几天,对 秋色园 首页进程了极致优化,完全避开了Access数据库操作,利用Cookie+文本外置+后台线程,完全可以不理会数据库打开首页了,首页不用担心锁问题了。
 
经过重重优化,这几天没再发access锁住问题。
 
终于:前两天,却让人纠心的起了另一个问题:cpu高温不退,70 % 的时间维持在80 % 的使用率上,偶尔下降。
 
虽然不影响运行,但为了把这个率降下来,一直忙碌调整测试代码两天了。
 
最终:还没正面解决问题,现在好了,cpu基本0 - 10 % 以下,可是还是没正面纠出问题,只好做一下失败的总结。
复制代码

 

CPU 基本就这状态:

 

CPU高温前,我都做了些什么[其实优化了很多,这里提最近的两点]:

 

1:优化生成静态页面的策略:

 

旧策略:页面被访问时概率性即时产生线程后台重新请求生成新数据页面。

新策略:页面被访问时,概率性将url添加到队列中,同一线程定时按顺序更新。

 

2:优化访问统计策略:

 

旧策略:缓存用户访问和文章访问计数,概率性更新。

新策略:是将计数器放入队列,定时更新。

 

 

CPU高温是我在修改了这些策略后,才发生的,是偶尔,还是非偶尔,不得而知,但然改的不止这些,还有很多。。。

 

CPU高温后,我都做了些什么:

 

1:怀疑是不是新策略的问题引起的,做了以下措施:

 

复制代码
1 :降低重新生成界面的概率,加大生成页面间的休眠时间,然后更新dll,不见效。

2 :直接屏蔽线程代码,更新,不见效。

3 :加大访问统计的休眠时间,更新,不见效。

4 :屏蔽访问统计,更新,不见效。

5 :还有其它,比如输出统计url信息或统计信息,查看对象等。。。效果不大。
复制代码

 

2:本地开线程,模拟并发请求,做本地CPU测试:

 

1 :写了个程序,本地开500线程,访问本机的iis,发现cpu上到50 %

2 :注释掉生命周期代码,从代码的一开始加return,一步一步观察并发下的CPU状态,一路上,优化了不少,可惜更新到服务器上就是不见效。

 

 

这里不得不说,更新dll真是个地狱,缓存严重无法代替的地步:

 

复制代码
1 :编绎后上传复盖,仅是缓存失效,dll还是原来的。

2 :回收应用程序池,也仅是新开进程,dll还是原来的。

3 :重启IIS,这下好了吧,dll还是原来的。

4 :把dll删除了,访问正常,再回收内存,新开了进程,提示加载错误,再上传,终于更新了。

--------------- 多么让人纠结的缓存。
复制代码

 

3:vps有个一开始就装好的小骑士浏览监控工具,开了看一下:

 

复制代码
有以下信息:

1 :网站监控

2 :流量监控

3 :CPU监控

4 :内存监控

5 :硬盘写监控

6 :硬盘读监控

可是都是一些大的统计,发现不了细节问题,纠结的又跳过了。
复制代码

 

所以很纠结的说,自己的方法不成,只好走正规则手段,不得已学人家dump一下:

 

4:终于还是走正规路线,下个专业的分析工具dotTrace,折腾了两下,没了:

 

复制代码
1 :下了个最新版本,本地上折腾一下,只能随便看看不得要领,定位不到问题:

然后想到服务器试试,下了一个,装上,运行。

纠结的它,服务器运行不起来,还弹了不少错误,把应用程序池都给挂了,不知道是啥原因,只好卸载了。

2 :还是dotTrace,下个早期版本V3.1试试,结果本地都运行不起来,只好又给卸载了。
复制代码

 

 

5:好了,专业点,用windb,下了个新版本,2009年的,网上看了下教程,勉强学会几条命令和步骤:

 

复制代码
1 :下载,微软那下,地址忘了,搜索吧。

2 :安装,运行。

3 :要dump一个 * .dmp文件出来[几百M],附加w3wp进程:

这一步我很纠结,网上写着执行用vbs 什么命令的,找不到这命令到哪执行...

我只好附加进程,然后才看到命令,输入:.dump 
/ ma d:\ 1 .dmp,这才产生了一个几百M的文件。

这里又有个问题,附加进程后,原来进程IIS访问不了,cpu看到的是0,可是dump出来显示的cpu还是80
% 多,不知道是啥怪现象。

还有一个问题,停止debug后,原来的w3wp进程竟然挂了,这让我很纠结。



因为:网上教程都是dump几个文件,然后比较相同的线程时间,来判断一个线程执行的时长定为问题点。

可是我dump一个原来进程就挂了,再重新dump的进程就不一样了,这个怎么比较。

只好随便看看一个文件了。

4 :配置symbol符号:

5 :加载 * .dmp文件。

6 :开始敲命令了:

!threads 输出非托管线程

! runaway 输出每个线程的执行时间

.time 输出汇总时间

~ 124s: 124是线程id,切换到124线程中

.clrstack 输出栈信息

好像就记得这么几个命令了,不是要领,发现不了问题,研究不下去。
复制代码

 

6:专业不成,又非专业一下,procxp.exe,一个小工具。

 

朋友给我发了一个procxp.exe,轻轻一运行,基本轻松可以看到上面辛苦dump的信息。

还可以看到有四个线程,一直占用着cpu,可惜除了线程ID之后,再看不了详细信息,还是定位不到具体问题。

 

见截图2张:

1:基本状态:

 

2:4个高线程:点击上图那个threads看到的。

 

纠结的,CPU莫名的好了,稳定了,不发烧了

 

再之后,不理了,把秋色园剩下的优化代码给写完,准备更新,这时候cpu又回落正常了,更新之后,cpu到目前为,正常了,不再发现高温现象。

 

留下的是失败的测试的可能性:

 

复制代码
1 :access数据库操作,Lock操作引起并发访问线程阻塞,导致cpu高。

2 :搜索引擎发狂访问,见IIS日志和平时没两样,一样大小,应该不太可能。

3 :大量网页同时发文章?只有发文章时,才会频繁写access数据库,可是数据库没有产生 * .ldb文件,cpu也一样很高,不知道咋解释。

4 :4个线程占用高的,是何许线程,没解。

5 :其它....等一次再来过。
复制代码

 

 

带着些许纠结,写下这没结局的总结,夜静更深,4点了,纠结的睡了。

 

现在 秋色园 应该稳定了,大伙访问看看:http://www.cyqdata.com


版权声明:本文原创发表于博客园,作者为路过秋天,原文链接:

http://www.cnblogs.com/cyq1162/archive/2011/07/06/2098831.html

相关文章
|
2月前
|
编译器 Linux C语言
C++新特性“CPU优化对齐”
C++新特性“CPU优化对齐”
|
Android开发
【Android 安装包优化】动态库打包配置 ( “armeabi-v7a“, “arm64-v8a“, “x86“, “x86_64“ APK 打包 CPU 指令集配置 | NDK 完整配置参考 )
【Android 安装包优化】动态库打包配置 ( “armeabi-v7a“, “arm64-v8a“, “x86“, “x86_64“ APK 打包 CPU 指令集配置 | NDK 完整配置参考 )
997 0
【Android 安装包优化】动态库打包配置 ( “armeabi-v7a“, “arm64-v8a“, “x86“, “x86_64“ APK 打包 CPU 指令集配置 | NDK 完整配置参考 )
|
2月前
|
存储 机器学习/深度学习 测试技术
mnn-llm: 大语言模型端侧CPU推理优化
mnn-llm: 大语言模型端侧CPU推理优化
357 1
|
2月前
|
存储 缓存 算法
如何优化 CPU 通道的使用
如何优化 CPU 通道的使用
44 0
|
4月前
|
存储 人工智能 缓存
探索AIGC未来:CPU源码优化、多GPU编程与中国算力瓶颈与发展
近年来,AIGC的技术取得了长足的进步,其中最为重要的技术之一是基于源代码的CPU调优,可以有效地提高人工智能模型的训练速度和效率,从而加快了人工智能的应用进程。同时,多GPU编程技术也在不断发展,大大提高人工智能模型的计算能力,更好地满足实际应用的需求。 本文将分析AIGC的最新进展,深入探讨以上话题,以及中国算力产业的瓶颈和趋势。
|
5月前
|
存储 缓存 Linux
高效利用CPU缓存一致性:优化技巧与策略分析
高效利用CPU缓存一致性:优化技巧与策略分析
|
8月前
|
SQL 存储 关系型数据库
记一次MySQL CPU被打满的SQL优化案例分析
记一次MySQL CPU被打满的SQL优化案例分析
171 0
|
10月前
|
NoSQL 安全 Linux
Redis 从入门到精通之内存和CPU配置优化
Redis 是一种基于内存的数据存储系统,因此内存的规划是非常重要的。在配置 Redis 内存时,应该避免物理内存使用过量导致大量使用 Swap,同时需要考虑内存碎片的问题。根据多年的经验整理了一些建议
530 1
|
SQL 缓存 负载均衡
线上cpu报警的一次接口优化
春天到了大地都复苏了,沉寂了很久的cpu也开始慢慢复苏了,所谓前人埋坑后人填坑,伴随着阿里云监控报警,线上CPU使用率暴增,于是就开始了排查之路。
|
存储 弹性计算 运维
CPU 利用率从 10% 提升至 60%:中型企业云原生成本优化实战指南
在互联网早期迅速发展时,相关领域企业更多注重于扩展业务,为了迅速占领市场,往往会投入较高的成本。然而,随着互联网人口红利逐渐消退,以及近几年的疫情影响,越来越多企业开始重视成本管理,从“粗放式经营”转变为“精细化运营”模式,成本优化成为企业重点关注事项。
441 0
CPU 利用率从 10% 提升至 60%:中型企业云原生成本优化实战指南

热门文章

最新文章