程序调试和性能分析常用技巧
程序调试和性能分析通常需要设计到多种工具，有时甚至需要跨越用户态和内核态。本文总结了在程序调试和性能分析过程中常碰到三个问题，既是为了方便自己后面温习，也是为了和碰到同样问题的朋友一起分享。
1.如何调试多线程的程序？
多线程程序运行的时候如果出现崩溃或者产生core的时候，最困难的是很难定位到底是哪个线程导致的问题。为此，可以利用gdb工具中的thread apply命令来指定在某个ID的线程上运行gdb命令，比如下面的命令就是在fuse进程的1至250号线程上运行bt命令，然后把所有线程的”bt”输出统一定位到fuse.bt文件当中去。参考下面的命令可以得到所有线程的用户态的堆栈
gdb -q --batch -ex "thread apply 1-250 bt" attach `pidof fuse` | tee /home/qsia/fuse.bt
2.如何在程序运行的过程中修改某个变量的值？
gdb的attach命令能够和正在运行的进程相关联，而''--ex”能够指定期望运行的gdb命令，再加上 表示屏蔽版本等信息的-q和表示批处理—batch的参数，就组成了能在程序运行时修改变量的参数组合。比如下面的命令,就在sksmon进程运行时，动态地修改了它的mask的值：
sudo gdb -q --batch --ex "set msk=0" attach `pidofsksmon`
如果这个命令和上面的thread apply命令相结合，我们就能写出模拟多线程运行多种中间状态的脚本，这样能够极大的方便调试。
3.如何查看多线程程序的所有内核堆栈？
有时，我们需要查看多线程的程序的所有内核态堆栈，这时我们就需要充分利用Linux系统/proc文件系统的特性，进入到/proc下对应进程相关线程的目录，读出各自的”stack”信息。
cd /proc/`pidof yourprgoram_name`;
for i in `find ./ -name "stack"`; do echo $i >> ~/proc_search.log; cat $i >> ~/proc_search.log; done
４.如何分析程序关键函数的性能？
分析程序性能的工具很多，包括opprofile/systemtap等。Opprofile能够从CPU芯片和内核级别，给出系统的性能统计和分析，包括耗费CPU周期、Cache命中率等；而systemtap类似于SUN引入的DTrace，能够通过符号表生成可自动加载的探测驱动，从而能够统计系统运行时间、在指定函数插入特定函数。
针对特定业务应用的开发，一般而言，systemtap足够胜任。
４.１ systemtap的安装
For Fedora/Centos/Redhat:
yum install systemtap
yum install kernel-devel gcc make
Prepare kernel debug information:
yum install yum-utils
debuginfo-install kernel
For ubuntu，Do it all with apt-get:
apt-get install systemtap
apt-get install linux-headers-generic gcc make
Prepare kernel debug information:
apt-get install linux-image-debug-generic
ln -s /boot/vmlinux-debug-$(uname -r) \
/lib/modules/$(uname -r)/vmlinux
4.２检查sysstemtap是否安装成功
运行命令 stap -v -e 'probe vfs.read {printf("read performed\n"); exit()}'
如果输出正常就没有问题，否则安装还有问题。
4.3如何编写stap监控脚本
和DTrace类似，systemtap运行的时候也需要stap脚本，请参考http://sourceware.org/systemtap/， 里面有非常完整的介绍。示例代码如下：
# Show sockets setting options# Return enabled or disabled based on value of optvalfunction getstatus(optval){ if ( optval == 1 ) return "enabling" else return "disabling"}probe begin{ print ("\nChecking for apps setting socket options\n")}# Set a socket optionprobe tcp.setsockopt{ status = getstatus(user_int($optval)) printf (" App '%s' (PID %d) is %s socket option %s... ", execname(), pid(), status, optstr)}# Check setting the socket option workedprobe tcp.setsockopt.return{ if ( ret == 0 ) printf ("success") else printf ("failed") printf ("\n")}probe end{ print ("\nClosing down\n")}
