Hive hang without response

  1. 云栖社区>
  2. 博客>
  3. 正文

Hive hang without response

科技小先锋 2017-11-15 22:06:00 浏览560
展开阅读全文

前些天Hive查询的接口一直超时报警,登录上去查看发现这个超时报警的曲线很有规律,每个小时开始就出现,过了大约3分钟左右就好了.在这个期间里,也发现hive根本就执行不了,完全hang住了,机器负载,HDFS,Jobtracker的负载响应都完全正常!

立刻查看下日志发现几点:

1.对比其他时间的同一个job发现两个时间点的上传job文件到hdfs以及mapreduce的执行时间完全一致,也就是说排除了hdfs,jobtracker的问题

2.出问题时,hive的执行基本阻塞在Initialized ObjectStore部分

那么基本猜想就是MySQL出问题了,查看MySQL的监控日志发现果然每到这个时间点都会出现highsession,找到一个时间点用percona的工具分析了一下slow log发现了最终的元凶:

   原来是每个整点都会执行一次backup,但是在backup之前会有一个分析的query也在跑(cron)mysqldumpbackup之前会先进行flush table,但是由于那个long running query在导致flush table一直在等待,从而导致后来的所有操作都在waitingfor flushing table.

找到原因就好办了,把备份迁移到从库,另外优化那个long running query,解决.



本文转自MIKE老毕 51CTO博客,原文链接:http://blog.51cto.com/boylook/1367256,如需转载请自行联系原作者



网友评论

登录后评论
0/500
评论
科技小先锋
+ 关注