hdfs日志上传脚本(三)

  1. 云栖社区>
  2. 博客>
  3. 正文

hdfs日志上传脚本(三)

科技小能手 2017-11-22 22:39:00 浏览594
展开阅读全文
为了上传文件到hdfs,我们曾写过脚本,也曾搭过webdav;但是原来写脚本时,我们把日志下载到linux服务器,这样就多了一步磁盘I/O操作,而通过webdav直接从windows上传日志到hdfs又遇到了些麻烦。
    下一步,我们想测试一下flume等日志收集系统,看看它们是否能够更方便、更实时地上传日志到hdfs。
    但现在,我们暂且回到脚本方式,但换了一下思路:原始日志在windows上直接处理成lzo格式,然后放到共享目录,我们linux服务器挂载这个windows共享目录,然后调用Hadoop命令进行上传,这样不就减少了本地磁盘I/O操作了吗?看来思路很重要。
    这次的脚本,我们用两台linux服务器都挂载windows共享目录,两台linux服务器上都运行脚本,只需要在上传之前判断一下日志文件是否冲突,通过改名的方法达到独占的目的。

  1. #!/bin/bash 
  2. # 2012-03-02 by qinshan.li 
  3. export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin 
  4. windows="/hdfs/track_1469 /hdfs/track_1470 /hdfs/track_1722" 
  5. TRACK=/log/source/iCast_iFocus_track 
  6.  
  7. for DIR in $windows 
  8. do 
  9.     find $DIR -type f -name "*.lzo" |while read FILE 
  10.     do 
  11.         if [ -f "$FILE" ]; then 
  12.             if ! lsof |grep $FILE; then 
  13.                  Original=$(echo $FILE |awk -F '/' '{print $4}') 
  14.                  New=${L_N}_170 
  15.                  mv $DIR/$Original $DIR/$New 
  16.                  L_size=$(ls -l $DIR/$New |awk '{print $5}') 
  17.  
  18.                  if ~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -copyFromLocal $DIR/$New $TRACK 
  19.                  then 
  20.                      H_size=$(~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -ls $TRACK/$New |awk '{print $5}') 
  21.                      RAND=0 
  22.  
  23.                      while [ "$H_size" -ne "$L_size" ]; do 
  24.                          RAND=$(($RAND+1))  
  25.                          if [ $RAND -gt 5 ]; then 
  26.                              echo -e "Have tried 5 times to upload $FILE !" |mail -s "track jiaxing upload failure" -c aa@123.com bb@123.com -- -f bb@123.com -F bb 
  27.                              break 
  28.                          fi 
  29.  
  30.                          ~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -rm $TRACK/$New 
  31.                          ~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -copyFromLocal $DIR/$New $TRACK 
  32.                      done 
  33.                  fi 
  34.  
  35.                  ~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -mv $TRACK/$New $TRACK/$Original 
  36.                  rm -f $DIR/$New 
  37.              fi 
  38.          fi 
  39.      done 
  40. done 
    做计划任务的时候,写个脚本判断一下上面的脚本是否正在运行,是的话就先等一下,否的话,使用source的方式调用上面的脚本。

  1. #!/bin/bash 
  2. # 2012-03-02 by qinshan.li 
  3. # 
  4. if [ -z "$(/usr/bin/pgrep aa.sh)" ] 
  5. then 
  6.     echo -e "$(/bin/date +%F_%H:%M) Now running aa.sh" >>/hdfs/bb.log 
  7.     source /hdfs/aa.sh 
  8. else 
  9.     echo -e "$(/bin/date +%F_%H:%M) The script aa.sh is running." >>/hdfs/bb.log 
  10. fi
本文转自 li_qinshan 51CTO博客,原文链接:
http://blog.51cto.com/share/795404

网友评论

登录后评论
0/500
评论
科技小能手
+ 关注