计算hdfs指定目录中所有文件名中包含2011-04-24的文件大小,并换算成GB:
- $HADOOP_HOME/bin/hadoop fs -du /user/hdfs/s3/ifocus/*2011-04-24* |awk '{sum += $1}END{print sum}' |awk '{total=$1;base=1024*1024*1024;print total/base}'
如果要统计20号到24号所有文件大小的总和呢?
-
#!/bin/bash
-
#
-
DIR=/log/tmp/cd
-
-
startdate="$1"
-
date1=$(date -d "$1" "+%s")
-
date2=$(date -d "$2" "+%s")
-
date_count=$(echo "$date2 - $date1"|bc)
-
day_m=$(echo "$date_count"/86400|bc)
-
-
for ((sdate=0;sdate<"$day_m";sdate++))
-
do
-
DAY=$(date -d "$startdate $sdate days" "+%F")
-
Size=$(~/hadoop-0.20.2-CDH3B4/bin/hadoop fs -du ${DIR}/*${DAY}* |awk '{sum += $1}END{printf "%u",sum}')
-
let a=${a}+${Size}
-
done
-
-
echo $a |awk '{total=$1;base=1024*1024*1024;print total/base}'
脚本比较简单,但由于shell不支持浮点数运算,搞了很久,才想起使用printf "%u"来指定用十进制表示文件大小,这才顺利完成脚本。计算的时候,指定起始日期,20110420,20110424。
另外一个问题:最后那条shell语句是如何取得for循环中的变量$a的?Shell脚本里,要使用local关键字来标识局部变量;否则,变量默认为全局的,一直到脚本结束,当然前提是没有被后面的值覆盖。
所以,在循环体外面引用循环体里面的变量是完全可以的。
本文转自 li_qinshan 51CTO博客,原文链接:http://blog.51cto.com/share/554922