NOSQL 分析日志文件
现在系统的运行日志越来越多,目前都是txt文本文件.这样就很难对日志数据进行汇总分析.
我的想法是搭建一个NOSQL(最好是基于 JSON格式的),每天凌晨把昨天产生的日志文件写入到NOSQL数据库.
这样NOSQL的日志数据会有一天的延期
这样做可以吗?大家都有什么建议啊?
展开
收起
1
条回答
写回答
写回答
-
对日志文件的处理, 主要考虑你的应用场景和最终的需要. 然后再来安排处理"办法".
NoSQL的高速, 很大原因在于它"简单",和 "内存".
个人认为, 它适合于分析日志的"过程", 而不适合用来"存放"日志.我的日志只是要自己在用而已, 呵呵,我的处理方式比较粗暴.
我自己接触到的日志,基本上是Web的日志.
我对日志的处理, 最终只是把日志"可视化", 就是把它生成一个比较直观的图片.
txt 有它自己的优势,- 通用性高, 几乎任何软件都支持. 方便你用不同的软件来处理它, 哪怕你随手写的脚本.
- 可压缩, 当日志文件每天以几G,几十G的增加, 你就知道"压缩"是多么重要. 不过我并没有对比过原始 txt 与格式化之后的 json 的压缩比.
如果你想"实时"分析日志, 可以考虑用"管道", 它可是个好东西. 不过需要注意,"读管道" 要尽量比"写管道"快.
我自己这边, 基本是在服务器打包日志, 传回本地分析, 再把分析结果写到服务器.
2019-07-17 19:48:32赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
相关文章
相关电子书
更多
