1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. F>
  5. flume实时日志采集

当前主题:flume实时日志采集

flume实时日志采集相关的博客

查看更多 写博客

零基础学习大数据的路线和方向

大数据本质是:数据挖掘深度和应用广度的结合。对海量数据进行有效的分析和处理,而不单单是数据量大就叫大数据。 随着人们对大数据的认识越来越深入,很多零基础人员看到了大数据的未来,也想学习这个前沿技术,踏入时代的领军行业。但是一直没有一个很好的思路和方向,本文将

阅读全文

使用EMR-Flume将非EMR集群的数据同步至EMR集群的HDFS

1.前言 E-MapReduce从3.20.0版本开始对EMR-Flume新增了Log Service Source。借助Log Service的Logtail等工具,可以将需要同步的数据实时采集并上传到LogHub,再使用EMR-Flume将LogHub的

阅读全文

最全最新的大数据系统交流路径

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段,处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据处理手段所无法完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的IT技术

阅读全文

如何从 0 到 1 设计、构建移动分析架构

作者:处厚,目前主要负责支付宝数据分析组件开发和通过移动开发平台 mPaaS 对外输出工作。本专题主要围绕 mPaaS 移动分析服务 MAS 展开分享如何从 0 到 1 设计、构建移动分析架构。 直播回顾地址(请复制到浏览器中打开):http://t.cn/

阅读全文

全网最全最新的大数据系统学习路径

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段,处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据处理手段所无法完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的IT技术

阅读全文

写给大数据开发初学者的话 | 附教程

导读: 第一章:初识Hadoop 第二章:更高效的WordCount 第三章:把别处的数据搞到Hadoop上 第四章:把Hadoop上的数据搞到别处去 第五章:快一点吧,我的SQL 第六章:一夫多妻制 第七章:越来越多的分析任务 第八章:我的数据要实时 第九章

阅读全文

基于MaxCompute/Dataworks实现数据仓库管理与全链路数据体系

前言   就这样,大数据领域蓬勃发展了好几年,有很多伙伴执迷于技术,成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据,成为了行业的数据研发专家。当然还有很多小伙伴,热衷于工具系统开发,成为了数据技术专家。那么我们回过头来考虑,什么是大数据,什么又是数据

阅读全文

大数据方面核心技术有哪些?新人必读

大数据技术的体系庞大且复杂,基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架,主要分为下面几个方面:数据采集与预处理、数据存储、数据清洗

阅读全文