1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. H>
  5. hadoop处理日志文件

当前主题:hadoop处理日志文件

hadoop处理日志文件相关的博客

查看更多 写博客

MySQL迁移到Cassandra

翻译原文:https://academy.datastax.com/planet-cassandra/mysql-to-cassandra-migration 原作者:Michael Kjellman is a San Francisco based Sof

阅读全文

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么,和自建Hadoop平台有什么区别。 先说Hadoop 什么是Hadoop? Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统,主要用来解决海量数据的存储、分析、分

阅读全文

好程序员大数据学习路线分享hadoop常用四大模块文件

  好程序员大数据学习路线分享hadoop常用四大模块文件   1.1.1core-site.xml(工具模块)   包括Hadoop常用的工具类,由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、

阅读全文

阿里云智能--基础产品技术月刊 2019年8月

一、商用产品技术 TOP1 智能接入网关SAG发布集中控制台配置功能,提升企业客户网络管理维护效率 在规模较大的企业用户场景,企业线下IDC之间以及访问云上资源,会在多地域部署阿里云智能接入网关SAG,传统的本地web配置,因为IT管理人员经验和技能水平参差

阅读全文

如何在 Apache Flink 中使用 Python API?

作者:孙金城(金竹)整理:韩非 本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink PMC,阿里巴巴高级技术专家 孙金城 分享。重点为大家介绍 Flink Python API 的现状及未来规划,主要内容包括:Apache

阅读全文

独家 | 带你认识HDFS和如何创建3个节点HDFS集群(附代码&案例)

作者:尼廷·兰詹(Nitin Ranjan) 文章来源:微信公众号 数据派THU 翻译:陈之炎 校对:王威力 在本文中,大数据专家将为您介绍如何使用HDFS以及如何利用HDFS创建HDFS集群节点。 我们将从HDFS、Zookeeper、Hbase和Open

阅读全文

Alluxio使用——开篇

一.Alluxio概述 Alluxio(前身Tachyon)是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式,为上层计算框架和底层存储系统构建了桥梁。 Alluxio项目源自加州大学伯克利分校AMPLab,作为伯克利数据分析堆栈(BD

阅读全文

Apache Flink 1.9重磅发布!首次合并阿里内部版本Blink重要功能

8月22日,Apache Flink 1.9.0 版本正式发布,这也是阿里内部版本 Blink 合并入 Flink 后的首次版本发布。此次版本更新带来的重大功能包括批处理作业的批式恢复,以及 Table API 和 SQL 的基于 Blink 的新查询引擎(

阅读全文

hadoop处理日志文件相关问答

提问题

Spark 【问答合集】

如何使用spark将kafka主题中的writeStream数据写入hdfs? https://yq.aliyun.com/ask/493211 当Spark在S3上读取大数据集时,在“停机时间”期间发生了什么? https://yq.aliyun.co

阅读全文

Spark从本地文件流式传输到hdfs。textFileStream

我正在尝试将本地目录内容流式传输到HDFS。脚本将修改此本地目录,并且每5秒添加一次内容。我的spark程序将流式传输本地目录内容并将其保存到HDFS。但是,当我开始流式传输时,没有任何事情发生。我检查了日志,但我没有得到提示。 让我解释一下这个场景。s

阅读全文

MongoDB

简介编辑 MongoDB[1] 是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 mongoDB mongoDB MongoDB[2] 是一个介于关系数据库和非关系数据库之间的产品,是非关系数

阅读全文