1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. #>
  5. hadoop

当前主题: hadoop

大神如何一招完美解决Hadoop集群无法正常关闭的问题!

云栖号:https://yqh.aliyun.com 第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策! ![image](https://yqfile.alicdn.com/b532615229dfc878

阅读全文

自建 Hadoop 数据迁移到阿里云EMR集群

场景描述 客户在 IDC 或者公有云环境自建 Hadoop 集群,数据集中保存在 HDFS文件系统用于数据分析任务。客户在决定上云之后,会将自建 Hadoop 集群的数据迁移到阿里云自建 Hadoop 集群或者 EMR 集群。本实践方案提供安全和低成本的 H

阅读全文

自建Hadoop数据迁移到阿里云EMR

作者:云魁、连辙 最佳实践概述 应用场景 客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统用于数据分析任务。但是由于自建HDFS空间限制无法保存长期数据,或者客户有Hadoop集群迁移上云的需求。本实践方案提供如下场景的最佳实践

阅读全文

实践Hadoop MapReduce 任务的性能翻倍之路

作者:李万雪, eBay软件开发工程师,2017年毕业于上海交通大学。目前负责日志在大数据平台上的分析和opentracing在ebay日志平台的实现。 摘要 eBay的CAL(Central Application Logging)系统负责收集eBay各种

阅读全文

hadoop日常运维白皮书

hadoop日常运维与升级总结 ▲进程管理 由于配置文件的更改,需要重启生效, 或者是进程自己因某种致命原因终止, 或者发现进程工作出现异常等情况下,需要进行手动进程的关闭或启动, 或者是增删节点过程中的需要, 进程的关闭与启动,使用 hadoop-daem

阅读全文

深入浅出:Hadoop的start-balancer.sh与hdfs balancer分布式数据均衡

Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。当HDFS出现**不平衡**状况的时候,将引发很多问题,比如: 1、MR程序无法很好地利用本地计算的优势 2、机器之间无法达到更好的网络带宽使用率,机器磁

阅读全文

通过Datax将CSV文件导入Hbase,导入之前的CSV文件大小和导入之后的Hadoop分布式文件大小对比引入的思考

由于项目需要做系统之间的离线数据同步,因为实时性要求不高,因此考虑采用了阿里的datax来进行同步。在同步之前,将数据导出未csv文件,因为需要估算将来的hbase运行的hadoop的分布式文件系统需要占用多少磁盘空间,因此想到了需要做几组测试。几个目的:

阅读全文

Hadoop机架感知(rack-aware)配置指南

Hadoop机架感知(rack-aware)配置 副本的存放策略又是HDFS实现高可靠性和搞性能的关键,优化的副本存放策略也正是HDFS区分于其他大部分分布式文件系统的重要特性。HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可

阅读全文

hadoop相关问答

查看更多 提问题

武汉做Hadoop大数据平台的企业有哪些?

Hadoop大数据平台

阅读全文

国内做Hadoop大数据开发的企业,数道云大数据怎么样?

Hadoop大数据

阅读全文

湖北Hadoop大数据计算平台那个好,有没有原厂商?

Hadoop大数据平台

阅读全文

如何搭建Hadoop数据挖掘平台?有何技术要求?

Hadoop数据挖掘

阅读全文

Hadoop大数据平台有何作用?如何对Hadoop进行配置?

Hadoop配置大数据平台

阅读全文

如何搭建Hadoop集群环境?政企Hadoop大数据平台怎么选择?

搭建Hadoop集群环境

阅读全文

Hadoop大数据技术在教育行业有什么具体应用呢?

Hadoop教育大数据

阅读全文

请教一下,Caused by: org.apache.hadoop.hbase.CallQueueTooBigException: Call queue is full on /0.0.0.0:60020, too many items queued ? 有什么优化措施吗

请教一下,Caused by: org.apache.hadoop.hbase.CallQueueTooBigException: Call queue is full on /0.0.0.0:60020, too many items queued ? 有

阅读全文