1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. Y>
  5. 用hadoop

当前主题:用hadoop

读Hadoop3.2源码,深入了解java调用HDFS的常用操作和HDFS原理

本文将通过一个演示工程来快速上手java调用HDFS的常见操作。接下来以创建文件为例,通过阅读HDFS的源码,一步步展开HDFS相关原理、理论知识的说明。 说明:本文档基于最新版本Hadoop3.2.1 目录 一、java调用HDFS的常见操作1.1、演示环

阅读全文

单机版Hadoop hdfs安装搭建记录

**系统配置** **规格:** 1vCPUs | 2GB | s6.medium.2 **镜像:** Ubuntu 18.04 server 64bit **用户:** 在Ubuntu上创建halo用户 预备软件:① Hadoop安装包(推荐cdh,clo

阅读全文

学不动?Apache Member 教你评估实用技术的思路

作者:章剑锋 ( 简锋 ) 导读:笔者从 2008 年开始工作到现在也有 11 个年头了,一路走来都在和数据打交道,做过很多大数据底层框架内核的开发 ( Hadoop,Pig,Tez,Spark,Livy ),现在是多个 Apache 项目的 PMC。 相信

阅读全文

【云栖号案例 | 能源】东润环能利用MaxCompute资源确保数据在云端也可以万无一失

云栖号案例库:【点击查看更多上云案例】 不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策! 公司简介 我们北京东润环能科技股份有限公司是一家从事新能源电力领域的数据信息服务公司,公司的经营聚焦为:新能源产业大数据应用与投资服

阅读全文

用hadoop相关问答

查看更多 提问题

用Hadoop构建电影推荐系统,如何成功将这些代码成功打包

网址:http://blog.fens.me/hadoop-mapreduce-recommend/。看到这篇文章,很高兴,终于可以hadoop实践了,但是里面的“import org.conan.myhadoop.hdfs.HdfsDAO;”没看懂。想将这些

阅读全文

国内有哪些大数据的公司用的是Hadoop技术?

Hadoop开发技术

阅读全文

flink用IDEA本地运行可以读取HDFS数据,然后把项目打包提交到flink集群,无法读取HDFS数据,出现以下错误,这是为何?

``` The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: Job failed

阅读全文

如果想用CM + CDH在阿里云上搭建一个Hadoop集群,能支持吗?

如果想用CM + CDH在阿里云上搭建一个Hadoop集群,能支持吗?

阅读全文

hadoop在用的时候为什么需要建一个hadoop用户组?

hadoop在用的时候为什么需要建一个hadoop用户组?

阅读全文

Hbase 创建的WALs下log文件所属用户为hadoop而不是hbase

cloudera平台下Hbase集群老报master异常,用 hadoop fs -ls /hbase/WALs 命令查看WALs下文件目录,发现今天创建的log目录以及下面的文件都是hadoop用户的创建的,用户组属用hbase,之前都是log目录用户以及用

阅读全文

Ubuntu装hadoop,用localhost能运行,用ip或主机名不能成功

本人用的是阿里云的服务器,Ubuntu是 16.04.1 (64位),Hadoop版本是1.2.1,JDK是1.8。core-site.xml,mapred-site.xml的配置是localhost时,运行起来没有问题 ![DI3HL5K2_K9_0_2C

阅读全文

商标注册服务