1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. H>
  5. hadoop安装

当前主题:hadoop安装

Apache Flink 进阶(四):Flink on Yarn/K8s 原理剖析及实践

作者:周凯波(宝牛) 整理:毛鹤 本文主要介绍 Flink on Yarn/K8s 的原理及应用实践,文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on

阅读全文

CentOS7中搭建nodejs10(VUE)开发环境踩坑指南

Centos7安装npm|nodejs的步骤 阿里的nodejs网站 https://npm.taobao.org/ 安装一些必要的库 [root@master ~]# yum install gcc gcc-c++ [hadoop@master Downl

阅读全文

云栖深度干货 | 打造“云边一体化”,时序时空数据库TSDB技术原理深度解密

本文选自云栖大会下一代云数据库分析专场讲师**自修**的演讲——《TSDB云边一体化时序时空数据库技术揭秘》 自修 —— 阿里云智能数据库产品事业部高级专家 ![vbox11015_561A6408_102654_small.JPG](https://ucc

阅读全文

hadoop日常运维白皮书

hadoop日常运维与升级总结 ▲进程管理 由于配置文件的更改,需要重启生效, 或者是进程自己因某种致命原因终止, 或者发现进程工作出现异常等情况下,需要进行手动进程的关闭或启动, 或者是增删节点过程中的需要, 进程的关闭与启动,使用 hadoop-daem

阅读全文

那些年,我们见过的 Java 服务端“问题”

导读 明代著名的心学集大成者王阳明先生在《传习录》中有云: 道无精粗,人之所见有精粗。如这一间房,人初进来,只见一个大规模如此。处久,便柱壁之类,一一看得明白。再久,如柱上有些文藻,细细都看出来。然只是一间房。 是的,知识理论哪有什么精粗之分,只是人的认识程

阅读全文

推荐一款数据同步工具:FlinkX

FlinkX 1 什么是FlinkX FlinkX是基于flink的分布式离线数据同步框架,实现了多种异构数据源之间高效的数据迁移。 不同的数据源头被抽象成不同的Reader插件,不同的数据目标被抽象成不同的Writer插件。理论上,FlinkX框架可以支持

阅读全文

阿里云服务器(ECS)集群解决方案

阿里云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,其管理方式比物理服务器更简单高效。助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。 ESC 集群解决方案可以将很多服务器集中起来一起进行同一种服务

阅读全文

MongoDB Spark Connector 实战指南

Why Spark with MongoDB? 高性能,官方号称 100x faster,因为可以全内存运行,性能提升肯定是很明显的 简单易用,支持 Java、Python、Scala、SQL 等多种语言,使得构建分析应用非常简单 统一构建 ,支持多种数据源

阅读全文

hadoop安装相关问答

查看更多 提问题

使用docker exec执行主机上存在的shell脚本时出现问题

我正在尝试在AWS EMR集群的主节点上执行脚本。目的是创建一个新的conda env并将其链接到jupyter。我正在关注AWS的这个文档。问题是,无论脚本的内容是什么,我都会遇到同样的错误:bash: /home/hadoop/scripts/bootst

阅读全文

对spark2.4来说Hadoop的最佳版本

我已经安装了spark2.4,我想知道应该选择哪个最佳版本

阅读全文

在CentOS上远程删除docker镜像的问题

我在5个不同的CentOS节点上使用Rancher安装了一个Kubernetes集群(比如node1,node2,...,node5)。对于我们的CI运行,我们需要在每次运行之前清理过时的docker镜像。我创建了一个在node1上运行的脚本,并且从node1

阅读全文

Jupyter笔记本,pyspark,hadoop-aws问题

我正在尝试一起使用Jupyter,PySpark和S3文件(通过s3a协议)。我需要org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider,因为我们需要使用s3会话令牌。这被添加到hadoop-aws

阅读全文

2018spark技术问答集锦,希望能给喜欢spark的同学一些帮助

小编发现问答专区中有很多人在问关于spark的问题,小编把这些问题汇总一下,希望能给喜欢spark的大家一些启示和帮助 本帖不定期更新,喜欢的可以收藏哦 **如何在Apache Beam中实现类似Spark的zipWithIndex?** htt

阅读全文

安装后无法执行pyspark

我已手动复制spark-2.4.0-bin-hadoop2.7.tgz并提取。然后我进入.bash_profile如下: export SPARK_HOME = / Users / suman / Pyspark / spark-2.4.0-bin-ha

阅读全文

将大量数据从SQL Server传输和转换为Azure SQL Server的最佳方法。Azure数据工厂,HDInsight等

我想将客户现场服务器Client上安装的SQL Server数据库中的20 GB SQL数据传输到我们的Azure SQL Server Source,在具有200 DTU性能的S4上,每月320美元。在进行初始设置时,我们设置了一个Azure数据工厂,它通过

阅读全文

hadoop 启动时候出现权限不够问题

[tech05 @wz conf]$ start-all.sh starting namenode, logging to /opt/software/hadoop/libexec/../logs/hadoop-tech05-namenode-wz.out

阅读全文