1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. Y>
  5. 云计算搭建hadoop集群

当前主题:云计算搭建hadoop集群

云计算搭建hadoop集群相关的博客

查看更多 写博客

大数据搬站step by step

IDC / ECS自建和云数据库之间的数据搬站 1 IDC -> MaxCompute / EMR 【方案】:使用“独享数据集成资源组”,绑定可以连通用户IDC的用户VPC,然后提工单,由阿里云数据集成开发人员在独享数据集成资源组上配置路由,使独享数据集成资

阅读全文

在家运维不用慌 | 盘点那些远程运维中的云上利器

远程办公期间,降低非必要的协作成本和本地操作,来提升开发和运维效率,显得尤为重要。此外,大量的在线教育、在线医疗等行业的客户在疫情期,遇到了流量激增的情况,那么是否有在不影响现有架构的情况下,通过一些工具型产品,就能提升业务的可用性呢? 本文将介绍几款阿里云

阅读全文

秒级启动万个容器,探秘阿里云容器镜像加速黑科技| 1月9号云栖号夜读

点击订阅云栖夜读日刊,专业的技术干货,不容错过! 阿里专家原创好文 1.秒级启动万个容器,探秘阿里云容器镜像加速黑科技 阿里云容器与存储团队展开合作,利用DADI加速器支持镜像按需读取和P2P分发,实现3.01秒启动10000个容器,完美杜绝容器冷启动的数分

阅读全文

自建Hive数据仓库跨版本迁移到阿里云E-MapReduce

最佳实践概述 应用场景 客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统,同时借助Hive进行常见的ETL任务。客户在决策上云之后,会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。 技术架构 本实践方案基于

阅读全文

对话阿里巴巴贾扬清:如何成为一个优秀的AI架构师?

云栖号:https://yqh.aliyun.com 第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策! 大家好,我叫贾扬清,现在担任阿里巴巴技术副总裁,负责人工智能平台跟大数据平台的建设,之前在 Faceb

阅读全文

2019年Apache Spark技术交流社区原创文章回顾

整理了这一年分享过的来自诸多专家的实践经验,希望2020年我们仍然能够互相支持,壮大Spark社区。 福利:转发本文到朋友圈,集赞30个截图发送至小编(小编微信见文末),送Spark社区定制毛线帽一顶,限量10顶先到先得。 感谢持续分享输出优质内容的阿里云E

阅读全文

开源AIOps数据中台搭建

引言 本文介绍我在PyCon2019上海站的议题内容,结尾有PPT下载链接。 根据Gartner的报告,AIOps将在未来5-10年落地开花,并集中统一各种Ops平台(Dev、IT、Net、Sec),本议题介绍AIOps的核心作用、相关工程难点(数据采集、数

阅读全文

初探大数据处理 on Kubernetes

背景 自2003年Google的三大核心技术GFS(03)、MapReduce(04)、和BigTable(06)的论文陆续发表至今,以Hadoop为代表的大数据处理框架,开始登上历史的舞台,迎来了一个黄金时代。Apache Hadoop是其中最为成功的开源

阅读全文

云计算搭建hadoop集群相关问答

提问题

我们的DB数据是在阿里云上,请问我应该如何选择hadoop弹性计算框架

我们的数据DB是在阿里云上,请问我应该如何选择弹性计算框架? 我们的日均数据大概在千万到 亿的级别,需要利用到spark 的内存计算。 是直接用ODPS 比较好,还是 在ECS上搭建HADOOP 集群比较好? 或者是否可以 从阿里云DB上下载数据到我们自

阅读全文

MongoDB

简介编辑 MongoDB[1] 是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 mongoDB mongoDB MongoDB[2] 是一个介于关系数据库和非关系数据库之间的产品,是非关系数

阅读全文