1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. H>
  5. hadoop 存储

当前主题:hadoop 存储

hadoop 存储相关的博客

数据中台的存储系统和计算平台枚举

作者:向师富 转自:阿里巴巴数据中台官网 https://dp.alibaba.com采集&传输层 Sqoop Hadoop、关系型数据库之间传输数据的工具。传输时,会启动多个MR作业并发的传输数据 DataX 阿里巴巴开源的数据同步工具,用来在各种异构数据

阅读全文

云原生存储的思考 (一)什么是云原生存储

云原生存储的思考 (一)什么是云原生存储 Abstract 最近有幸参加了有PingCap和CNCF组织的面向云原生面相持久化应用的Meetup,结合最近对云存储,开源存储,云原生存储的思考,对云原生存储到底是什么,需要做些什么,云原生存储未来挑战是什么,做

阅读全文

E-MapReduce 4.0产品新特性

演讲嘉宾:王晓平,花名子关,高级产品经理 视频回放地址:https://developer.aliyun.com/live/1402?spm=a2c6h.12873587.0.0.560314b8CiquAr 以下内容根据演讲视频以及PPT整理而成。 本次的

阅读全文

NoSql数据库

随着互联网web2.0网站的兴起,非关系型的数据库现在成了一个极其热门的新领域,非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,如

阅读全文

带你读《企业数据湖》之二:数据湖概念概览

第2章数据湖概念概览 数据湖概念的诞生,源自企业面临的一些挑战,如数据应该以何种方式处理和存储。最开始,企业对种类庞杂的应用程序的管理都经历了一个比较自然的演化周期。最开始的时候,每个应用程序会产生、存储大量数据,而这些数据并不能被其他应用程序使用,这种状况

阅读全文

来自俄罗斯的ClickHouse列式数据在CentOS7配置和基础性能测试

来自俄罗斯的ClickHouse列式数据在CentOS7配置和基础性能测试 确认当前CPU是否支持安装 [root@master ~]# grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" ||

阅读全文

30分钟全方位了解阿里云Elasticsearch(附公开课完整视频)

摘要: 阿里云Elasticsearch提供100%兼容开源Elasticsearch的功能,以及Security、Machine Learning、Graph、APM等商业功能,致力于数据分析、数据搜索等场景服务。与开源社区背后商业公司Elastic战略合

阅读全文

大数据的主要作用是什么?

大数据这个词相信大家已经很熟悉了,每天接触手机都会接触到,但是我们感觉不到,可是大数据究竟是什么东西呢?是用来做什么的?目前有哪些应用呢? 大数据的概念? 渗透在每一个行业和业务领域的数据。通过人们对这些海量数据的挖掘和运用,产生出一波新的生产率增长和消费者

阅读全文

云数据仓库MaxCompute最佳实践之数据上云 | 2019飞天大数据平台技术公开课第五季

2019年9月17日,TPC官宣Alibaba Cloud MaxCompute 认证结果。同月26日,杭州云栖大会阿里巴巴宣布了这一成绩,飞天大数据平台计算引擎MaxCompute成全球首个TPCx-BB认证的公共云产品,是除Hive、Spark,TPCx

阅读全文

JindoFS解析 - 云上大数据高性能数据湖存储方案

作者:殳鑫鑫,花名辰石,阿里巴巴计算平台事业部EMR团队技术专家,目前从事大数据存储以及Spark相关方面的工作。 2019 年云栖大会上,EMR Jindo 的技术存储分离方案得到很大的关注,视频直达链接【云上大数据的一种高性能数据湖存储方案】【EMR打造

阅读全文

阿里云MaxCompute 2019-9月刊

您好,MaxCompute 2019.9月刊为您带来9月产品、技术最新动态,欢迎阅读。订阅 MaxCompute 月刊 导读 【重要发布】9月产品重要发布 【文档更新】9月重要文档更新推荐 【干货精选】9月精选技术文章推荐 【重点活动预告】10月重点活动预告

阅读全文

JindoFS概述:云原生的大数据计算存储分离方案

作者:诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作。 JindoFS概述:云原生的大数据计算存储分离方案 JindoFS 之前 在

阅读全文

深入浅出:Hadoop的start-balancer.sh与hdfs balancer分布式数据均衡

Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。当HDFS出现**不平衡**状况的时候,将引发很多问题,比如: 1、MR程序无法很好地利用本地计算的优势 2、机器之间无法达到更好的网络带宽使用率,机器磁

阅读全文

云栖深度干货 | 打造“云边一体化”,时序时空数据库TSDB技术原理深度解密

本文选自云栖大会下一代云数据库分析专场讲师**自修**的演讲——《TSDB云边一体化时序时空数据库技术揭秘》 自修 —— 阿里云智能数据库产品事业部高级专家 ![vbox11015_561A6408_102654_small.JPG](https://ucc

阅读全文

Apache Spark中国技术交流社区历次直播回顾(持续更新)

9月26日【New Developments in the Open Source Ecosystem: Apache Spark 3.0 and Koalas】 主讲人:李潇 Databricks Spark 研发总监,管理一跨国团队,专注于 Apache

阅读全文

阿里云服务器(ECS)集群解决方案及优势

阿里云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,其管理方式比物理服务器更简单高效。助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。 ESC 集群解决方案可以将很多服务器集中起来一起进行同一种服务

阅读全文

hadoop日常运维白皮书

hadoop日常运维与升级总结 ▲进程管理 由于配置文件的更改,需要重启生效, 或者是进程自己因某种致命原因终止, 或者发现进程工作出现异常等情况下,需要进行手动进程的关闭或启动, 或者是增删节点过程中的需要, 进程的关闭与启动,使用 hadoop-daem

阅读全文

阿里云服务器(ECS)集群解决方案

阿里云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,其管理方式比物理服务器更简单高效。助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。 ESC 集群解决方案可以将很多服务器集中起来一起进行同一种服务

阅读全文

说好不哭,但HBase2.0真的好用到哭

升级背景 个推作为专业的数据智能服务商,在业务开展过程中存在海量的数据存储与查询的需求,为此个推选用了高可靠、高性能、面向列、可伸缩的分布式数据存储系统——HBase。 然而,运行HBase老集群(使用HBase1.0版本)多年后,遇到了两大问题:各节点基础

阅读全文

【译】Hadoop发生了什么?我们该如何做?

原文:https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/ Apache Hadoop出现在IT领域是在2006年,它可以支持使用

阅读全文

303