1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. D>
  5. 大数据分布式计算

当前主题:大数据分布式计算

大数据分布式计算相关的博客

查看更多 写博客

2019云栖大会 | 超干货!这一场,一起玩转分布式数据库云上最佳实践

​一年一度的科技盛会杭州云栖大会Apsara Conference就要来了 9月25-27日 数万名开发者将齐聚杭州云栖小镇 共同探索科技演进的脉搏 聚焦面向未来的创新、热点技术话题 9月27日分布式数据库专场 分布式数据库的年度盛会即将来袭! 囊括最干货的

阅读全文

探寻流式计算

一、静态数据和流数据 静态数据:为了支持决策分析而构建的数据仓库系统,其中存放的大量历史数据就是静态数据。 流数据:以大量、快速、时变的流形式持续到达的数据。(例如:实时产生的日志、用户实时交易信息) 流数据具有以下特点: (1)、数据快速持续到达,潜在大小

阅读全文

为什么Flink会成为下一代大数据处理框架的标准?

导读:本文将告诉你Flink是什么,以及为什么Flink会成为下一代大数据处理框架的标准。 01 什么是Flink? 在当前数据量激增传统的时代,不同的业务场景都有大量的业务数据产生,对于这些不断产生的数据应该如何进行有效地处理,成为当下大多数公司所面临的问

阅读全文

大型网站技术架构演进路程

一、初始阶段 初始阶段访问量小,一台服务器就可以满足。 应用程序、数据库、文件等 所有的资源都在一台服务器上。通常服务器操作系统使用 Linux,应用程序使用PHP开发,然后部署在Apache上,数据库使用MySQL。 二、应用服务与数据服务分 Q:越来越多

阅读全文

浅谈分布式计算的开发与实现(二)

实时计算 接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算,然后实时展示结果,一般是秒级。 举个例子来说,如果有个大型网站,要实时统计用户的搜索内容,这样就能计算出热点新闻及突发事

阅读全文

浅谈分布式计算的开发与实现(一)

介绍 分布式计算简单来说,是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算,然后再进行结果汇总。 目的在于分析计算海量的数据,从雷达监测的海量历史信号中分析异常信号(外星文明),淘宝双十一实时计算各地区的消费习惯等。 海量计算最开始的方案是提高

阅读全文

Apache Spark中国技术交流社区历次直播回顾(持续更新)

8月28日【Spark Streaming SQL流式处理简介】 主讲人:云魄,阿里云E-MapReduce 高级开发工程师,专注于流式计算,Spark Contributor,开源爱好者 简介:本次直播将简要介绍EMR Spark Streaming SQ

阅读全文

Apache Spark中国技术交流社区历次直播回顾(持续更新)

8月28日【Spark Streaming SQL流式处理简介】 主讲人:云魄,阿里云E-MapReduce 高级开发工程师,专注于流式计算,Spark Contributor,开源爱好者 简介:本次直播将简要介绍EMR Spark Streaming SQ

阅读全文

大数据分布式计算相关问答

查看更多 提问题

Hadoop分布式大数据平台是如何实现数据存储计算的呢?

了解Hadoop大数据

阅读全文

greenplum扩容计算节点时出的一个问题

首先我执行扩容命令gpexpand seg_hosts -D test,然后报出如下错误: ![QQ_20190412141529](https://yqfile.alicdn.com/09b3f95726a34b050c70ce0980e3d2cc4da6

阅读全文

[@小川游鱼][¥20]云计算与分布式微服务系统有什么区别?

所谓的云计算指的是什么,他的应用领域又是什么与分布式微服务有什么区别和联系,大数据又和二者有什么关系,分布式与云计算中会运用到大数据吗

阅读全文

eclipse远程连接hadoop2.7.7无法实现

![H88H1_DZL_I8NUAW_6_F_5](https://yqfile.alicdn.com/127aacefa8cf68f95584a546c054ccc976a898d5.png) 本地wind7的eclipse连接云服上的hadoop2.7.

阅读全文

[@徐雷frank][¥20]如何搭建Hadoop处理环境?

Apache Hadoop 是用于开发在分布式计算环境中执行数据处理应用程序的框架。旨在从单个服务器提供存储和计算资源的方式扩展到数千台机器。Apache Hadoop的核心部分由存储部分(Hadoop分布式文件系统)及其数据处理部分(MapReduce)组成

阅读全文

History Based Optimization(HBO)可以精细到什么粒度?

读到《阿里巴巴大数据实践之路》这本书的HBO相关内容的时候,书中说的都是基于Task级别的优化,这里的Task我理解为是类似于MR作业的一个大的Map task(下面有很多子map task),但是MR任务在执行的时候是以job为粒度执行的,所以我可以理解成H

阅读全文

hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢? 这种情况该如何优化?

大家帮忙看下 hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢了 这种情况该如何优化或解决?我的设置参数如下: hbase.hregion.memstore.flush.size=25

阅读全文

hbase归档冷数据,是否可以三份数据只归档一份?

hbase归档冷数据,是否可以三份数据只归档一份?

阅读全文