1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. D>
  5. 大数据分布式计算

当前主题:大数据分布式计算

大数据分布式计算相关的问答

Hadoop分布式大数据平台是如何实现数据存储计算的呢?

了解Hadoop大数据

阅读全文

greenplum扩容计算节点时出的一个问题

首先我执行扩容命令gpexpand seg_hosts -D test,然后报出如下错误: ![QQ_20190412141529](https://yqfile.alicdn.com/09b3f95726a34b050c70ce0980e3d2cc4da6

阅读全文

[@小川游鱼][¥20]云计算与分布式微服务系统有什么区别?

所谓的云计算指的是什么,他的应用领域又是什么与分布式微服务有什么区别和联系,大数据又和二者有什么关系,分布式与云计算中会运用到大数据吗

阅读全文

eclipse远程连接hadoop2.7.7无法实现

![H88H1_DZL_I8NUAW_6_F_5](https://yqfile.alicdn.com/127aacefa8cf68f95584a546c054ccc976a898d5.png) 本地wind7的eclipse连接云服上的hadoop2.7.

阅读全文

[@徐雷frank][¥20]如何搭建Hadoop处理环境?

Apache Hadoop 是用于开发在分布式计算环境中执行数据处理应用程序的框架。旨在从单个服务器提供存储和计算资源的方式扩展到数千台机器。Apache Hadoop的核心部分由存储部分(Hadoop分布式文件系统)及其数据处理部分(MapReduce)组成

阅读全文

History Based Optimization(HBO)可以精细到什么粒度?

读到《阿里巴巴大数据实践之路》这本书的HBO相关内容的时候,书中说的都是基于Task级别的优化,这里的Task我理解为是类似于MR作业的一个大的Map task(下面有很多子map task),但是MR任务在执行的时候是以job为粒度执行的,所以我可以理解成H

阅读全文

hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢? 这种情况该如何优化?

大家帮忙看下 hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢了 这种情况该如何优化或解决?我的设置参数如下: hbase.hregion.memstore.flush.size=25

阅读全文

hbase归档冷数据,是否可以三份数据只归档一份?

hbase归档冷数据,是否可以三份数据只归档一份?

阅读全文

如何查询hbase一张表里,昨天一天入库了多少条数据?

如何查询hbase一张表里,昨天一天入库了多少条数据?

阅读全文

hbase在高并发的情况下,如果同时修改一个cell的数据,时间戳版本号都是一样的.数据读取的时候怎么保障数据是正确的

请问,hbase在高并发的情况下,如果同时修改一个cell的数据,时间戳版本号都是一样的.数据读取的时候怎么保障数据是正确的

阅读全文

用MD5作rowkey了,为什么数据还是只会在一个region?

用MD5作rowkey了,为什么数据还是只会在一个region?

阅读全文

spark streaming对接kafka,出现延迟,如何处理?

请问spark streaming对接kafka,出现三个批次的延迟,这个在程序中可以判断吗?应该调用哪个接口

阅读全文

一个cf对应一个store,region分裂后,一行数据如何保证在同一个regionserver里?

一个cf对应一个store,region分裂后,一行数据如何保证在同一个regionserver里?

阅读全文

在文件数量一定的情况下,怎么减少大合并的时间呢?

在文件数量一定的情况下,怎么减少大合并的时间呢?

阅读全文

Hbase 在大规模用户画像标签,标签有近百个左右,适合吗?

Hbase 在大规模用户画像标签,标签有近百个左右,适合吗?

阅读全文

一个56g的regionserver 多少region 比较合适,阿里的每台机器 region 个数有控制原则?

一个56g的regionserver 多少region 比较合适,阿里的每台机器 region 个数有控制原则?

阅读全文

HBase2.X RPC这块原来的BlockingRpcConnection还能用么?

HBase2.X RPC这块原来的BlockingRpcConnection还能用么?

阅读全文

E-MapReduce中遇到ERROR cluster.YarnScheduler: Lost executor Container killed by YARN for exceeding memory limits

作业运行失败。提示错误信息包含 ERROR cluster.YarnScheduler: Lost executor Container killed by YARN for exceeding memory limits

阅读全文

Lily HBase Indexer同步HBase二级索引到Solr丢失数据?

Lily HBase Indexer同步HBase二级索引到Solr丢失数据?

阅读全文

[@徐雷frank][¥20]Mongodb在Spark和大数据领域中的实际应用和整合

你好,徐老师,我说在的公司是游戏公司。现在目前使用的是社区版最新mongodb,我们使用mongodb主要用于游戏玩家行为的一些日志记录,例如玩家的留存率,登陆信息,还有一些关卡的相关埋点统计数据等都会插入到mongodb中,然后我们现在是通过mongo语句进

阅读全文

4