1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. D>
  5. 大数据分布式计算

当前主题:大数据分布式计算

大数据分布式计算相关的博客

查看更多 写博客

每年 150 亿美元花哪了?Netflix 的大规模 Kafka 实践

编译:王强 本文转载自公众号: InfoQ Netflix 在 2019 年花费了大约 150 亿美元来制作世界一流的原创内容。在如此高的投入之下,我们必须获得许多关键的业务见解,从而为所有 Netflix 内容的策划、预算和效益分析工作提供帮助。这些见解可

阅读全文

阿里云服务器如何选择?ECS服务器配置规格及使用体验

阿里云ECS云服务器如何选择?其中云服务器配置CPU、内存及宽带的选择,另外包括ECS云服务器规格的选择,新手站长网来说说阿里云ECS云服务器配置选择、规格说明及使用体验。 云服务器配置如何选择? 阿里云ECS云服务器的配置包括CPU、内存、公网宽带及云盘,

阅读全文

中国信通院公布第九批大数据产品能力评测结果,65款产品通过

2019年11月22日星期五,中国信通院第九批大数据产品评测结果评审会圆满结束。评审委员会由中国信息通信研究院、清华大学、人民大学、北京邮电大学、公安部第一研究所、北京银行、联通网研院、北银金科、电信北研院,以及所有参与评测产品企业专家组成。评审环节包括产品

阅读全文

DataWorksV3.0全新发布,新特性快速一览

DataWorks V3.0发布 • 发布版本:DataWorks V3.0 • 发布时间:2019年12月18日 • 发布范围:全球所有已开通DataWorks的地域 • 发布内容:DataWorks V2.0仅支持MaxCompute计算引擎,DataW

阅读全文

SQL 查询的分布式执行与调度

作者:张茄子算法、 分布式技术和函数式编程爱好者 OLAP 是大数据分析应用非常重要的组成部分。这篇文章是介绍 OLAP 任务在并发/分布式环境下执行和调度的算法和模型的。我们将从最简单的 Volcano 模型开始讲起,逐步引出分布式环境下执行 OLAP 查

阅读全文

Spark源码阅读的正确打开方式

Spark发展至今,应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成熟度方面,吊打其他的大数据处理框架。 Spark至今只经历过1.x、2.x和3.x三个大版本的变化,在核心实现上,我们在Github能看到的最早

阅读全文

10年后,阿里给千万开源人写了一封信

阿里妹导读:年末将至,阿里巴巴开源技术委员会负责人贾扬清写了一封信,想要和热爱开源的你说一声:谢谢。未来,我们希望与更多开源人一起,用技术普惠世界。 阿里巴巴开源技术委员会负责人贾扬清当我们回想起为什么做开源的时候,也许理由都没有那么的高大上:也许就是单纯想

阅读全文

新冠病毒破解有了巨大突破,达摩院做了什么?

​阿里巴巴达摩院正在用AI算法抗击新型冠状病毒肺炎疫情。2月1日,浙江省疾控中心上线自动化的全基因组检测分析平台。利用阿里达摩院研发的AI算法,可将原来数小时的疑似病例基因分析缩短至半小时,大幅缩短确诊时间,并能精准检测出病毒的变异情况。 达摩院算法专家顾斐

阅读全文

大数据分布式计算相关问答

查看更多 提问题

Hadoop分布式大数据平台是如何实现数据存储计算的呢?

了解Hadoop大数据

阅读全文

[@小川游鱼][¥20]云计算与分布式微服务系统有什么区别?

所谓的云计算指的是什么,他的应用领域又是什么与分布式微服务有什么区别和联系,大数据又和二者有什么关系,分布式与云计算中会运用到大数据吗

阅读全文

greenplum扩容计算节点时出的一个问题

首先我执行扩容命令gpexpand seg_hosts -D test,然后报出如下错误: ![QQ_20190412141529](https://yqfile.alicdn.com/09b3f95726a34b050c70ce0980e3d2cc4da6

阅读全文

E-MapReduce中遇到ERROR cluster.YarnScheduler: Lost executor Container killed by YARN for exceeding memory limits

作业运行失败。提示错误信息包含 ERROR cluster.YarnScheduler: Lost executor Container killed by YARN for exceeding memory limits

阅读全文

[@徐雷frank][¥20]如何搭建Hadoop处理环境?

Apache Hadoop 是用于开发在分布式计算环境中执行数据处理应用程序的框架。旨在从单个服务器提供存储和计算资源的方式扩展到数千台机器。Apache Hadoop的核心部分由存储部分(Hadoop分布式文件系统)及其数据处理部分(MapReduce)组成

阅读全文

应用程序在多台机器上部署,且数据源只有一个,在高并发的情况下,如何保证数据的准确性?

程序伪代码: // 读取账户信息,并且余额加100 Account account = findAccount(); account.setBalance(account.getBalance() + 100); u

阅读全文

mesos 管理 Docker

mesos管理docker ,docker中采用什么方式让容器互联 ,求具体推荐!

阅读全文

用什么服务训练神经网络?

想要达成的目的:从开源网站上下载3T左右的核磁共振数据(extension: nii or hdf5),用C++工具包训练神经网络。 问题:ODPS是否支持网络通道的下载?我不想先从网上下到硬盘再从硬盘上传诶。。。 ODPS上的大数据计算支持C++语言

阅读全文