1. 云栖社区>
  2. 全部标签>
  3. #分布式计算#
分布式计算

#分布式计算#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Ambari和ClouderaManager对比

  好程序员大数据培训分享之Ambari和ClouderaManager对比,1 、什么是CDH,Ambari?   Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。

大数据 hbase hdfs hadoop 程序员 Apache 集群 分布式计算 Ambari Hive 兼容性 培训 Mapreduce 大数据分析

【科学脱口秀】EB级计算平台调度系统 “愚公” : 实现跨地域的数据和计算调度

大数据平台的数据与计算分布在多个数据中心的不同集群,每个集群的存储和计算能力有限,受地域影响,集群间的网络带宽和延迟也各有差异。如何平衡各集群的存储和计算利用率,降低带宽成本,是亟待解决的一大难题。

大数据 集群 Image 钉钉 分布式计算 分布式存储 数据中心 带宽 MaxCompute 分布式调度

招聘!招聘!招聘!计算平台解决方案架构师专场

为了帮助客户更加高效地使用大数据产品,发挥数据价值,现计算平台招募大数据及AI产品解决方案架构师,欢迎在北京、杭州的同学加入我们!

深度学习 大数据 架构 数据仓库 Image 数据分析 钉钉 spark 解决方案 开源大数据 分布式计算 流计算 多维分析

EB级计算平台调度系统伏羲 DAG 2.0: 构建更动态更灵活的分布式计算生态

伏羲(Fuxi)是十年前创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute(内部代号ODPS),分布式调度 Fuxi),过去十年来,伏羲在技术能力上每年都有新的进展和突破,2013年5K,2015年Sortbenchmark世界冠军,2017年超大规模离在/在离线混部能力,2019年的 Yugong 发布并且论文被VLDB2019接受等。

分布式 大数据 架构 性能 Image 分布式计算 分布式系统 MaxCompute

课程发布 | 从入门到实践,彻底搞懂 Serverless!

众所周知,我们在开发应用程序并将其部署在服务器上的过程细节上往往要花费很多精力,有没有一种简单的架构模型能够帮助我们解决这个问题呢?答案就是今天软件架构世界中新鲜但是很热门的一个话题——Serverless(无服务器)架构。

架构 服务器 软件架构 微服务 容器 分布式计算 分布式系统 html 数据存储

课程发布 | 从入门到实践,彻底搞懂 Serverless!

本课程沉淀了阿里云众多技术专家的 Servrless 实践成果,从 Serverless 概念、架构演进以及价值入手,详细讲解 Serverless 运行原理,深度解析 Serverless 落地实践,设置丰富的体验场景,让你快速实现 Serverless 技术活从入门到实践的跨越。

架构 服务器 软件架构 微服务 容器 分布式计算 分布式系统 数据存储

MaxCompute 入门必知

什么是MaxCompute?MaxCompute的主要应用场景有哪些?产品有什么特点?系统架构和作业流程是怎样的?

分布式 大数据 数据处理 高并发 数据仓库 数据分析 数据挖掘 解决方案 沙箱 分布式计算 分布式架构 离线计算 权限管理 存储 MaxCompute

好程序员大数据培训分享怎样进行大数据入门学习

  好程序员大数据培训分享怎样进行大数据入门学习,对于大数据的入门学习,基础不一样,起点就会不一样。  今天先来说说,对于零基础的同学想要学习大数据的方式方法吧!很多人可能感到不可思议,零基础怎么可能学习大数据,没有编程基础怎么能入门呢?  其实这个观点是很正确的,对于大数据的开发而言,是需要一定的编程基础的,所以我们的大数据入门级课程就落在了编程语言的学习。

编程语言 大数据 java javascript html5 程序员 模块 数据库 数据仓库 脚本 分布式计算 编程 分布式存储 zookeeper 培训

数据源管理 | 关系型分库分表,列式库分布式计算

一、数据拆分概念 1、场景描述 随着业务发展,数据量的越来越大,业务系统越来越复杂,拆分的概念逻辑就应运而生。数据层面的拆分,主要解决部分表数据过大,导致处理时间过长,长期占用链接,甚至出现大量磁盘IO问题,严重影响性能;业务层面拆分,主要解决复杂的业务逻辑,业务间耦合度过高,容易引起雪崩效应,业务库拆分,微服务化分布式,也是当前架构的主流方向。

数据存储与数据库 算法 线程 配置 string exception 多线程 分布式计算 class

Spark在云原生时代的发展

在ABC (AI, BigData, Cloud)时代,传统的大数据解决方案和厂商 (Cloudera, Hortonworks) 略显颓势,而云厂商 (AWS, Azure, GCP) 和云原生解决方案 (Databricks Cloud, Snowflake, ElasticSearch等) 则愈加迸发出活力。

大数据 架构 性能 Apache 集群 容器 云盘 spark 对象存储 分布式计算 带宽 存储

数据统计分析

quickBI做数据分析非常容易上手。

大数据 飞天 物流行业 互联网 电商 分布式计算 余额宝 云服务 公共云

机器学习PAI 2020-3 月刊

PAI 2020-3月 产品月刊为您带来3月机器学习PAI产品:数据集管理及标注工具发布、自动特征探索算法发布、EAS资源组临时扩容功能上线及印度region支持DSW、PAI-TF组件等最新资讯。

深度学习 算法 公共云 aliyun 分布式计算 html

关于云原生分布式计算和存储引擎JindoFS,看这一篇就够了

本文集合了JindoFS相关的文章介绍和视频链接。

大数据 架构 性能 云栖大会 集群 数据分析 spark aliyun e-mapreduce 分布式计算 EMR 存储

云计算 vs 边缘计算

边缘计算是一种云计算,但是与传统的云计算设计不同,边缘计算将寄存器推向边缘设备进行处理。

服务器 数据处理 分布式计算 物联网 数据中心

Schedulerx2.0支持应用级别资源管理和任务优先级

1. 前言 Schedulerx2.0是一套分布式的任务调度+计算框架。作为一套分布式计算引擎,用户经常需要资源管理的需求,当前schedulerx仅仅支持单个任务实例的管控(比如单机子任务并发数、拉模型全局子任务并发数等),这一点是远远不够的。

大数据 开发框架与中间件 分布式系统与计算 配置 Image 分布式计算 报表 分布式调度 SchedulerX 任务调度 scheduler

E-MapReduce弹性低成本离线大数据分析

基于阿里云的E-MapReduce(EMR) 、对象存储OSS、日志服务SLS、抢占式ECS实例构建弹性、低成本的计算与存储分离架构的海量离线大数据分析日志分析系统。

大数据 hadoop 数据仓库 系统环境 电商 Image 数据分析 钉钉 spark 开源大数据 e-mapreduce 分布式计算 离线计算 日志分析 大数据分析

58
GO