1. 云栖社区>
  2. 全部标签>
  3. #集群#
集群

#集群#

已有11人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

大型分布式系统架构

本文主要是从软件的质量属性的角度,来分析大型分布式系统通常采用的架构方法。 1. 性能 (Performance) 性能是指系统的响应能力,性能测试经常要使用基准测试(Benchmark Test). 提高性能的办法: 异步化 - 使用消息系统 和 batch处理 缓存 - 有多重缓存策略,本地缓存,分布式缓存同步,缓存服务器。 系统分割(水平和垂直分割)-  数据库读写

分布式 消息系统 架构 算法 监控 性能 数据库 集群 性能测试 分布式系统 mean 应用服务器

转帖-hadoop的JobId TaskId生成规则

    在hadoop的任务job中,jobid是标志一个任务的唯一标志,可以用于定位到该job,查询该job相关信息,kill掉该job 。     jobId是如何生成的呢  ?     在一般的服务集群上我们通过JobTracker来管理job,该id既是通过JobTracke的getNewJobId()方法得到,具体代码如下:   public synchronized J

hadoop 集群 new

利用阿里云容器轻松实现Serverless服务

本文PPT来自陈萌辉于10月16日在2016年杭州云栖大会上发表的《基于阿里云容器服务实现Serverless服务架》。

架构 监控 docker 阿里云 日志 云栖大会 镜像 集群 持续集成 容器 弹性伸缩 解决方案 沙箱

JStorm,让大规模流处理成为可能

本文PPT来自资深专家封仲淹于10月16日在2016年杭州云栖大会上发表的《Large-Scale Stream Processing inside Alibaba》。

分布式 java storm 云栖大会 系统监控 阿里巴巴 集群 Jstorm Processing 高性能 数据统计

Hadoop存储与计算分离实践

本文PPT来自阿里云E-MapReduce团队的余根茂于10月16日在2016年杭州云栖大会上发表的《Hadoop存储于计算分离实践》。

阿里云 OSS hadoop 云栖大会 基础设施 集群 数据迁移 e-mapreduce 带宽 磁盘 存储

海量数据分布式存储--Apache HDFS之最新进展

本文PPT来自Intel研发经理、Hadoop committee成员郑锴于10月16日在2016年杭州云栖大会上发表的《海量数据分布式存储--Apache HDFS》。

大数据 hdfs hadoop 云栖大会 Apache 数据处理 集群 对象存储 分布式存储 带宽 存储

让数据从PostgreSQL流动到Greenplum

在2016云栖大会杭州峰会开源数据库之 Greenplum专场上,阿里云数据库专家曾文旌(义从)做了题为《PostgreSQL Greenplum 数据上云》的演讲。分享了数据上云可能会面对的问题,并且为大家分享了阿里云所提供的解决方案以及使用OSS插件支持Greenplum方案的优势。

PostgreSQL 阿里云 OSS 性能 集群 数据迁移 解决方案 插件 存储

阿里云容器服务TCP的负载均衡配置

阿里云容器服务在使用的过程中,针对TCP负载均衡的场景,会遇到这样的问题:如果一个应用的客户端镜像和服务端镜像均部署在同一个节点(ECS)上面,由于受SLB的限制,该应用的客户端不能通过SLB访问本机的服务端。本文试图从逐步深入的方式来解决这个问题,同时带大家了解一下容器服务的概念。

redis docker 阿里云 HTTPS 配置 镜像 集群 容器 Image 负载均衡 rsyslog aliyun slb

MaxCompute分布式计算如何提升基因大数据处理速率?

在2016杭州云栖大会首日,来自华大基因的基因组学数据专家黄树嘉在大数据专场分享了《基于数加MaxCompute的极速全基因组数据分析》,他主要从全基因组测序的背景与原理、传统单机分析流程的挑战、基于MaxCompute的方案三个方面进行了分享,详细介绍了华大基因运用阿里云处理海量的实践。

大数据 云栖大会 集群 测试 分布式计算 医疗 华大基因 MaxCompute 基因大数据

在阿里云容器服务中使用定时任务

阿里云容器服务提供高可用、分布式的定时任务服务

分布式 docker 阿里云 HTTPS 高可用 集群 容器 aliyun 定时任务 crontab

记录ALiYun EMR常用服务的手动启动和停止命令(hdfs/yarn/mr-jobhistory/zk/spark-history)

记录ALiYun EMR常用服务的手动启动和停止命令(hdfs/yarn/mr-jobhistory/zk/spark-history)

云栖社区 大数据 hdfs hadoop 配置 集群 SSH spark aliyun EMR Mapreduce

使用Redis搭建持久化K-V存储

最近在项目中需要在多机之间共享一些集合,Hash等有类型的数据结构,如果基于Mysql来存储的话需要预先定义一系列表结构并维护表结构和数据结构的一致性,后续还需要根据时间对数据库做旧数据清理工作,所以开始调研一些能满足下列需求的存储引擎。 具有高可用,持久化的特性。 数据可以设置失效时间,方便自动数据清理。 支持常用数据结构,如集合,有序集合,Hash map,列表等。 支持事务操作,

redis 架构 阿里技术协会 高可用 配置 cluster 集群 数据迁移 HASH Transaction 数据同步 replication 数据结构 存储

数据规模恼同程,混合云飘来除杂症

10月13日2016杭州云栖大会拉开帷幕,电商专场的同程旅游首席架构师王晓波带来了“同程带您云端翱翔”的重要演讲。本次分享对同程旅游进行了简要介绍,接着分享了同程旅游的数据驱动历程,最后着重讲述了在云端时代的同程旅游,包括公有云和私有云的混合打通等。精彩不容错过——

大数据 架构 阿里云 服务器 混合云 公共云 数据库 基础设施 集群 电商 云服务 专有云 同程旅游 数据驱动

阿里云高可用-容灾解决方案

即便阿里云产品本身就有容灾、高可用的特征,但是因为一些用户对阿里云产品的不了解和自身应用架构不够合理,也根本无法使其发挥该优势。

安全与风控 数据存储与数据库 故障方案 架构 性能优化 阿里云 服务器 RDS ECS 云服务器 高可用 数据库 集群 解决方案 容灾

【NeuVector】通过云市场部署容器安全解决方案

NeuVector公司介绍了如何通过云市场购买容器安全解决方案,并提供了一个客户案例。

安全 阿里云 集群 容器 解决方案 云市场 网络攻击

hadoop笔记一

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。 是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员 Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System[3](HDFS),它存储 Ha

服务器 hdfs hadoop 函数 Apache reduce 集群 分布式计算 分布式文件系统 Mapreduce 存储

《阿里云周刊》第5期 MaxCompute 2.0重磅发布!

阿里云周刊 Alibaba Cloud Weekly News 第4期 汇聚阿里云一周最新动态,为您了解阿里云相关产品、发展并参与相关活动提供参考。

大数据 架构 docker 阿里云 hadoop 云栖大会 集群 云周刊 容器 弹性伸缩 数加 弹性计算 解决方案

763
GO