1. 云栖社区>
  2. 全部标签>
  3. #分布式系统#
分布式系统

#分布式系统#

已有5人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

变而不变:我看分布式系统发展和阿里实践

本文PPT来自阿里云大数据计算平台资深架构师林伟10月15日在2016年杭州云栖大会上发表的《我看分布式系统发展和阿里实践》。

大数据 数据仓库 分布式计算 分布式系统 流计算 MaxCompute 海量数据

阿里云CDN的双11进化论

从2009年11月11日开始,双11从最初的淘宝商城到后来的天猫商城购物促销活动,到后来演变成为中国各大购物网站全国性的购物狂坏。双11的成交额也从最初的不到1亿,呈指数上升,一直上涨到2015年的912亿,直到今年突破千亿大关。成交额节节攀升背后的技术,是整个阿里集团成千上万技术工程师的努力结果。

阿里云 性能 HTTPS 互联网 基础设施 阿里巴巴 用户体验 cdn 淘宝 高性能 分布式系统

盘古:阿里云飞天分布式存储系统设计深度解析

在10月19日的云栖社区在线培训上,来自盘古团队的吴洋分享了《盘古:飞天分布式存储系统实践》。他主要从以下三个方面进行了分享:盘古是什么?盘古是用来解决什么问题的?盘古是怎么解决问题的?他主要介绍了盘古的分布式系统架构和设计理念。

监控 飞天 线程 高可用 配置 集群 数据安全 解决方案 编程 分布式系统 分布式存储 在线培训 盘古 分布式存储系统 高可靠

分布式系统中的RPC请求经常出现乱序的情况 写一个算法来将一个乱序的序列保序输出

分布式系统中的RPC请求经常出现乱序的情况。  写一个算法来将一个乱序的序列保序输出。例如,假设起始序号是1,对于(1, 2, 5, 8, 10, 4, 3, 6, 9, 7)这个序列,输出是:  1  2  3, 4, 5  6  7, 8, 9, 10 上述例子中,3到来的时候会发现4,5已经在了。因此将已经满足顺序的整个序列(3, 4, 5)输出为一行。

RPC 算法 code 序列 class 分布式系统 单元测试 数组

架构师速成8.3-架构师必须要了解的规则

作为一个架构师,有些规则是必须要掌握的,这就想软件的公理,如果你学物理不知道牛顿定律,那就不要学了。在软件行业也有类似的东西,我称之为软件定律。例如: ACID,CAP,BASE ACID 传统数据库系统中,事务具有ACID 4个属性 (1)原子性(Atomicity):事务是一个原子操作单元,其对数据的修改,要么全都执行,要么全都不执行。 (2)一致性

分布式 架构 高可用 数据库 cap Availability 分布式系统

架构师速成8.3-可用性之分布式

分布式算是软件界发展的一个里程碑,它开辟一个新的软件时代,其他的溢美之词我就不再乱说了。 分布式按照我的观点,应该分为有状态和无状态2种: 有状态 分布式数据库 分布式存储 无状态 分布式计算 分布式web系统 当然分布式尽量做成无状态的分布式,但是存储最终因为最终存储的是有状态的数据,所以不得不变的有状态。当然web系统也可以是有状态的,但是最好做成无

分布式 架构 web 集群 Cache 可扩展性 负载均衡 解决方案 分布式计算 分布式系统 分布式数据库 分布式存储 存储 cookie 数据存储

架构师速成-架构目标之可用性

服务器等,从而共同完成工作任务。各种负载均衡的软硬件有很多,我们可以单独讲解一下。 配置中心,原来单一节点的配置,被类似zookeeper的多节点配置中心取代。 流量控制,流量控制是保证大流量下系统可用性的重要手段,当系统流量不足以支撑所有流量时,只保留合理的流量处理。其他流量直接丢弃,否则系统会被压垮,造成雪崩。 功能降级,另外大流量情况下,有些无关紧要的功能可以暂时降级,后期通过数据

分布式 架构 监控 配置 负载均衡 解决方案 分布式系统 zookeeper 异地

哪家CDN比较好?如何选择CDN服务商?

真正好的CDN服务提供商应该满足什么条件呢?放眼国内,谁家的CDN服务才是最好的呢?

安全 架构 阿里云 加密 用户体验 cdn 淘宝 弹性扩展 分布式系统 带宽 存储 客服

CDN是什么?CDN有什么优势?

内容发布网络(Content Delivery Network,CDN)是什么?有什么优势呢?本文就为大家分享。

架构 阿里云 服务器 互联网 网站管理 cdn 分布式系统 数据中心 带宽 存储 异地

分布式数据库

1. 分布式数据库领域CAP理论 Consistency(一致性), 数据一致更新,所有数据变动都是同步的 Availability(可用性), 好的响应性能 Partition tolerance(分区容错性) 可靠性,A single piece of data is stored in 3 nodes, 1 node failed, the other 2 nodes

服务器 性能 模块 数据库 cluster node 负载均衡 Availability 数据库存储 分布式系统 分布式数据库 replication 应用服务器 Blog single

分布式系统设计

分布式通信协议 基于TCP/IP的通信 基于对象的通信协议(RPC,CORBA, RMI) 基于Http+xml的通信协议(WebService) 基于Http的通信协议(Restful) 基于对象的分布式设计 基于Stub/Skeleton的架构分布式对象协议: RPC - Remote Procedure Call CORBA - Comm

编程语言 分布式 架构 服务器 http 模块 面向对象 web 可扩展性 xml 分布式系统 REST SOA

我的面试库

算法题 公司现在的面试对算法要求很高,不妨开个贴,整理一下,弄出几个自己很熟悉又很有代表性的算法题,免得每次都要重新准备。 参考: http://blog.csdn.net/v_july_v/article/details/6543438 1. 有1000万条查询字符串记录,找出top 10 出现次数最多查询串。 用Hash Table 统计查询字符串出现次数,时间复杂度是O(

安全 架构 算法 线程 http 数据库 内存模型 排序 分布式系统 join html Blog hashmap 数组

企业级API设计

最近对service的API设计,在team内有些讨论,主要集中在API是足够抽象、通用好呢, 还是具体、易用好? 其实这个是要折衷的,通用的好处是以后更改API的可能性小,但坏处是想要通用,里面的字段就不能定义太死,不定义死,极端的例子是全部用Name/Value Pair,最通用,但client面对这些NV,根本不知道怎么去设值,这样的API很明显是不友好,难用的,而一个好的API应

http 用户体验 API 分布式系统 service 存储

监控和日志

为什么监控和日志很重要? 监控(Monitoring)和日志(Logging)是大型分布式系统中最关键的基础设施(infrastructure)之一,因为没有监控,就没办法知晓服务的运行情况,就没办法知道集群中有没有Down机,机器的CPU使用率、负载是否正常,网站的Traffic是否正常,服务的出错率是不是在可容忍范围之内。 简而言之,监控使得我们可以实时的了解网站的运营情况和可用性(

大数据 监控 hadoop 日志 http Framework url Transaction 分布式系统 REST 存储

大型分布式系统架构

本文主要是从软件的质量属性的角度,来分析大型分布式系统通常采用的架构方法。 1. 性能 (Performance) 性能是指系统的响应能力,性能测试经常要使用基准测试(Benchmark Test). 提高性能的办法: 异步化 - 使用消息系统 和 batch处理 缓存 - 有多重缓存策略,本地缓存,分布式缓存同步,缓存服务器。 系统分割(水平和垂直分割)-  数据库读写

分布式 消息系统 架构 算法 监控 性能 数据库 集群 性能测试 分布式系统 mean 应用服务器

推荐几个有技术深度的公众号

1. InfoQ 不用介绍了吧 2. 可靠分布式系统 国内唯一一家中英文混编的微信公众号,定期发布有技术深度的分布式文章。非常欢迎大家投稿~ 3.架构师之路 4. 聊聊架构 5. 高可用架构 6. 你假笨 国内为数不多的以JVM性能为主的个人微信公众号,取材于

系统软件 系统研发与运维 分布式 消息系统 Java核心技术 架构 开发框架与中间件 分布式系统与计算 jvm 性能 http 高可用 分布式系统 account

hadoop整体结构图及服务组件详解

hadoop服务组件简单解释 1、core  分布式系统和通用IO组件和接口(序列化、java远程调用等等服务) 2、avro  支持跨语言过程调用,持久数据存储的数据序列化系统 3、MapReduce  构建在廉价的pc机器上分布式数据处理模型和运行环境 4、hdfs  构建廉价的pc机器上分布式文件系统 5、pig  处理海量数据集的数据流语

分布式 hbase hdfs hadoop 数据处理 数据库 数据流 数据仓库 分布式文件系统 分布式系统 数据采集 zookeeper Mapreduce 存储

97
GO