1. 云栖社区>
  2. 全部标签>
  3. #分布式系统与计算#
分布式系统与计算

#分布式系统与计算#

已有74人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

如何在E-MapReduce上提交Storm作业处理Kafka数据

本文演示如何在E-MapReduce上部署Storm集群和Kafka集群,并运行Storm作业消费Kafka数据。

大数据 分布式系统与计算 storm hadoop Apache 配置 安全组 集群 测试 Maven Image aliyun e-mapreduce kafka 开源计算

从Elasticsearch来看分布式系统架构设计

分布式系统类型多,涉及面非常广,不同类型的系统有不同的特点,批量计算和实时计算就差别非常大。这篇文章中,重点会讨论下分布式数据系统的设计,比如分布式存储系统,分布式搜索系统,分布式分析系统等。

分布式 架构 分布式系统与计算 集群 node 索引 分布式文件系统 Elasticsearch 分布式系统 index 磁盘 存储

一种基于Lucene的实时搜索服务

因为本文篇幅有限,在这里我只会着重介绍:实时性、高可用性在我们产品中的一些技术实践。 实时解决方案 在介绍我们产品方案之前,首先介绍下业内常见的实时解决方案,见图1-1实时架构图: ![P1](http://img3.

Java核心技术 分布式系统与计算 java 性能 日志 阿里技术协会 Cache 索引 index 磁盘 lucene

阿里集团搜索中台TisPlus

                        阿里集团搜索中台TisPlus 搜索中台的发展     从阿里很多技术产品的发展路径来看都遵循着技术驱动、产品驱动、数据驱动三个阶段,那阿里巴巴的搜索技术的发展也基本基于上述的发展路径。

系统研发与运维 信息检索算法/实践 算法 分布式系统与计算 容器 搜索引擎

分布式和集群区别?什么是云计算平台?分布式的应用场景?

分布式是指将一个业务拆分不同的子业务,分布在不同的机器上执行;集群是指多台服务器集中在一起,实现同一业务,可以视为一台计算机;一个云计算平台,就是通过一套软件系统把分布式部署的资源集中调度使用。要应对大并发,要实现高可用,既需要分布式,也离不开集群。

系统软件 分布式 算法 分布式系统与计算 服务器 高可用 数据库 cluster 集群 负载均衡 同步 分布式文件系统 分布式系统 分布式数据库

时间序列数据在MaxCompute中的存储探讨

方法1:单列表;方法2:拆分成多个子序列,多行存储;方法3:拼成一个STRING/VARCHAR, 自行写udf解析后,统计。但是注意,VARCHAR:变长字符类型,n为长度,取值范围 1 到 65535STRING:字符串类型,目前长度限制为 8M ;方法4:放弃存储原始数据,改为存储中间结果; 暂时没时间验证以上方案的性能,请听日后分解。

大数据 分布式系统与计算 监控 性能 string 序列 UDF varchar 存储 MaxCompute

一种拜占庭共识协议-Byzantine Agreement,Made Trivial

## 前言 周六看了几遍Silvio Micali的论文`Byzantine Agreement,Made Trivial`, 理解上比以前深刻了一些。今天准备把论文叙述一遍,不会一字一句翻译,基本是自己的理解。文字记录下来理解会更深一点, 也做为接下来和守敬老师讨论的基础。 ## 介绍 拜占庭共识在几十年间已经吸引了众多前辈投入研究, 本论文提供了一种简单可操作的拜占庭共识协议, 容错

分布式系统与计算 阿里技术协会 区块链

记一种分布式超大规模数据的实时快速排序算法

对数据进行处理的同学,经常会遇到排序需求,无论是内存数据还是磁盘数据。 信息爆炸的时代,数据早已不是单点所能承载的了,数据一般分布在大量节点上,对超大规模的数据排序就显得非常重要。

数据存储与数据库 分布式 架构 算法 分布式系统与计算 阿里技术协会 排序 Image node 同步 索引 数据节点 存储

分布式文件系统FastDFS详解

为什么要使用分布式文件系统呢? 嗯,这个问题问的好,使用了它对我们有哪些好处?带着这个问题我们来往下看: 单机时代 初创时期由于时间紧迫,在各种资源有限的情况下,通常就直接在项目目录下建立静态文件夹,用于用户存放项目中的文件资源。

分布式系统与计算 java 服务器 高可用 配置 负载均衡 同步 Server 文件服务器 分布式文件系统 容灾 磁盘 Group 存储 fastdfs

浅谈云存储安全

云存储服务可让用户将自己的数据存储在远程的服务器里,使数据享有数据备份、数据保密和动态存储空间等好处.另外,数据拥有者也可以指自己存储在云端空间的数据分享给特定人群.然而,在方便的云存储服务里,能否确保数据的安全性是大部分使用者所担忧的。

安全与风控 数据存储与数据库 系统研发与运维 安全 分布式系统与计算 服务器 加密 云存储 存储 数据存储

缓存爬坑记 如何解决缓存雪崩

缓存爬坑记 如何解决缓存雪崩 关注老师更多课程,更多企业级视频资料免费获取加QQ号:3293655523,验证消息:艾米的云栖社区

nginx 编程语言 RPC redis Java核心技术 架构 开发框架与中间件 分布式系统与计算 java 性能优化 html

深入挖掘HTTPS证书与Nginx原理别再让你的数据

深入挖掘HTTPS证书与Nginx原理别再让你的数据 关注老师更多课程,更多企业级视频资料免费获取加:3293655523,验证:艾米的云栖社区

nginx RPC 大数据 redis Java核心技术 架构 开发框架与中间件 分布式系统与计算 java storm html

redis进阶之路-手把手带你写redis客户端

redis进阶之路-手把手带你写redis客户端 关注老师更多课程,更多企业级视频资料免费获取加:3293655523,验证:艾米的云栖社区

云栖社区 nginx 数据存储与数据库 互联网产品及应用 分布式 大数据 redis Java核心技术 架构 开发框架与中间件 分布式系统与计算 java html

TableStore发布Timeline Lib:轻松构建千万级IM和Feed流系统

在文章《现代IM系统中消息推送和存储架构的实现》中介绍了一种适用于IM的消息存储和推送模型Timeline,在本篇文章中,会扩展Timeline模型到IM和Feed流系统中,并且提供成熟的LIB实现。用户基于TableStore-Timeline LIB可轻松实现千万级的IM和Feed流系统。

数据存储与数据库 架构 分布式系统与计算 java TableStore 同步 aliyun 存储 github 架构设计 im Feed流 Feeds

基于TableStore构建简易海量Topic消息队列

前言 消息队列,通常有两种场景,一种是发布者订阅模式,一种是生产者消费者模式。发布者订阅模式,即发布者生产消息放入队列,多个监听的消费者都会收到同一份消息,也就是每个消费者收到的消息是一样的。生产者消费者模式,生产者生产消息放入队列,多个消费者同时监听队列,谁先抢到消息就会从队列中取走消息,最终每个消息只会有一个消费者拥有。

云栖社区 数据存储与数据库 架构 分布式系统与计算 线程 负载均衡 表格存储

我对分布式计算框架的理解与设计

谢谢大家来看这篇文章,我想花点时间分享一下我对分布式计算的理解。 分布式服务有很多,比如hbase, hadoop, spark等,我所要讲述的重点不是这些服务的原理,而是用更浅显的话讲述更深刻的设计。 如何把多个的机器组合起来完成一件简单的计算任务,所以这方面的架构设计更多的关注服务器间的关系。 下面我们来设计一个框架,以进行简单的分布式计算。 我们假设计算目标有三类: 1.分布计算能

分布式 架构 分布式系统与计算 服务器 阿里技术协会 模块 Image node Server 分布式计算 service ATA

17
GO