1. 云栖社区>
  2. 全部标签>
  3. #分布式#
分布式

#分布式#

已有97人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

利用Spark Streaming实现分布式采集系统

之前我在微信朋友圈发了一段话,说明Spark Streaming 不仅仅是流式计算,也是一类通用的模式,可以让你只关注业务逻辑而无需关注分布式相关的问题而迅速解决业务问题.

分布式 spark

scala实现单例模式

单例模式介绍 单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例的特殊类。通过单例模式可以保证系统中一个类只有一个实例。 对于系统中的某些类来说,只有一个实例很重要,例如,一个系统中可以存在多个打印任务,但是只能有一个正在工作的任务;一个系统只能有一个窗口管理器或文件系统

云栖社区 编程语言 分布式 大数据 云栖征文

如何基于Yarn开发你的分布式程序

这篇文章就是分享开发一套基于Yarn的容器调度系统的经验

分布式 yarn

猛犸系统

猛犸提供了一个一致统一的大数据以及相关应用的部署,运维平台。

分布式 集群 猛犸系统

Redis持久化方案

  前言:Redis的高性能是由于其将所有数据都存储在了内存中,为了使Redis在重启之后仍能保证数据不丢失,需要将数据从内存中同步到硬盘中,这一过程就是持久化。       Redis支持两种方式的持久化,一种是RDB方式,一种是AOF方式。可以单独使用其中一种或将二者结合使用。 RDB持

分布式 redis 持久化方案 AOF RDB

日志收集之kafka篇

日志收集     日志收集包括服务器日志收集和埋码日志收集两种。     服务器日志主要是nginx、tomcat等产生的访问和业务日志。     埋码收集主要是某些服务器无法收集,需要在前端进行收集的数据。 收集流程     日志处理是指将消息队列用在日志处理中,比如Kafka的应用,解

云栖社区 分布式 消息系统 实时系统

Tair分布式锁 实践经验(160805更新)

# 前言 在JVM中,怎么样防止因多线程并发造成的数据不一致或逻辑混乱?大家一定都能想到锁,能想到`java.util.concurrent`包下的各种各样的用法。 但在分布式环境下,不同的机器、不同的jvm,那些好用的并发锁工具,并不能满足需要。 所以我们需要有一个`分布式锁`,来解决分布式环境下的并发问题。而本文正是在这条道路上,走出的一些经验的总结。 我们按照待解决问题的

数据存储与数据库 分布式 Java核心技术 分布式系统与计算 java tair 阿里技术协会

使用HAproxy为阿里中间件做负载均衡。

在内部系统不是非常的高并发,大流量的场景下,且有windows,Linux混合操作系统场景下,便于配置维护,可以使用HApoxy 替代 LVS一试。

分布式

说说这些年做的云计算和大数据项目

入行十几年了,做了不少分布计算、并行计算、内存计算、海量数据处理的项目,按照现在的分类,这些都属于云计算/大数据范畴。今天说说我做过的其中三个项目,只三个

数据存储与数据库 系统研发与运维 网络与数据通信 帮助 分布式

ceph部署

初次部署ceph,走了很多弯路,特别是ceph网站提供的yum源,有些问题安装总是出错,总结下此次安装成功的步骤,留个脚印!

数据存储与数据库 分布式

【揭秘】阿里资深专家:支撑双十一千万级流量的阿里技术到底有多牛

在沧月的小说《剑歌》里,有一个三十而立名叫沈询的剑客,身着一袭白衣,从容不迫,风度翩翩。八年前,22岁的王晶昱以应届生的身份入职阿里,他选择了沈询作为花名。转眼八年弹指而过,王晶昱也到了自己的而立之年,现在他的身份是阿里巴巴资深技术专家。

分布式 Java核心技术 架构

ZooKeeper基本原理

分布式 zookeeper,

浅谈 CAP 理论

分布式 架构 cap Distributed

浅谈 CAP 理论

分布式 架构 cap Distributed

【转载】分布式系统的理解

分布式

659
GO