1. 云栖社区>
  2. 全部标签>
  3. #集群#
集群

#集群#

已有8人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

应用系统架构演变初探

背景     近几年的互联网创业风潮持续在高涨中,所涉及的行业从涵盖了社交、资讯、电商、生活服务等方方面面。其中也涌现不少优秀的APP,而这些产品或平台的特点都包含了"快速",即更新快,迭代快的特性。

架构 服务器 memcached 性能 数据库 互联网 数据流 集群 电商 负载均衡 应用服务器

mongodb 认证鉴权那点事

目录 一、Mongodb 的权限管理 二、鉴权方式 三、内部鉴权 四、数据库角色 五、相关操作 六、常见问题 七、扩展阅读 一、Mongodb 的权限管理 认识权限管理,说明主要概念及关系 与大多数数据库一样,Mongodb同样提供了一套权限管理机制。

监控 MongoDB 加密 数据库 集群 DB 权限管理 存储

mongodb分片扩展架构

[TOC] 一、简介 MongoDB目前3大核心优势:『灵活模式』+ 『高可用性』 + 『可扩展性』,通过json文档来实现灵活模式,通过复制集来保证高可用,通过Sharded cluster来保证可扩展性。

架构 MongoDB 高可用 数据库 cluster 集群 可扩展性 负载均衡 Server 存储

mongodb分布式集群搭建手记

一、架构简介 目标 单机搭建mongodb分布式集群(副本集 + 分片集群),演示mongodb分布式集群的安装部署、简单操作。 说明 在同一个vm启动由两个分片组成的分布式集群,每个分片都是一个PSS(Primary-Secondary-Secondary)模式的数据副本集; Config副本集采用PSS(Primary-Secondary-Secondary)模式。

分布式 MongoDB LOG 配置 集群 DB

mtools-你可能没用过的mongodb神器

前言 接触 mongodb 已经有一段时间了,从一开始的不了解,到现在已慢慢适应这个nosql领域的佼佼者,还是经历了不少波折。 在进行数据库选型的时候,许多人总是喜欢拿 mongodb和mysql、oracle做比较,并总结出一套非常详尽的分析结果。

MongoDB 日志 LOG 模块 集群 update

Ceph编译安装教程

Ceph官方版本目前支持的纠删码很有限,实验室这块希望能够整合我们自主开发的纠删码BRS(Binary Reed–Solomon encoding),所以需要编译Ceph环境。

源码 配置 cluster 集群 分布式存储 存储

数据分区------《Designing Data-Intensive Applications》读书笔记9

进入到第六章了,我们要开始聊聊分布式系统之中的核心问题:数据分区。分布式系统通常是通过大规模的数据节点来处理单机没有办法处理的海量数据集,因此,可以将一个大型数据集可以分布在多个磁盘上,查询负载可以分布在多个处理器上。

函数 数据库 集群 索引 分布式系统 zookeeper 存储

LVS-NAT模式的配置详解

由于实验室拟态存储的项目需要通过NAT模式来映射NFS服务器已实现负载均衡的目的,通过调研了多种负载均衡机制,笔者最终选择了LVS的NAT模式来实现需求,接下来通过博客来记录一下LVS-NAT模式的配置流程。

服务器 配置 集群 负载均衡 Server NFS

阿里云专有宿主机国际站(公测)发布

产品介绍: 阿里云专有宿主机是一台物理独享的云主机,和其他租户在物理级别上隔离。专有宿主机提供给用户一种依托阿里云虚拟化服务的单租户运行环境,彻底解决多租户争抢问题,获得更高隔离性,满足更严格合规监管,满足自带许可证上云场景。

安全 服务器 性能 ECS 集群 云主机

3分钟了解阿里云容器服务

本文让你在最快的时间了解容器服务的概念,以及阿里云容器服务的特点。

docker 高可用 镜像 集群 容器服务 主机 容器 负载均衡 自动化运维 kubernetes k8s

MongoShake——基于MongoDB的跨数据中心的数据复制平台

MongoShake是基于MongoDB的通用型平台服务,作为数据连通的桥梁,打通各个闭环节点的通道。通过MongoShake的订阅消费,可以灵活对接以适应不同场景,例如日志订阅、数据中心同步、监控审计等。其中,集群数据同步作为核心应用场景,能够灵活实现灾备和多活的业务场景。

云栖社区 数据存储与数据库 分布式 Golang 日志 数据库 集群 索引 数据同步 数据中心 云数据库MongoDB版

云上大数据系列2:如何最大化利用你的集群资源

本篇是云上大数据系列第二篇文章,主要介绍Hadoop系统的基础调优,让Hadoop集群的资源能够被充分利用起来。在后续的文章中,我们还将会分享更多关于云上大数据系统的性能分析和调优经验,敬请期待。 大数据系统对资源的占用较大,如果不进行合适的基础调优,很容易造成资源的浪费。

大数据 分布式系统与计算 性能优化 hadoop SQL 配置 集群 内存管理 spark Driver yarn big data

不断迭代,严苛细节,最终性能如何满足? 基于ELK的大数据平台实践分享

在2018年Elastic Meetup 南京交流会中,来自云利来科技的涂海波为现场的听众带来了题为《南京云利来基于ELK的大数据平台》的精彩分享。在本次分享中,他首先进行了公司简介,然后介绍了数据分类,包括数据采集及数据类型等;然后重点阐述了运维之路,最后进行了告警分析。

大数据 性能 集群 测试 索引 数据采集 磁盘 存储 数据类型

苏宁Elastic平台化实践中踩过哪些坑,又是如何解决的?

在南京 Elastic Meetup 南京交流会专场中,苏宁大数据平台搜索平台组的韩宝君为我们带来如何在大量的数据中发现数据的价值。从大数据平台的架构出发,详细解读了平台的概况和服务化平台的模块等方面的知识。最后,具体举出了在实践中出现的一些问题及对应的处理方案。

大数据 监控 模块 源码 cluster 集群 工单 解决方案 索引 git Elasticsearch 存储 github

在CloudEdge中,通过ES实践解决ElasticLog产品问题

2018 Elastic Meetup南京交流会,由赵伟带来以“ElasticLog with ES in CloudEdge”为题的演讲。本文首先介绍了CloudEdge与ElasticLog是什么,其次介绍了产品的构架图以及ES的作用,最后介绍了ES在实践过程中需要设计Index、分配Shard、快速将Spark里数据写入ES中和数据去重。

架构 集群 Image spark 数据节点 index 存储

华泰证券Elasticsearch在日志搜索、日志分析、链路管理系统方面的应用实践

2018Elastic Meetup南京交流会,由华泰证券李文强带来以“华泰证券Elasticsearch应用实践”为题的演讲。本文首先介绍了华泰证券具有系统运维繁琐、日志不能长期保存、日志数据价值没有挖掘、大数据领的一角的特点,接着介绍了它在日志搜索、日志分析和链路管理系统方面的应用实践,最后介绍了华泰证券Elasticsearch在使用中应注意的事项。

大数据 监控 日志 模块 集群 Elasticsearch 磁盘 日志分析 日志处理

《Akka应用模式:分布式应用程序设计实践指南》读书笔记2

Akka简介   Akka是什么:“Akka是在JVM上构建高并发、分布式、弹性消息驱动应用的开源工具包”。弹性意味着要积极响应失败情况,从失败中恢复的能力。   其实Akka的定义很符合响应式领域模型,这个模型有几个基本特征:   1、弹性。

分布式 高并发 集群 Akka 分布式系统 领域模型

《Akka应用模式:分布式应用程序设计实践指南》读书笔记6

一致性和可扩展性   一致性是系统内比较复杂的属性,它会随着系统的变化而变化。简单来说,一致性就是数据保持一致,在分布式系统中,可以理解为多个节点中数据的值是一致的。一旦系统具有并行性(分布式只是并行的一种表现),保持一致性就变得困难了,毕竟需要协调全局状态。

分布式 性能 集群 可扩展性 Akka 分布式系统

《Akka应用模式:分布式应用程序设计实践指南》读书笔记8

可用性   简单点来说就是系统能否正常使用。如果系统能够及时响应一个请求,则认为是可用的;如果响应时间过长或者根本不响应,则是不可用的。系统在停机或超载时是不可用的。一般用系统正常运行时长的百分比来计量系统的可用性,例如常常用N个9表示系统的可用性。

分布式 集群 微服务 可扩展性 Akka 分布式系统 数据类型 路由器

520
GO