1. 云栖社区>
  2. 全部标签>
  3. #集群#
集群

#集群#

已有5人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

postgresql集群方案hot standby初级测试(一)——模拟集群状况

1.   重启主节点:   方式①:./pg_ctl stop -D ../data/ waiting  for server to shut  down.....................

PostgreSQL 日志 线程 数据库 集群 测试 同步 Server Transaction 数据同步 fast

postgresql集群方案hot standby初级测试(二) ——处理数据能力

先写上数据库配置: 一个主数据库,两个从数据库 主数据库:Intel(R) Pentium(R) D CPU 2.80GHz *2                   |        MemTotal:      1027072 kB 从库1     :Pentium(R) Dual-Core  CPU      E5200  @ 2.

PostgreSQL 服务器 线程 数据库 配置 集群 主机 测试 cpp CPU thread view

分布式设计与开发(三)------高一致性服务ZooKeeper

分布式环境中大多数服务是允许部分失败,也允许数据不一致,但有些最基础的服务是需要高可靠性,高一致性的,这些服务是其他分布式服务运转的基础,比如naming service、分布式lock等,这些分布式的基础服务有以下要求:高可用性 高一致性 高性能 对于这种有些挑战CAP原则的服务该如何设计,是一个挑战,也是一个不错的研究课题,Apache的ZooKeeper也许给了我们一个不错的答案。

分布式 算法 服务器 配置 paxos 集群 node 同步 Server string fast Create zookeeper

postgres-xc install in linux

postgres-xc 安装

linux postgres 集群 node Create type vim postgres-xc

ES shard unassigned的解决方法汇总

说下shard出现的几个状态说明: relocating_shards shows the number of shards that are currently moving from one node to another node(现网中遇到,因为kill -9重启es的方法不对,导致node下线,集群重新分配shard).

cluster 集群 node index html Blog

JavaWeb项目架构之Elasticsearch日志处理系统

简介 Elasticsearch (ES)是一个基于 Lucene 的开源搜索引擎,它不但稳定、可靠、快速,而且也具有良好的水平扩展能力,是专门为分布式环境设计的。 特性 安装方便:没有其他依赖,下载后安装非常方便;只用修改几个参数就可以搭建起来一个集群 JSON:输入/输出格式为 JSON,意味.

架构 java 配置 集群 搜索引擎 索引 Elasticsearch index type javaweb

ES cross cluster search跨集群查询

ES 5.3以后出的新功能。测试demo如下: 下载ES 5.5版本,然后分别本机创建2个实例,配置如下: cluster.name: xx1 network.host: 127.0.0.1 http.

Json 配置 cluster 集群 测试 index source html type curl

RDMA

什么是RDMA   RDMA(Remote Direct Memory Access)技术全称远程直接数据存取,就是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把资料直接传入计算机的存储区,将数据从一个系统快速移动到远程系统存储器中,而不对操作系统造成任何影响,这样就不需要用到多少计算机的处理功能。

服务器 性能 集群 CPU 存储

ES业界优秀实践案例汇总

ES业界优秀案例汇总 携程 LinkedIn Etsy国外电商 CPU(vCore) 70*32 1000*12 4200 单日索引数据条数 600亿 500亿 100亿 单核处理数据性能/天 2600万/vCore 416万/vCore 238万/vCore 单日存储数据量 25T 500-800T 1.

性能 集群 电商 索引 Elasticsearch 存储

1月23日云栖精选夜读:阿里云 oss 的前后端 Node.js Demo: ass-node

 阿里云 oss 关于第三方回调业务并没有给出前后端node的demo,我写了一个demo,还没有测试,只是实现了上传和下载业务的闭环,供node.js开发者参考。 https://github.com/ccnuyan/ass-node 热点热议 阿里云 oss 的前后端 Node.

深度学习 android 性能优化 OSS js 集群 弹性伸缩 node 淘宝 云数据库 e-mapreduce 面试题 demo

ES 内存使用和GC指标——主节点每30秒会去检查其他节点的状态,如果任何节点的垃圾回收时间超过30秒(Garbage collection duration),则会导致主节点任务该节点脱离集群。

摘录自:http://blog.csdn.net/yangwenbo214/article/details/74000458 内存使用和GC指标 在运行Elasticsearch时,内存是您要密切监控的关键资源之一。

监控 jvm 集群 RAM Elasticsearch 磁盘 Other

ES 處於“initializing”狀態,此時主節點正在嘗試將分片分配到集群中的數據節點。 如果您看到分片仍處於初始化或未分配狀態太長時間,則可能是您的集群不穩定的警告信號。

指標要點: Cluster status: 如果集群狀態為黃色,則至少有一個副本分片未分配或丟失。 搜索結果仍將完成,但如果更多的分片消失,您可能會丟失數據。  紅色的群集狀態表示至少有一個主分片丟失,並且您缺少數據,這意味著搜索將返回部分結果。

cluster 集群 索引 html

MongoDB,无模式文档型数据库简介

MongoDB的名字源自一个形容词humongous(巨大无比的),在向上扩展和快速处理大数据量方面,它会损失一些精度,在旧金山举行的MondoDB大会上,Merriman说:“你不适宜用它来处理复杂的金融事务,如证券交易,数据的一致性可能无法得到保证”。

javascript MongoDB 服务器 mysql 性能 Json c++ 数据库 集群 表达式 高性能 存储 数组

elasticsearch indices.recovery 流程分析(索引的_open操作也会触发recovery)——主分片recovery主要是从translog里恢复之前未写完的index,副分片recovery主要是从主分片copy segment和translog来进行恢复

摘自:https://www.easyice.cn/archives/231 elasticsearch indices.recovery 流程分析与速度优化 目录 [隐藏] 主分片恢复流程 副本分片恢复流程 recovery 慢的原因分析 synced flush 机制 副分片如何做到和主...

集群 request 索引 open Elasticsearch index Create lucene

ES Segment Memory——本质上就是segment中加到内存的FST数据,因此segment越多,该内存越大

ElasticSearch优化系列四:ES的heap是如何被瓜分掉的 转自:https://www.jianshu.com/p/f41b706db6c7 以下分别解读几个我知道的内存消耗大户: Segment Memory Segment不是file吗?segment memory又是什么?前面提到过,一个segment是一个完备的lucene倒排索引,而倒排索引是通过词典(Term Dictionary)到文档列表(Postings List)的映射关系,快速做查询的。

性能 集群 Cache 排序 node 索引 磁盘 数据结构

学界| UC Berkeley提出新型分布式框架Ray:实时动态学习的开端—— AI 应用的系统需求:支持(a)异质、并行计算,(b)动态任务图,(c)高吞吐量和低延迟的调度,以及(d)透明的容错性。

学界| UC Berkeley提出新型分布式框架Ray:实时动态学习的开端 from:https://baijia.baidu.com/s?id=1587367874517247282&wfr=pc&fr=_lst   为应对新型 AI 应用不断提高的性能需求,近日 Michael Jordan 等人提出了一个新型的分布式框架 Ray,主要针对当前集群计算框架无法满足高吞吐量和低延迟需求的问题,以及很多模拟框架局限于静态计算图的缺点,并指出强化学习范式可以自然地结合该框架。

分布式 架构 性能 线程 人工智能 集群 并行计算 机器人 分布式调度

EhCache 分布式缓存/缓存集群

开发环境: System:Windows JavaEE Server:tomcat5.0.2.8、tomcat6 JavaSDK: jdk6+ IDE:eclipse、MyEclipse 6.6   开发依赖库: JDK6、 JavaEE5、ehcache-core-2.

分布式 服务器 配置 集群 Cache 同步 class

Percona系列之Percona XtraDB Cluster 5.6安装配置02

Percona集群制定的服务器节点如下: node #1 hostname: pzsd01 IP: 10.1.11.14 node #2 hostname: pzsd02 IP: 10.

mysql innodb 配置 cluster 集群 node SST

Mongodb副本集--恢复实例的一个细节--limit文件的参数

场景:恢复一个22TB数据的mongodb实例的时候.         加入mongodb集群中,自动恢复数据实例的过程中。mongodb的系统日志报了如下错误: 修改linux操作系统的limit的参数文件,如下: 点击(此处)折叠或打开 ...

linux MongoDB 集群 操作系统 file Security ulimit

浅谈大型web系统架构

动态应用,是相对于网站静态内容而言,是指以c/c++、php、Java、perl、.net等服务器端语言开发的网络应用软件,比如论坛、网络相册、交友、BLOG等常见应用。动态应用系统通常与数据库系统、缓存系统、分布式存储系统等密不可分。

分布式 架构 服务器 性能 数据库 web 配置 集群 可扩展性 负载均衡 脚本 单点故障 分布式存储 存储

295
GO