基于Openresty+CEPH实现海量数据管理系统

作者: 扮喵吃老鼠 322人浏览

作为一家专注于三维高精度地图服务的公司，有海量（PB级）的原始数据、中间数据、成功数据，需要存储、管理、并定期归档。 1. 按项目管理数据，数据分类航飞数据、控制点数据、中间数据、成果数据、其他数据。数据来源包括无人机数据、载荷数据、地面站数据、人工打点数据等。不同渠道汇集而来的数据。

架构 集群 对象存储 Server 索引 index metadata 存储 数据存储 ceph openresty 海量数据

基于Ceph对象存储构建实践

作者: 宜信技术学院 265人浏览

存储发展 数据存储是人类永恒的话题和不断探索的主题 绳结记事 原始社会，文字未发明之前 ，人们所使用的一种记事方法，在绳子上打结记事。 穿孔卡 穿孔卡片是始于20世纪的主要存储方法，也是最早的机械化信息存储形式，进入20世纪60年代后，逐渐被其他存储手段取代。

服务器 集群 API 对象存储 磁盘 RedHat 协议栈 存储 ceph 红帽子

centos 7.7 安装ceph

作者: snowofsummer 225人浏览

centos install ceph

linux yum 配置 cluster centos Create type ceph

Ceph分布式存储系统-性能测试与优化

作者: 北岛知寒 12877人浏览

# 测试环境 部署方案：整个Ceph Cluster使用4台ECS，均在同一VPC中，结构如图： 以下是 Ceph 的测试环境，说明如下： - Ceph 采用 10.2.10 版本，安装于 CentOS 7.4 版本中；系统为初始安装，没有调优。

数据存储与数据库 分布式系统与计算 性能 阿里技术协会 集群 性能测试 分布式存储 ceph

Grafana+Prometheus实现Ceph监控和钉钉告警

作者: 青山如是 4612人浏览

Grafana+Prometheus实现Ceph监控和钉钉告警 获取软件包 最新的软件包获取地址 https://prometheus.io/download/ Prometheus 1、下载Prometheus $ wget https://github.

监控 Golang Go 配置 集群 浏览器 钉钉 ceph grafana prometheus webhook dingtalk AlertManager dingding ceph_exporter

使用 Prometheus 监控 Ceph

作者: blackpiglet 12877人浏览

监控 docker Go 配置 钉钉 service github Bash ceph grafana prometheus webhook AlertManager

Ceph Jewel 手动升级Luminous

作者: 青山如是 1934人浏览

# ceph mgr module enable dashboard # ceph mgr module ls { "enabled_modules": [ "balancer", "dashboard", "restful", .

yum 集群 node update ceph Luminous jewel

通过crush class控制数据写入

作者: 青山如是 1085人浏览

测试 class type rule SSD ceph Crush Luminous

MDS多活配置

作者: 青山如是 2984人浏览

MDS多活配置 默认情况下，cephfs文件系统只配置一个活跃的mds进程。在大型系统中，为了扩展元数据性能，可以配置多个活跃的mds进程，此时他们会共同承担元数据负载。   要配置mds多活，只需要修改cephfs系统的max_mds参数即可。

配置 cluster MDS ceph cephfs mds多活

Ceph-disk手动添加OSD

作者: 青山如是 4105人浏览

Ceph-disk手动添加OSD   最近部署了L版的ceph，在进行扩容时，发现手动使用ceph-disk命令出现了问题，根据ceph官网说明，L版要用ceph-volume，然而目前生产环境并未使用这种方式来进行配置，但是L版的使用ceph-disk prepare时创建出来的osd和journal分区效果并不会像J版那样根据配置文件里面的配置来进行创建。

配置 uuid 磁盘 ceph osd ceph-disk

配置ganesha-nfs对接rgw

作者: 青山如是 4068人浏览

LOG 配置 云盘 git CMake ceph rgw nfs-ganesha

CentOS7.5 手动部署ceph

作者: 青山如是 9620人浏览

1  环境配置 1.1  设备列表   功能 主机名 IP mon node1 192.168.1.10 mon node2 192.168.

配置 cluster 集群 service ceph

Ceph-ansible 部署Ceph

作者: 青山如是 5915人浏览

Ceph-ansible 部署Ceph   1、安装notario yum install -y python-pip pip install notario 这个包用yum装的版本是不符合要求的，需要使用pip进行安装   2、下载ceph-ansible的代码到本地 git clone https://github.

ADD Create ceph Ansible MGR rgw ceph-ansible osd

CentOS7.5 手动部署Ceph RGW

作者: 青山如是 7893人浏览

目    录 1     设备列表... 1 2     Ceph RGW 部署... 1 2.1     使用civetweb配置... 2 2.2     使用nginx配置... 5   本文主要记录一下手动部署rgw的过程，环境是使用的之前手动部署的ceph环境，之前的环境部署可以参考以下链接https://yq.aliyun.com/articles/604372   Ceph RGW(即RADOS Gateway)是Ceph对象存储网关服务，是基于LIBRADOS接口封装实现的FastCGI服务，对外提供存储和管理对象数据的Restful API。

nginx LOG 配置 对象存储 service ceph CentOS7.5

Ceph Cache tier配置

作者: 青山如是 4452人浏览

简单了解Cache tier Cache tier 是Ceph服务端缓存的一种方案可以提升存储在后端存储层的I/O性能Cache tier 的创建需要一个由高速而昂贵的存储设备如SSD组成的存储池作为缓存层以及一个相对廉价设备组成的后端存储池作为经济存储层。

配置 Cache 存储 ceph cachetier

使用 ELK 查看 Ceph 读写速度（二）

作者: 李海滨 1980人浏览

上一篇 使用 ELK 查看 Ceph 读写速度（一） 里，我们通过 ceph monit api 接口，抓取到了需要的数据。接下来，我们就要把这些数据图形化展示出来了。 首先我们使用还在实验阶段的 Visual Builder 建立一个曲线图。

cluster code visual ruby read ceph Ansible

使用 ELK 查看 Ceph 读写速度（一）

作者: 李海滨 2270人浏览

最近用 ELK 解析 Ceph 的性能状态，metricbeat 6.x 版本里放出了测试中的 ceph 模块，但是居然没有读写速度参数。所以我们就改用 logstash 的 http_poller 模块，定时去查 ceph api，解析出需要的数据并绘出图形（我们将在第二章里讲到如何建立 kibana 看板）。

模块 cluster 集群 logstash Elasticsearch index read input ceph Ansible