1. 云栖社区>
  2. 全部标签>
  3. #分布式系统与计算#
分布式系统与计算

#分布式系统与计算#

已有103人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

CDH5 Hadoop如何支持读写OSS

CDH和CM(Cloudera Manager) CDH (Cloudera’s Distribution, including Apache Hadoop)是众多Hadoop发行版本中的一种,由Cloudera维护,目前有不少用户使用这个发行版本。

云栖社区 大数据

Spring Boot 2.3 中分层jar 是什么东西

背景 在我们实际生产容器化部署过程中,往往会遇到 Docker 镜像很大,部署发布很慢的情况 影响 docker 镜像大小的因素,主要有以下三个方面: 基础镜像的大小 。尽量选择 aphine 作为基础镜像 减少操作系统内置软件 Dockerfile 指令层数。

云栖社区 nginx 安全与风控 系统软件 编程语言 数据存储与数据库 redis Java核心技术 前端与交互设计 测试技术 架构 算法 开发框架与中间件 分布式系统与计算 java

大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构

本文梳理了常见的hadoop生态圈中的组件:Hdfs+Yarn+HBase+Spark+Storm的单点故障问题,出现原因以及单点故障的原理和解决方案(构建HA(High Available)高可用架构)。阅读本文之前,最好了解清楚各组件的架构原理。

故障方案 分布式 大数据 架构 开发框架与中间件 分布式系统与计算 storm hbase hdfs hadoop 高可用 配置 spark 分布式架构 单点故障

hbase shell实现原理简析

hbase的交互式命令行是通过jruby实现的,当我们输入hbase shell时,实际上最终执行的是org.jruby.Main,并以bin/hirb.rb作为参数,注意是根目录下bin目录中的hirb.

数据存储与数据库 大数据 分布式系统与计算 hbase 根目录 shell ruby class list github

HBase 如何减少升级时重启rs节点造成的影响

最近被问到这个问题,一时没有很好的回答,事后仔细思考了下,整理如下。 rs节点重启对于应用的影响可分为如下2个阶段: region不可用 region读取慢 不可用的优化 从rs停止到各个region重新上线前都处于不可用阶段,其中包含了master感知到有rs退出,进而调度执行scp的过程,详细的过程可以参考我的另外一篇文章《HBase2.

数据存储与数据库 大数据 分布式系统与计算 hbase LOG 伪代码 磁盘

phoenix-5.0.0与CDH6.0.1兼容性导致二级索引不可用问题解决

今天在测试phoenix的二级索引功能时,创建完索引写入数据,出现以下异常: Caused by: org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 1 action: org.

数据存储与数据库 大数据 分布式系统与计算 java hbase hadoop Apache 索引 class 兼容性 index

HBase2.0 procedureV2原理简析

总体流程图 就绪区: 这部分的核心实现类是MasterProcedureScheduler,主要的作用就是对Procedure进行调度; 从排队的角度看,可以认为存在三层队列调度; type队列: type包含meta、server、table,,三者之间存在优先级:meta>server>t.

数据存储与数据库 大数据 分布式系统与计算 hbase entity Server type

HBase sequenceId知识点略记

在HBase中,sequenceId是实现一致性的灵魂,这里的一致性有两方面意思: 顺序性,即先写的先被读到,未提交的写不能被读到; 完整性,包含如下几点; 未持久化到hfile的数据,对应的wal文件不能删除 如果由于wal文件过多需要清理,则需要先把对应的数据持久化 异常恢复过程中,需要.

数据存储与数据库 大数据 分布式系统与计算 hbase LOG

IG-REPORT企业智能报表 基于springboot+vue 轻松实现30s出报表

传统报表方式的弊端 报表是所有企业都必要的分析决策工具,传统的展示报表的方式特别麻烦,还记得两年前我入职的时候,领导让我做一个报表,步骤大概要经历1、数据库中创建一个目的表 存储SQL跑批后的结果 2、开发后端代码 从service到dao层都要开发 还要实现定时调度 3、开发前端代码 htmlcssjqueryajax等这些步骤从技术的角度来看算简单的、但却永远在做重复的事情。

大数据 Java核心技术 分布式系统与计算 java 服务器 SQL 日志 配置 Image 报表 存储 分布式调度

EMR Spark-SQL性能极致优化揭秘 概览篇

引子 最近阿里云E-MapReduce团队在TPCDS-Perf榜单中提交了最新成绩,相比第二名(其实也是EMR团队于2019年提交的记录),无论从性能还有性价比都取得了2倍+的优秀成绩!详细看 TPCDS Perf 阿里云E-MapReduce团队,除了在产品、易用性、安全性等维度上投入了大量.

云栖社区 分布式系统与计算 native 性能 c++ runtime spark e-mapreduce EMR TPCDS

正经的聊聊分布式架构中的 Redis

redis 在分布式系统中的引入用是否必要? redis 在分布式系统中可以解决什么问题? redis 是唯一的方案吗?

数据存储与数据库 分布式 redis 架构 分布式系统与计算 数据库 高并发 spring 中间件 string 分布式架构 分布式系统 伪代码 session github

51
GO