1. 云栖社区>
  2. 全部标签>
  3. #hbase#
hbase

#hbase#

已有19人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Spark On MaxCompute访问Phonix

如何使用Spark On MaxCompute连接Phonix,将Hbase的数据写入到MaxCompute的对应表中,这个目前没有对应的案例,为了满足用户的需求。本文通过使用Spark连接Phonix访问Hbase的数据写入MaxCompute该方案实践得出该方案的可行。

hbase hadoop Apache 配置 odps 测试 Maven spark scala aliyun scope MaxCompute

用 Arthas 神器来诊断 HBase 异常进程

HBase 集群的某一个 RegionServer 的 CPU 使用率突然飙升到百分之百,单独重启该 RegionServer 之后,CPU 的负载依旧会逐渐攀上顶峰。多次重启集群之后,CPU 满载的现象依然会复现,且会持续居高不下,慢慢地该 RegionServer 就会宕掉,慢慢地 HBase 集群就完犊子了。

监控 hbase 线程 集群 测试 CPU

菜鸟+Hologres=智能物流

本文将会为你分享菜鸟团队如何使用Hologres成功替换原HBase架构,打造新一代智能物流平台。

架构 hbase 数据处理 OLAP 数据同步 存储 数据存储

有哪些大数据处理工具?

本文分享作者在大数据系统实践过程中接触过的一些工具及使用感受,抛砖引玉,和同学们一起构建一个分布式产品的全景图。

分布式 大数据 hbase hdfs hadoop Apache Image spark Hive Mapreduce 存储

Phoenix索引构建最佳实践

介绍三种的不同的索引构建方法及其适用场景

hbase Apache 配置 集群 同步 索引 xml index

Flink 在快手实时多维分析场景的应用

作为短视频分享跟直播的平台,快手有诸多业务场景应用了 Flink,包括短视频、直播的质量监控、用户增长分析、实时数据处理、直播 CDN 调度等。此次主要介绍在快手使用 Flink 在实时多维分析场景的应用与优化。

hbase 集群 磁盘 存储 多维分析

数仓大法好!跨境电商 Shopee 的实时数仓之路

本文讲述 Flink 在 Shopee 新加坡数据组(Shopee Singapore Data Team)的应用实践,主要内容包括:实时数仓建设背景、Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景、实时任务监控、Streaming SQL 平台化、Streaming Job 管理、未来规划优化方向。

监控 hbase SQL 配置 数据仓库 电商 spark binlog 存储

如何优雅的理解HBase和BigTable

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 学习 HBase 最难的地方在于要让你的脑子真正理解它是什么。 HBase:Google BigTable 的开源实现 我们经常会把关系型数据库(RDBMS,比如 MySQL)和 HBase 搞混,因为在这两个系统中都包含 table 和 base(HBase,Database)。

分布式 域名 hbase 数据库 分布式文件系统 存储

大白话彻底搞懂 HBase RowKey 详细设计

RowKey作为HBase的核心知识点,RowKey设计会影响到数据在HBase中的分布,还会影响我们查询效率,所以RowKey的设计质量决定了HBase的质量。

hbase 排序 存储 数据存储

云数据库 HBase应用场景及优势介绍

总览 ApsaraDB for HBase是一个键值/宽表型的分布式数据库,适用于任何数据规模,可以提供单个毫秒响应的性能,尤其擅长低成本、高并发的场景,支持水平扩展到PB级存储和千万级QPS,在淘宝、支付宝、菜鸟等众多阿里巴巴核心服务中起到了关键支撑的作用。

大数据 hbase 高可用 高并发 集群 aliyun 云数据库 容灾 存储 海量数据

云数据库 HBase应用场景及优势

ApsaraDB for HBase是一个键值/宽表型的分布式数据库,适用于任何数据规模,可以提供单个毫秒响应的性能,尤其擅长低成本、高并发的场景,支持水平扩展到PB级存储和千万级QPS,在淘宝、支付宝、菜鸟等众多阿里巴巴核心服务中起到了关键支撑的作用。

大数据 架构 hbase 高可用 高并发 集群 Image 云数据库 容灾 存储 海量数据

过了这么久,我终于看懂了HBase,太不容易了QAQ

在我还不了解分布式和大数据的时候已经听说过HBase了,但对它一直都半知不解,这篇文章来讲讲吧。

分布式 大数据 mysql hbase hdfs 数据库 Image 分布式文件系统 Elasticsearch 磁盘 zookeeper 存储

好程序员大数据培训分享HBase Filter过滤器概述

  好程序员大数据培训分享HBase Filter过滤器概述,过滤器介绍HBase过滤器是一套为完成一些较高级的需求所提供的API接口。过滤器也被称为下推判断器(push-down predicates),支持把数据过滤标准从客户端下推到服务器,带有 Filter 条件的 RPC 查询请求会把 Filter 分发到各个 RegionServer,所有的过滤器都在服务端生效,使被过滤掉的数据不会被传送到客户端,这些过滤逻辑在读操作时使用,可以有效降低网络传输的压力。

大数据 hbase 程序员 正则表达式 培训 数组 好程序员 大数据培训

HBase知识点集中总结

  好程序员大数据培训分享:HBase知识点集中总结,HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

大数据 监控 hbase hadoop 程序员 高可用 集群 google 分布式系统 分布式存储 file zookeeper Mapreduce 好程序员 大数据培训

HBase协处理器加载的三种方式

  好程序员大数据培训分享HBase协处理器加载的三种方式,协处理器加载的三种方式 Shell加载 1. 上传HDFS 将打包好的HelloCoprocessor-0.0.1.jar上传服务器,然后放到HDFS上。

大数据 hbase hdfs shell 配置 好程序员 大数据培训

kafka 三种消费语义

消费语义at most once:最多消费一次,消息可能会丢失-------log日志at least once:至少消费一次,但是会重复消费 例如手动异步提交offsetexactly once:正好一次,不丢失,不重复 0.10.0.1不支持,官方说0.11已支持 例子1.log日志允许丢失 使用第一种2.log日志算钱的不允许丢,使用第二种+去重+redis部分公司去重方法,对每一条日志取一个hash值,存放到redis里面,如果redis里面有了,就不放到下游去处理3.mysql sql语句入库 选择第二种并使用hbase的put保证去重复。

mysql hbase SQL 日志 LOG

好程序员大数据培训分享之Hadoop的生态系统

  好程序员大数据培训分享之Hadoop的生态系统,这次,我整理了一下hadoop的生态系统。hadoop生态系统,意思就是以hadoop为平台的各种应用框架,相互兼容,组成了一个独立的应用体系,也可以称之为生态圈。

分布式 大数据 算法 storm hbase hdfs hadoop 程序员 日志 数据库 数据流 集群 数据挖掘 spark 培训

94
GO