1. 云栖社区>
  2. 全部标签>
  3. #hbase#
hbase

#hbase#

已有6人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

你用pig分析access_log日志中ip访问次数

环境说明: os版本:rhel5.7 64位 hadoop版本:hadoop-0.20.2 hbase版本:hbase-0.90.5 pig版本:pig-0.9.2 访问日志文件,下载文章中的附件! 日志放在本地目录路径为:/home/hadoop/access_log.

hbase hdfs hadoop 日志 LOG Apache test Group thread input

利用python访问Hbase(Thrift模块安装与测试)

hadoop环境介绍: master服务:node1 slave服务器:node2,node3,node4 mysql服务器:node29 Thrift安装在node1服务器上! 相关软件版本: hadoop版本:hadoop-0.

python 服务器 mysql hbase hadoop 模块 测试 脚本 sqoop

HMaster启动流程简析

很多细节不便在本篇写的过于详细,等后续细节分析 0. 由HBaseCommandLine首先对HMaster进行初始化 0.1 检查是否进行了IP绑定(https://issues.apache.org/jira/browse/HBASE-8148),获取地址 0.

hbase 线程 Server zookeeper threadpool

HBase Client API 简析

昨天在飞机上的2个小时看了一遍HBase的Client API,有几点心得: 1.在Put小记录时最好关闭autoFlush,并合理设置WriterBuffer: 因为每次Put都要进行一次RPC调用+WAL(关闭对写入提升非常大)+Server端处理,如果对于大批量小数据写入的话RPC的RTT消...

RPC hbase API Server PUT fetch handler

通过Hive查询 HBase

线上的zipkin的存储是利用的HBase0.94.6,一开始Dev想直接写MR来做离线分析,后来聊了下发现走Hive会提高开发的效率(当然,这里查询HBase的SQL接口还有phoenix,Impala等,只不过都还不够成熟,并且是离线分析不是adhocquery,BTW,前阶段和intel的聊过他们的Hive Over HBase是跳过MR的,效率非常赞,不过钱也略贵了=.

java hbase hadoop Apache reduce string JDBC Hive test 离线分析 timestamp Security Mapreduce

Hadoop集群(三) Hbase搭建

前面已经完成Zookeeper和HDFS的安装,本文会详细介绍Hbase的安装步骤。以及安装过程中遇到问题的汇总。 系列文章: Hadoop集群(一) Zookeeper搭建 Hadoop集群(二) HDFS搭建 Hadoop集群(四) Hadoop升级 下面开始Hbase的安装。

hbase hdfs hadoop 集群 SSH zookeeper

Hadoop集群(四) Hadoop升级

Hadoop前面安装的集群是2.6版本,现在升级到2.7版本。 注意,这个集群上有运行Hbase,所以,升级前后,需要启停Hbase。 更多安装步骤,请参考: Hadoop集群(一) Zookeeper搭建 Hadoop集群(二) HDFS搭建 Hadoop集群(三) Hbase搭建 升级步骤如...

hbase hdfs hadoop 集群 SSH

部署Ganglia监控Hadoop&Hbase

在运维hadoop的时候,经常会遇到一些性能问题。而性能问题,是无法简单通过web页面和log分析出来的。需要很多方面的指标。而Ganglia就是比较实用个监控工具之一。 部署Ganglia,百度一下,很多人已经分享很多。

监控 hbase hadoop yum 配置 class service

云场景实践研究第73期:国网浙江电力

国网浙江电力大数据平台架构师陈振带来Dataworks/MaxCompute在国网应用的实践。本文主要从建设数据仓库的三个痛点开始谈起,借助阿里云服务引出企业级数仓架构设计,数据集成和企业级管理的提升,最后作了简要的展望。

云栖社区 大数据 架构 hbase 数据处理 数据仓库 平台架构 数加 云数据库 数据中心 数据存储 MaxCompute 云场景实践研究

云场景实践研究第43期:G7

作为一家国内最专业的物流数据服务公司,G7通过与阿里云合作,实现了架构的可靠性,保障了系统的安全性,同时降低了所需成本。本文将带领大家一同了解G7与阿里云的强强合作之路。

大数据 安全 架构 hbase 防火墙 物流行业 数据库 集群 数据迁移 云数据库 云服务 物联网 数据同步 私有云 云场景实践研究

云场景实践研究第23期:掌慧纵盈

2016年,掌慧纵盈通过阿里云产品,率先构建了业界领先的大数据平台。本文将具体分析掌慧纵盈如何选择阿里云E-MapReduce等产品来满足需求和相应业务架构的实现。

大数据 架构 OSS hbase 日志 集群 工单 开源大数据 e-mapreduce slb 云服务 Hive 云平台 带宽 云场景实践研究

云场景实践研究第81期:大搜车

2017云栖大会HBase专场,大搜车高级数据架构师申玉宝带来阿里云云数据库HBase在大搜车金融业务中的应用实践。本文主要从数据大屏开始谈起,进而分享了GPS风控实践,包括架构、聚集分析等,最后还分享了流式数据统计,包括数据流、数据合流和服务监控等。

架构 监控 hbase 性能 云数据库 数据大屏 性能测试 报表 云场景实践研究

云场景实践研究第82期:亿方云科技

2017云栖大会HBase专场,亿方云科技CTO 王成军带来HBase在亿方云客户端同步系统中的应用实践的演讲。本文分析亿方云科技在HBase方面的实践,并对亿方云HBase演进和应用作了分享。

云栖社区 架构 hbase 云栖大会 数据处理 数据安全 云数据库 云平台 云场景实践研究

NoSQL数据库:从故障中恢复数据的原理

当应用程序处理由NoSQL创建的大量非结构化数据时,保持运行的稳定性与有效性是十分重要的。用户在决定持久栈(persistence stack)的主要架构时,了解每个数据库之间的特点与细微差别也非常重要。

架构 NOSQL MongoDB hbase hdfs hadoop 数据库 Processing Cassandra 分布式文件系统 数据恢复

现代IM系统中消息推送和存储架构的实现

前言 IM全称是『Instant Messaging』,中文名是即时通讯。在这个高度信息化的移动互联网时代,生活中IM类产品已经成为必备品,比较有名的如钉钉、微信、QQ等以IM为核心功能的产品。当然目前微信已经成长为一个生态型产品,但其核心功能还是IM。

分布式 消息系统 架构 TableStore hbase HTTPS 数据库 高并发 钉钉 同步 string 表格存储 存储 即时通讯 im

Hbase关键的几个点

一. 什么时候需要HBase 半结构化或非结构化数据 对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用HBase。当业务发展需要增加存储比如一个用户的email,phone,address信息时RDBMS需要停机维护,而HBase支持动态增加. 记录非常稀疏 RDBMS的行有多少列是固定的,为null的列浪费了存储空间。

java hbase 性能 排序 索引 timestamp 存储

放心过年的正确姿势:云监控开启一键报警

监控年关,运维同学最关心的是什么? 服务千万不要挂,不过服务永远不挂是不可能的。重点是,服务异常了,你可以及时被通知到,以便快速做出反应,及时修复问题。 一句话,让云监控通知你,而不是让老板通知你。 然而,越来越多的企业上云,使用越来越多的服务、产品,这些产品运维的好不好?有没有风险?如果有风险,我如何能知道?这么多产品,这么多机器,我怎么能快速的甚至一键的弄一个简单监控,满足的需求? 好吧, 云监控赶在年前,推出了一键报警功能, 可以一键开启对[ecs,rds,slb,redis,mongodb,hbase]等6个产品的所有实例的监控,注意是所有实例。

监控 MongoDB hbase Image 云监控 报警

【hadoop学习日志】入门资料--认识hadoop

前言 hadoop已经有很多资料了,所以在此只敢说整理,顺便分享下自己的想法。 我觉得,hadoop这东西要弄过搜索引擎方向最容易上手,对一个外行人,忽然介入,会遇到很多新概念和新理念。 如果你是第一次看到hadoop,那用这种说法来让你理解: hadoop = MapReduce+HDFS(hadoop 文件系统) 进一步解释: MapReduce是一个项目,HDFS是另一个项目,他们组成了hadoop。

分布式 hbase hdfs hadoop 日志 Apache 数据库 数据仓库 集群 排序 测试 google 分布式文件系统 分布式系统 facebook

HBase 转 json

1 2 3 4 5 6 7 8 9 10   import com.alibaba.fastjson.JSON       Configuration conf = HBaseConfiguration.

hbase Json string Create cto Blog alibaba fastjson

hbase,zookeeper安装部署(二)

一、Hbase基础 1.概念   Hbase是一个在HDFS上开发的面向列分布式数据库,用于实时地随机访问超大规模数据集,它是一个面向列族的存储器。由于调优和存储都是在列族这个层次上进行,最好所有列族的成员都有相同的“访问模式”和大小特征 2.区域  hbase自动把表水平划分“区域”(region)。

java hbase hadoop 日志 Apache Server zookeeper

45
GO