1. 聚能聊>
  2. 话题详情

玩转大数据,顺利渡过34岁裁退危机!

34bei

某菊花厂要把34岁以上的员工都裁退,中年都没到就危机了,票子木有了,工作木有了,连最热爱的数据库都没机会玩了,还好,有一个快速上手玩转大数据的机会!一定要好好珍惜啊!阿里云有一款大数据产品,云HBase,其是基于 Hadoop 的一个分布式数据库,支持海量的PB级的大数据存储,适用于高吞吐的随机读写的场景,有Hadoop基础的程序员上手是极快地!再还有免费申请公测的机会,不花钱就能学会大数据,棒棒达。
申请云数据库HBase免费公测,请戳这里
有兴趣的小伙伴可以申请,**免费公测仅剩最后30天哦!**公测期间我们有技术专家提供一对一服务。加入技术交流群
针对公测期间大家比较关心的问题,下面罗列出来,各位可以畅所欲言,谈谈你们的想法,本话题主要讨论:

那么一起来聊聊大数据的话题吧

·你用过哪些大数据产品,各自有什么优势和问题?有没有用过云数据库HBase?

·你是否希望或正在使用云HBase,你认为其应用场景有哪些?物联网、大数据、还是其它?

·期待阿里云HBase推出怎样的功能? 备份、自动扩容、即可即用、性能大幅度提升? 聊聊你期望的吧。

·HBase存在哪些问题需要改进? GC问题?Phoenix接入?

·曾经自建HBase中遇到的麻烦事?上云后遇到的或者有什么担心的问题吗?

·对阿里云HBase商业化后价格这块的期望是什么?(以你们自己的规格多少钱一个月可以接受)

参与话题

奖品区域 活动规则 活动已结束,可继续参与讨论哦

  • 奖品一

    优酷VIP月卡 x 2

  • 奖品二

    淘公仔 x 4

88个回答

3

一大侠 已获得淘公仔

Hbase不能支持条件查询,这个在查询上做起来有点麻烦,自己搭建的HBase在Master server的故障切换,当Master宕机后,整个存储系统都down掉,有云上的HBase就方便多了,希望有出色的表现!公诉小编一个秘密:梦寐以求得到一个淘公仔,请成全!

不与 回复

看你写的这么中肯,赏公仔一个,多对我们的HBase提出宝贵意见哈

封神 回复

赤裸裸的要淘公仔啊

评论
3

爵霸 已获得淘公仔

Hbase 近几年发展迅速,应用面越来越广,但是它存在的问题不容忽视。
原生HBase不支持索引,而NoSql数据库都把索引的支持作为基础功能来处理。查询方式单一,只支持基于主键的数据读写和范围查询,对非主键列的数据筛选只能通过过滤器的低效处理方式来完成,如果用户从客户端建立索引,则需要自己维护索引表,HBase也不支持跨行或跨表事务,操作冲突导致失败时数据回滚这些复杂逻辑都需要用户自己完成!
PS:我想要一个淘公仔

封神 回复

这个phoenix已经解决了,云hbase支持phoenix4.6,支持二级索引的,很多公司都在使用。 phoenix高版本支持事物,不过目前还不稳定。

评论
0

溢清 已获得淘公仔

通过观察,发娃娃的小伙主要看评论:

逻辑是否合理!
语言组织清晰!
优美优挫憋紫!

或者技术上是否和他一样XX(或者跟高).
还有最重要的就是:能必能厚颜无耻的说!
我要公仔我要娃!
解;才可以得到娃娃!

评论:我要公仔,我习惯机器娃娃!

封神 回复

这样是拿不到淘公仔的哦

不与 回复

看你分析的这么自信,不给你娃娃都对不起你打了那么多感叹号,但是我大哥说你这样是拿不到淘公仔的,好生为难啊

评论
0

1901044285466817 已获得优酷VIP月卡

个人认为,Hbase的核心就是缓存+列存储+拆表。其余特性其实是分布式系统的特性,例如HMaster的HA,这种在中心化分布式系统中也是很成熟的解决方案,数据的多版本也是分布式系统副本的特性。 求优酷卡!

不与 回复

看你这么执着优酷卡,赏你一个,话说看你的回复的水平你应该是要个阿里云代金券才对

评论
0

seaseeyoul 已获得淘公仔

1.我不是玩转大数据的,我是做前端的
2.我现在也在好好学习,希望明年有机会进入阿里爸爸
3.我的服务器上周down掉了
4.求送一个淘公仔,
5.感谢 不与 大大

0

1831395790633857 已获得优酷VIP月卡

新人有话说!无论从是大数据技术还是阿里云使用来说,我都是萌新,以后我将会在这里充实自己的知识量,好多干货呀,非常感谢让我知道这个东西的老师,以及开发这个软件的各位同僚!我要优酷会员卡,谢谢!

1

风移

既然是HBase就说说HBase,曾经管理和维护自建IDC的Cloudera CDH 5.4的5个HBase Cluster。回忆下过去的HBASE经历:
1. 每个集群大概50台Server,配置64 Core CPU/12TB存储/256GB内存。这里最大挑战就是去不断调整HBASE/HADOOP/JAVA HEAP的参数,使得HBASE达到最好的性能。
2. 业务包括:OFFLINE的Solr Index Building数据源; Online的单RowKey Seek和R owKey范围查找。
3. 也使用Phoenix,来解决二级索引查找的问题,HBase没有原生态支持二级索引,如果自建二级索引,维护成本比较高,数据一致性是很大的挑战。
4. 也使用Facebook的Presto 提供T-SQL的灵活查询。一把双刃剑,提供给客户太过灵活的查询,进场会导致HBASE某个Region Server进程压力过大而退出。
5. Online集群的数据完整性有保证,而如何使得OFFLINE集群数据与ONLINE保持同步挑战很大,可以使用HBASE的跨集群的Replication技术。也可以采用Kafka消息模式,来增量同步到OFFLINE集群。
6. HBASE数据备份:snapshot功能很棒,非常快。导出,导入都很快。

困难和挑战
1. HBASE表结构的设计,非常有讲究,RowKey的设计就是太极的核心思想,如何求得一个“和”字,也就是胡主席的“和谐”儿子的精髓。如果RowKey设计足够散列,可以大大提升Hbase随机写入的性能和提高RowKey集合的查询效率;但是,会成为Hbase按照RowKey范围查找的噩梦。需要通过业务来平衡写,读和范围读的场景。但是,软件行业的人都知道,唯一不变的是变化,业务在快速迭代,Hbase表RowKey的设计也很有可能不断变化,这个挑战就非常大了。
2. HBase内存调整:负责写内存的MemStore大小设置;负责读BlockCache大小的设置。
3. JAVA Heap的设置:JAVA 8已经支持Offheap;甚至可以使用SSD的Partition作为Offheap,可以极大的缓存更多的数据;JAVA Heap Size调整,这个可真是个技术活。一大堆的JAVA JVM观察工具和监控技巧,给本来不是写JAVA代码的人,带来不小的麻烦。
4. HBASE版本升级是个很麻烦又不到不做的事情,对组织协调能力、计划安排能力,HBASE管理能力提出了很高的要求。
5. HBASE的监控系统,这个很重要,需要从全局Cluster级别、Server级别查看相关的Metrics;更加细粒度的HBASE Table级别、Region级别Metrics采集,分析展示和自动运维。比如:发现某一个表的Region在某一个Region Server压力过大,自动运维可以起来split这个Region,然后Move到压力相对低的RegionServer上。这里又一个很大的问题是:如何分割这个Region,从哪里分割最合适,这个非常有讲究。

总结
1. HBASE比较适合于基于Rowkey的随机查找场景,效率很高,对于大范围的数据Scan,经常会导致RegionServer 服务退出(当然有可能是表设计有问题,但你不能要求每个人都是专家)。所以,个人觉得HBASE天生不适合做OLAP
2. HBASE调优,真的对管理要求很高。需要对HBASE每个性能参数了如指掌、对JAVA语言本生Heap设置,监控和调优非常熟悉、还要依赖一个强大的监控Metrics的系统来验证自己的调优。
3. HBase固然好,但入门需要有一个非常痛苦和挣扎的日期。希望还没有入行,打算要入门的同学,要有心理准备和预期。

不与 回复

没有撸过HBase的代码,但是还是能体会到你当年的痛苦,回忆起自己当年撸FPGA一样,感谢哥这么给力的回复,需要个什么奖品,必须给你发一个

评论
1

浮生递归

免费公测的意思是现在还没开始收费及确定收费规则吗?
一般对于有需要大数据功能的企业来说,肯定不差钱了吧。所以价格通常不会是主要问题,性能才是关键。
我单位还没出现过海量数据,所以暂时还用不上这些产品。等需要的时候,应该只要不是天价都能接受了。毕竟数据大,就是用户多,用户多,钱就多……

不与 回复

收费规则基本确定了,官网上有价格预告,正式商业化后的价格不会偏差太大

封神 回复
评论
1

1948973844368680

这个年头好好工作的不如投机取巧的

不与 回复

投机取巧也是一时吧,人生也有个自我价值的追求

评论
0

1792194913494844

被裁了,自己干

不与 回复

牛逼,希望有一天能和老板您合作

代码欢子 回复

创业

评论
0

365qq55

暂时没有用过,下个学期就需要学习相关的内容了。有试用期就好啊!!

不与 回复

加油小伙子,有前途

youtome 回复

个人认为大数据在物联网和公众趋势很有潜力。现实场景目前应用不广。有点高大上。。。

评论
0

1771295182197297

我什么都不会,来这就是想多学点东西,让自己会一点

不与 回复

慢慢积累,将来你是牛逼的

同上 回复

同上

评论
0

objectning

34岁裁推危机实属无稽之谈,各自领域做精深了,还怕被裁?

不与 回复

赞,这个打脸我跪着接受

评论
0

chenjiasheng

又黑我大华为

不与 回复

只个一个梗而已,华为是我们尊敬的企业,我个人还特别崇拜任正非

评论
0

dfzha

hbase大数据生态圈的一份子,合适的场景才能物尽其用!

不与 回复

有好的应用场景可以拿出来秀一秀啊

评论
0

1474095423378686

其实很多公司的失败是在于战略上的过于“高明”,实为战略上的贪婪,和对自身现状的拎不清。

不与 回复

仁兄有何高见不妨明说

评论
0

review.

请教一下,新零售怎么做啊

不与 回复

亲,这个我就不懂了,知道怎么做了记得告诉我们一些,多学习

评论
1

arivn

使用线下版本hbase时,比较关注两个问题:1.性能不稳定,性能值忽高忽低。2.备份到底用哪个工具才是最好的?

封神 回复

1、性能不稳定 可能的一个原因是混合使用,比如离线跟在线混用了。例外可能是gc,这个具体问题具体分析。
2、备份,一般就是双集群了方案了。

评论
0

yong102003

我没用过大数据。但觉得要40岁前要学会它,往后的人生里是离不开它了。

不与 回复

赞,活到老学到老,你购买过阿里云的产品么,要有我可以给你个代金券

评论
2

是我啊大人

好多东西要学习,都看不懂

4
14617
浏览
0
收藏
邀请他人互动
关注
2
粉丝
11
话题
3

简介:

阿里云云数据库NoSQL资深产品运营,负责Redis、Memcache、MongoDB、HBase产品运营
构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户...

云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 的一个分布式数据库,支持海...

一种稳定可靠、性能卓越、可弹性伸缩的数据库服务。基于飞天分布式系统和全SSD盘高性能存储,支持主备版和集群版两套...

为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本...