云hbase+spark + 关注

云hbase+spark 发表了文章:

Spark 通用的性能配置方法:内存和CPU的配置

发布时间:2019-07-08 17:37:24 浏览:319 回帖 :0

前言 本文主要介绍关于通过配置Spark任务运行时的内存和CPU(Vcore)来提升Spark性能的方法。通过配置内存和CPU(Vcore)是比较基础、通用的方法。本文出现的Demo以X-Pack ...

性能 配置 spark Driver CPU x-pack spark性能调优

云hbase+spark 发表了文章:

Spark入门介绍

发布时间:2019-06-22 23:06:22 浏览:768 回帖 :0

前言 Spark自从2014年1.2版本发布以来,已成为大数据计算的通用组件。网上介绍Spark的资源也非常多,但是不利于用户快速入门,所以本文主要通从用户的角度来介绍Spark,让用户能快速的认识...

安全与风控 大数据 hbase SQL 数据库 集群 spark aliyun 分布式计算 存储 Streaming 数仓 离线 x-pack

云hbase+spark 发表了文章:

如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析

发布时间:2019-06-22 12:07:28 浏览:374 回帖 :0

概述 X-Pack Spark目前是通过Yarn管理资源,在提交Spark 任务后我们经常需要知道任务的运行状况,例如在哪里看日志、怎么查看每个Executor的运行状态、每个task的运行状态,性...

性能 日志 集群 spark yarn Streaming x-pack stage

云hbase+spark 发表了文章:

云Kafka搭配云HBase X-Pack构建一体化数据处理平台

发布时间:2019-06-20 15:00:31 浏览:4478 回帖 :0

云HBase X-Pack是基于Apache HBase、Phoenix、Spark深度扩展,融合Solr检索等技术,支持海量数据的一站式存储、检索与分析。融合云kafka+云HBase X-Pack...

大数据 架构 算法 hbase 融合云 数据处理 消息中间件 logstash spark aliyun 物联网 html 存储 kafka 海量数据

云hbase+spark 发表了文章:

X-Pack Spark用户手册

发布时间:2019-06-18 16:56:25 浏览:986 回帖 :0

概述 Spark是大数据平台的通用计算平台,应用非常广泛。本文主要介绍Spark相关的知识,主要包括:了解Spark,使用Spark,使用Spark过程中遇到的问题FAQ等,谨帮助用户快速的掌握Sp...

faq 大数据 SQL 日志 spark Streaming x-pack structured

云hbase+spark 评论了文章:

大数据平台解决方案,Hadoop + HDFS+Hive+Hbase大数据开发整体架构设计

发布时间:2019-05-20 15:37:07 浏览:397 回帖 :1

HDFS:分布式、高度容错性文件系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用,大规模的波若大数据平台(BR-odp)用户部署上1000台的HDFS集群。

分布式 大数据 架构 hbase hdfs hadoop 数据库 数据仓库 解决方案 Hive 分布式数据采集 湖北Hadoop Hadoop大数据 大数据平台解决方案 分布式文件系统HDFS

“明显现在都是 用spark的”

云hbase+spark 评论了文章:

Phoenix(云 HBase SQL)核心功能原理及应用场景介绍

发布时间:2019-05-27 20:53:16 浏览:7128 回帖 :1

概况了Phoenix(云HBase SQL) ) 入门到精通系列大多数内容,介绍了核心功能原理,相关生态工具及应用场景

hbase SQL database phoenix NewSQL

“最便宜的数据库~”

云hbase+spark 参与了问答:

HBase thrift的线程池大小如何设置?线程插入后多久会销毁?

HBase thrift的线程池大小如何设置?线程插入后多久会销毁?

“hbase.thrift.maxWorkerThreadshbase.thrift.minWorkerThreads上面两个调成一样大”

云hbase+spark 参与了问答:

HBase thrift的线程池大小如何设置?线程插入后多久会销毁?

请问一下,并发插入量每秒才3000左右,这里设置了3000,依然大量等待状态。这个值调大之后,线程池大小在哪里设置呢?我想设置小点,这个线程插入完成之后在多久会销毁呢?

“hbase.thrift.maxWorkerThreadshbase.thrift.minWorkerThreads上面两个调成一样大”

云hbase+spark 参与了问答:

hbase中如何每天更新千万级别的用户标签数据?

hbase中如何每天更新千万级别的用户标签数据?

“推荐使用bulkload”

云hbase+spark 参与了问答:

Hbase中将表状态设置为disable的时候报gc的错

Hbase中将表状态设置为disable的时候报gc的错

“发下具体日志”

云hbase+spark 参与了问答:

Hbase中将表状态设置为disable的时候报gc的错

有个hbase 的集群 ,在disable 表的时候,经常出现 waiting 问题,在服务端没有看到有用的信息呢,看到一些gc 。 大家有没有遇到过的?给些方向,监控看到 rpc processit...

“waiting是 disable操作慢,还是说影响的其它表的请求?”

云hbase+spark 参与了问答:

hbase 的olap怎么跟kylin结合,通过hive映射吗?

主要用spark 进行olap的。

“可以描述下具体需求吗?”

云hbase+spark 参与了问答:

Hbase中将表状态设置为disable的时候报gc的错

Hbase中将表状态设置为disable的时候报gc的错

“有没有日志和截图?”

云hbase+spark 参与了问答:

求助,phoenix mapping时如何避免产生写请求?

背景:应用场景是 每天查询全部的最新的数据,所以目前每天晚上会将最新的数据表往hbase里到一次,先删除hbase中的表,再bulkload倒入,最后phoenix mapping;导入动作是多张表同...

“Phoenix mapping应该不写数据的”

云hbase+spark 参与了问答:

Hive on hbase 分析10亿以上数据不是特别好?Hive on hba

Hive on hbase 分析10亿以上数据不是特别好?

“建议hbase增量导出后用spark分析”

云hbase+spark 参与了问答:

hbase中如何每天更新千万级别的用户标签数据?

请问下,用户画像数据存hbase里面(千万级别的用户),每天的标签数据如何更新会好些?通过API,一条条更新的话,感觉好慢,而且每天buckload前,新建张表,设置TTL,每天都用最新的表。

“大量数据更新用bulkload”

云hbase+spark 参与了问答:

查看HBase value对应的存储大小 就是后面的16进制吗?

都是16进制吗?

“这个问题没看明白,有截图吗?”

云hbase+spark 参与了问答:

有搭建cdh集群的教程吗? 怎样在 cdh上配置Hbase?

可以参考:https://www.cloudera.com/documentation/enterprise/release-notes/topics/rg_release_notes.html

“赞”

云hbase+spark 参与了问答:

在 hbase 中存储数据,如果要以 uuid 作为 rowkey 如何进行预分区?

参考:https://hbase.apache.org/1.2/book.html#rowkey.design建表的时候可以用shell里面的SPLITALGO => 'HexStringSpl...

“赞”
5
暂未提供

感兴趣or擅长的领域:

暂无
更多>
云栖公开课
云栖公开课
文章:1丨 粉丝:279丨 话题:1
瑾谦
瑾谦
文章:21丨 粉丝:5989丨 话题:0
遥翔
遥翔
文章:2丨 粉丝:1714丨 话题:0
明惠
明惠
文章:14丨 粉丝:1697丨 话题:0
陈江@阿里
陈江@阿里
文章:5丨 粉丝:1699丨 话题:0
云栖小助手~
云栖小助手~
文章:412丨 粉丝:4299丨 话题:5
更多>
游客kf54zzxl4eed6
游客kf54zzxl4eed6
文章:0丨 粉丝:0丨 话题:0
游客gf5ue3mfqwvig
游客gf5ue3mfqwvig
文章:0丨 粉丝:0丨 话题:0
游客m5pxc5aea4gye
游客m5pxc5aea4gye
文章:0丨 粉丝:0丨 话题:0
游客bhehk2qfhgkra
游客bhehk2qfhgkra
文章:0丨 粉丝:0丨 话题:0
游客337ucc53vv3vu
游客337ucc53vv3vu
文章:0丨 粉丝:0丨 话题:0
游客eylybcvb7cgeg
游客eylybcvb7cgeg
文章:0丨 粉丝:0丨 话题:0