1. 云栖社区>
  2. 全部标签>
  3. #spark#
spark

#spark#

已有24人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

社区 有spark访问hbase 的链接器么?

可以使用 shc 实现,参考: https://github.com/hortonworks-spark/shc/

云栖社区 数据存储与数据库 hbase spark github

hive on hbase是否可以解决hive修改记录的问题,性能怎么样

hive 的 update 可以使用 kudu 解决,on hbase 的情况不太了解。1、kudu本身就不成熟,用多了就是坑,国内都没有成熟的案例2、建议大家用kudu去付费给商业公司或者自己有特别厉害的人3、全部离线,就直接 转化为pa…

云栖社区 数据存储与数据库 hbase 性能 spark Hive update

tidb这类new sql 会对hbase造成很大冲击吗?

hbase上也有newsql层Phoenix,同时可以配合Spark做复杂分析。

云栖社区 数据存储与数据库 hbase SQL spark

HBase +Spark 社区活动的直播会录下来吗?

钉钉群里有回放。申请加群:https://wx.dingtalk.com/invite-page/weixin.html?corpId=dingec8ec94d58f5cdf735c2f4657eb6378f&inviterUid=…

云栖社区 数据存储与数据库 hbase 钉钉 spark html

spark streaming的监控报警

请问spark streaming对接kafka,出现三个批次的延迟,这个在程序中可以判断吗?应该调用哪个借口

监控 hbase 配置 钉钉 spark Driver html

[@徐雷frank][¥20]Mongodb在Spark和大数据领域中的实际应用和整合

你好,徐老师,我说在的公司是游戏公司。现在目前使用的是社区版最新mongodb,我们使用mongodb主要用于游戏玩家行为的一些日志记录,例如玩家的留存率,登陆信息,还有一些关卡的相关埋点统计数据等都会插入到mongodb中,然后我们现在是…

大数据 分布式系统与计算 MongoDB 性能 日志 数据库 spark 报表 云数据库MongoDB版

写hbase 接口的时候是否需要单例模式,hbase 连接是否需要关闭?【应用场景:sparkstreaming 从kafka 拿数据存入hbase】

1、使用单例的时候,程序里边始终只有一个connection实例,但是,我spark程序本身就是一个多线程,一个线程在使用连接的时候其 他的线程是不是在等待?2、spark程序处理的时候 假设我有是个计算节点,如果每个节点使用…

hbase 线程 spark 多线程 Group

sparkstreaming异步消费kafka疑问

假设A topic有3个分区(p0、p1、p2),Spark streaming分配1个Executor,3个CPU。streaming会在这个Executor上启动3个Task(t0、t1、t2),这3个task会分别消费A topic上…

hbase spark CPU

Spark导入数据到HBase问题(BulkLoad)

import java.util.ArrayList;import java.util.Iterator;import java.util.List;import org.apache.hadoop.fs.Path;import org.…

java hbase hadoop Apache ADD spark string class zookeeper Mapreduce

将hdfs数据写入到phoenix

1、spark方式:官网写入数据有不行,报org.apache.phoenix.mapreduce.PhoenixOutputFormat这个类找不到,但是我这累的jar我确定我已经导入了。2、CsvBulkLoadTool导入数据,可不可…

hbase hdfs Apache spark JDBC Mapreduce

spark怎么分析hbase的数据?

spark怎么分析hbase的数据?

hbase spark

spark kafka direct stream的一个问题

sparkstreaming使用kakfa direct streaming api创建streaming。这个api是从kafka文件中直接获取数据的,kafka topic有多少个分区就对应着stream中的rdd有多少个分区。我想问问…

hbase spark API stream

spark 写入habse 连接异常,

spark写入hbase 报错,我本地测试过没问题,但线上的我发现 数据存进入了大部分,后来不知道为什么spark跑到180/200 task任务后就开始报 hbase连接异常了 2018-10-11 17:44:49 INFO Cli…

java RDS hbase Apache spark Server session read Socket SUN zookeeper

Hadoop环境搭建问题

请问大家搭建Hadoop环境, HADOOP,HBASE,FLINK,SPARK 等HA模式 搭建服务器分布是怎么样的呢?NameNode,ResourceManager,HMaster,JobManager等搭建在相同服务器,其他数据…

服务器 hbase hadoop spark 数据节点

请问flink 能像spark那样直接对hive表进行查询和计算吗?

转自钉钉群21789141:请问flink 能像spark那样直接对hive表进行查询和计算吗?

大数据 spark Hive 流计算 flink 实时计算

28
GO