沐远 + 关注

沐远 参与了问答:

请教下,spark缓存rdd,前端应用是否可以直接查询这个rdd?

请教下,spark缓存rdd,前端应用是否可以直接查询这个rdd?

“1、对于同步的前端请求,不建议,一般rdd cache了,如果处理查询处理逻辑复杂也还是要几十秒才能返回2、对于异步的前端请求,是可以的”

沐远 参与了问答:

关于DataSet的应用场景,是不是DataSet一般用于SQL处理

2.x以后,Dataset出现,性能比RDD强,但是DS貌似只能处理SQL

“Dataset底层是使用sql的优化,上层的api还是基于scala的,sql语句是基于dataset包装的”

沐远 发表了文章:

云HBase X-Pack解决传统数据仓库瓶颈,赋能客户计算分析业务

发布时间:2019-02-26 11:19:42 浏览:7520 回帖 :1

某游戏公司随着业务快速发展,用户行为日志快速增长,需要从海量的点击流日志和激活日志中挖掘数据的价值,比如广告转化率、激活率,每日安装用户成本等等。原来使用GreenPlum做实时计算和统计分析遇到一些...

架构 Greenplum hbase 性能 SQL 日志 高并发 配置 数据仓库 游戏 spark 解决方案 habse

沐远 发表了文章:

hive数据导入云hbase

发布时间:2018-08-23 21:11:50 浏览:3738 回帖 :1

网络环境 专线:用户需要把hbase集群的VPC相关网络信息配置到专线里面,可直通hbase环境 公有云虚拟机VPC环境:选择和hbase通VPC 其他:需要开hbase公网 注意:默认导入h...

hbase hadoop Apache ADD string Hive schema 云虚拟机 Create 阿里云数据库ApsaraDB

沐远 发表了文章:

使用spark分析云HBase的数据

发布时间:2018-03-30 14:25:20 浏览:4054 回帖 :0

  云HBase具有很好的在线入库和查询能力,不过在分析上面有比较大的欠缺,这篇文章主要介绍如何使用Spark对云HBase中数据做复杂分析。

hbase hdfs 性能 SQL Apache 高并发 配置 集群 spark API 存储

暂未提供

感兴趣or擅长的领域:

暂无
更多>
赵慧
赵慧
文章:0丨 粉丝:18448丨 话题:0
daniel.meng
daniel.meng
文章:4丨 粉丝:5589丨 话题:0
封神
封神
文章:34丨 粉丝:10567丨 话题:2
更多>
游客r4utjiommeacm
游客r4utjiommeacm
文章:0丨 粉丝:0丨 话题:0
游客jaxtidrdskl3s
游客jaxtidrdskl3s
文章:0丨 粉丝:0丨 话题:0
leongood
leongood
文章:0丨 粉丝:0丨 话题:0
游客7oubkig37qmlc
游客7oubkig37qmlc
文章:0丨 粉丝:0丨 话题:0
游客t2wlyvwb62shg
游客t2wlyvwb62shg
文章:0丨 粉丝:0丨 话题:0
游客3do7amadanqiq
游客3do7amadanqiq
文章:0丨 粉丝:0丨 话题:0