峰七(林学维) + 关注

峰七(林学维) 发表了文章:

Spark SQL repartition 为啥生成的文件变大了?

发布时间:2020-05-29 17:09:34 浏览:636 回帖 :2

记录一个客户问题 客户用Spark SQL的repartition接口来解决Hive ORC表小文件的问题,发现文件膨胀的很厉害 比如原来有1000个小文件,总大小是500MBrepartition...

SQL spark 索引

峰七(林学维) 发表了文章:

Maxcompute Spark 访问 阿里云 Hbase

发布时间:2020-05-28 11:27:07 浏览:497 回帖 :0

引子 本来这个东西是没啥好写的,但是在帮客户解决问题的时候,发现链路太长,不能怪客户弄不出来,记录一下 需求列表 MaxCompute Spark包 (写文章时刻为版本 0.32.1, ...

云栖社区 安全 hbase hadoop shell odps 测试 spark aliyun Access service github MaxCompute

峰七(林学维) 发表了文章:

记一个压缩格式的问题

发布时间:2020-05-21 16:28:19 浏览:333 回帖 :0

问题描述 Hive ORC table常规小文件过多问题,于是用Spark写了一个Application来自动的Merge分区数据,思路很简单大概就是 insert overwrite table...

Image spark DataFrame

峰七(林学维) 发表了文章:

【公共云支持】MaxCompute Spark支持交互式Zeppelin

发布时间:2019-07-10 13:51:17 浏览:1136 回帖 :0

【公共云支持】MaxCompute Spark支持交互式Zeppelin

日志 配置 Image spark aliyun 脚本 url zeppelin MaxCompute 交互式

峰七(林学维) 发表了文章:

【MaxCompute Spark】不想自己搭Spark集群, 也能跑Spark分布式作业???

发布时间:2019-05-16 19:14:03 浏览:1985 回帖 :1

【MaxCompute Spark】不想自己搭Spark集群, 也能跑Spark分布式作业???

分布式 分布式系统与计算 hadoop 配置 集群 odps spark aliyun API EMR service MaxCompute

暂未提供

感兴趣or擅长的领域:

更多>
德哥
德哥
文章:2070丨 粉丝:19830丨 话题:12
封神
封神
文章:34丨 粉丝:15360丨 话题:2
技术小能手
技术小能手
文章:6478丨 粉丝:73351丨 话题:9
小旋风柴进
小旋风柴进
文章:2586丨 粉丝:30470丨 话题:0
升功
升功
文章:0丨 粉丝:78372丨 话题:0
sheeta
sheeta
文章:69丨 粉丝:81114丨 话题:0
更多>
水木年华~
水木年华~
文章:0丨 粉丝:0丨 话题:0
q4323636
q4323636
文章:0丨 粉丝:0丨 话题:0
猫不想吃鱼
猫不想吃鱼
文章:0丨 粉丝:0丨 话题:0
aiorbis
aiorbis
文章:0丨 粉丝:0丨 话题:0
AAA1
AAA1
文章:0丨 粉丝:0丨 话题:0
236620103977364932
236620103977364932
文章:0丨 粉丝:0丨 话题:0