云栖社区

峰七（林学维） + 关注

峰七（林学维） 发表了文章：

Spark SQL repartition 为啥生成的文件变大了？

发布时间：2020-05-29 17:09:34 浏览：636 回帖 ：2

记录一个客户问题 客户用Spark SQL的repartition接口来解决Hive ORC表小文件的问题，发现文件膨胀的很厉害 比如原来有1000个小文件，总大小是500MBrepartition...

SQL spark 索引

峰七（林学维） 发表了文章：

Maxcompute Spark 访问 阿里云 Hbase

发布时间：2020-05-28 11:27:07 浏览：497 回帖 ：0

引子 本来这个东西是没啥好写的，但是在帮客户解决问题的时候，发现链路太长，不能怪客户弄不出来，记录一下 需求列表 MaxCompute Spark包 (写文章时刻为版本 0.32.1, ...

云栖社区 安全 hbase hadoop shell odps 测试 spark aliyun Access service github MaxCompute

峰七（林学维） 发表了文章：

记一个压缩格式的问题

发布时间：2020-05-21 16:28:19 浏览：333 回帖 ：0

问题描述 Hive ORC table常规小文件过多问题，于是用Spark写了一个Application来自动的Merge分区数据，思路很简单大概就是 insert overwrite table...

Image spark DataFrame

峰七（林学维） 发表了文章：

【公共云支持】MaxCompute Spark支持交互式Zeppelin

发布时间：2019-07-10 13:51:17 浏览：1136 回帖 ：0

【公共云支持】MaxCompute Spark支持交互式Zeppelin

日志 配置 Image spark aliyun 脚本 url zeppelin MaxCompute 交互式

峰七（林学维） 发表了文章：

【MaxCompute Spark】不想自己搭Spark集群, 也能跑Spark分布式作业？？？

发布时间：2019-05-16 19:14:03 浏览：1985 回帖 ：1

【MaxCompute Spark】不想自己搭Spark集群, 也能跑Spark分布式作业？？？

分布式 分布式系统与计算 hadoop 配置 集群 odps spark aliyun API EMR service MaxCompute

  • 简介：
暂未提供

感兴趣or擅长的领域：

分布式系统与计算 互联网产品及应用 架构 引擎技术 算法
  • 关注的人(249)
更多>
德哥
德哥
公益是一辈子的事, I'm digoal, just...
文章：2070丨 粉丝：19830丨 话题：12
封神
封神
封神 09年加入阿里巴巴，阿里云高级技术专家、架构师；专注...
文章：34丨 粉丝：15360丨 话题：2
技术小能手
技术小能手
云栖运营小编～
文章：6478丨 粉丝：73351丨 话题：9
小旋风柴进
小旋风柴进
文章：2586丨 粉丝：30470丨 话题：0
升功
升功
阿里云计算
文章：0丨 粉丝：78372丨 话题：0
sheeta
sheeta
云栖社区内容运营
文章：69丨 粉丝：81114丨 话题：0
  • TA的粉丝(7)
更多>
水木年华~
水木年华~
文章：0丨 粉丝：0丨 话题：0
q4323636
q4323636
文章：0丨 粉丝：0丨 话题：0
猫不想吃鱼
猫不想吃鱼
软件开发工程师
文章：0丨 粉丝：0丨 话题：0
aiorbis
aiorbis
文章：0丨 粉丝：0丨 话题：0
AAA1
AAA1
文章：0丨 粉丝：0丨 话题：0
236620103977364932
236620103977364932
文章：0丨 粉丝：0丨 话题：0