小文件能通过参数设置,比如1000个文件,小余100m的文件,占总的比例90%, 然后自动优化
Smart Shuffle , map task 还没执行完, reduce task就启动了??
smartshuffle 贡献出来了吗,在哪可以体验一把
一般是使用spark的standalone集群还是spark on yarn的方式呢,哪种比较好