已有0人关注此标签
e-mapreduce读取OSS失败
作者： help@ftp4oss
3348人浏览
1人回答
使用e-mapreduce创建集群和spark作业，输入和输出使用oss。在输入数据很小时（几kb），程序没有问题。当输入的文件是100MB时，作业运行失败，查看节点的错误日志，有如下内容：16/02/06 15:56:08 INFO o…
我的spark性能为何这么差？
作者： help@ftp4oss
1705人浏览
1人回答
我用scala写了一个knn分类的程序，在spark上运行，和单机下运行时间做对比。用e-mapreduce，创建spark集群，2个节点，4核cpu，8GB内存，高效云磁盘。输入和输出都 用OSS。训练集1.9kb，测试集33Mb的情况下…
