数据-求一份配置完整简单优化过的nutch

作者:用户 来源:互联网 浏览:350 次 时间:2016-02-16 13:48:46

软件数据nutch

数据-求一份配置完整简单优化过的nutch - 摘要: 求一份配置完整简单优化过的nutch求一份配置完整简单优化过的nutch。自己弄了一个多月了,但是还是爬取不到太多数据,爬了10多个小时,却只有5万多条数据,所以想找各位大神要一份配置好的可行的nut

问题描述

求一份配置完整简单优化过的nutch

求一份配置完整简单优化过的nutch。自己弄了一个多月了,但是还是爬取不到太多数据,
爬了10多个小时,却只有5万多条数据,所以想找各位大神要一份配置好的可行的nutch(我暂时还没有配hadoop集群,想单机跑),
我试试,看看是不是我配置的问题。。。。。。实在搞不定了。。也使用过自动更改ip的软件来防止ip被封,但是还是没效果。。。。。。。。

解决方案

建议多进程,多台计算机跑,加快速度,也可能和你的单IP有关

解决方案二:

哦。。。我用软件设置定时重启路由,这样的话ip应该会改变吧。。可能确实是单机跑效率不够。。。就是不知道一般nutch在实际应用中一天能跑多少数据。。

【云栖快讯】阿里云栖开发者沙龙(Java技术专场)火热来袭!快来报名参与吧!  详情请点击
云栖社区(yq.aliyun.com)为您免费提供数据-求一份配置完整简单优化过的nutch相关信息,包括 软件数据 nutch 的信息 ,所有数据-求一份配置完整简单优化过的nutch相关内容均不代表云栖社区的意见! 该页面h5页面的地址是:https://m.aliyun.com/yunqi/wenzhang/show_65500,您可以点击数据-求一份配置完整简单优化过的nutch-手机站访问。
双十二
弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率

40+云计算产品,6个月免费体验

现在注册,免费体验40+云产品,及域名优惠!

云服务器9.9元/月,大学必备

热点导航