手把手教你搭建一个基于Java的分布式爬虫系统

  1. 云栖社区>
  2. 中生代技术>
  3. 博客>
  4. 正文

手把手教你搭建一个基于Java的分布式爬虫系统

技术小能手 2018-06-06 11:01:45 浏览6403
展开阅读全文

在不用爬虫框架的情况下,我经过多方学习,尝试实现了一个分布式爬虫系统,并且可以将数据保存到不同地方,类似 MySQL、HBase 等。

805b2b1ff8ae9554deee6fbaa7eef95c13a104b7

因为此系统基于面向接口的编码思想来开发,所以具有一定的扩展性,有兴趣的朋友直接看一下代码,就能理解其设计思想。

虽然代码目前来说很多地方还是比较紧耦合,但只要花些时间和精力,很多都是可抽取出来并且可配置化的。

因为时间的关系,我只写了京东和苏宁易购两个网站的爬虫,但是完全可以实现不同网站爬虫的随机调度,基于其代码结构,再写国美、天猫等的商品爬取,难度不大,但是估计需要花些时间和精力。

因为在解析网页的数据时,比如我在爬取苏宁易购商品的价格时,价格是异步获取的,并且其 API 是一长串的数字组合,我花了几个小时的时间才发现其规律,当然也承认,我的经验不足。

这个系统的设计,除了基本的数据爬取以外,更关注以下几

网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 中生代技术