《精通Python网络爬虫:核心技术、框架与项目实战》——1.3 网络爬虫的组成

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

《精通Python网络爬虫:核心技术、框架与项目实战》——1.3 网络爬虫的组成

华章计算机 2017-05-02 17:02:00 浏览2244
展开阅读全文

本节书摘来自华章出版社《精通Python网络爬虫:核心技术、框架与项目实战》一书中的第1章,第1.3节,作者 韦 玮,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.3 网络爬虫的组成

接下来,我们将介绍网络爬虫的组成。网络爬虫由控制节点、爬虫节点、资源库构成。

图1-1所示是网络爬虫的控制节点和爬虫节点的结构关系。


f06ac635188406f711a2caade1342fa9d5c04ae8

可以看到,网络爬虫中可以有多个控制节点,每个控制节点下可以有多个爬虫节点,控制节点之间可以互相通信,同时,控制节点和其下的各爬虫节点之间也可以进行互相通信,属于同一个控制节点下的各爬虫节点间,亦可以互相通信。

控制节点,也叫作爬虫的中央控制器,主要负责根据URL地址分配线程,并调用爬虫节点进行具体的爬行。

爬虫节点会按照相关的算法,对网页进行具体的爬行,主要包括下载网页以及对网页的文本进行处理,爬行后,会将对应的爬行

网友评论

登录后评论
0/500
评论