《Python爬虫开发与项目实战》——1.4 进程和线程

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

《Python爬虫开发与项目实战》——1.4 进程和线程

华章计算机 2017-05-02 14:44:00 浏览1684
展开阅读全文

本节书摘来自华章计算机《Python爬虫开发与项目实战》一书中的第1章,第1.4节,作者:范传辉著,更多章节内容可以访问云栖社区“华章计算机”公众号查看

1.4 进程和线程

  在爬虫开发中,进程和线程的概念是非常重要的。提高爬虫的工作效率,打造分布式爬虫,都离不开进程和线程的身影。本节将从多进程、多线程、协程和分布式进程等四个方面,帮助大家回顾Python语言中进程和线程中的常用操作,以便在接下来的爬虫开发中灵活运用进程和线程。
1.4.1 多进程
  Python实现多进程的方式主要有两种,一种方法是使用os模块中的fork方法,另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统,对Windows不支持,后者则是跨平台的实现方式。由于现在很多爬虫程序都是运行在Unix/Li

网友评论

登录后评论
0/500
评论
华章计算机
+ 关注
所属云栖号: 华章计算机