Scrapy详解之中间件(Middleware)

  1. 云栖社区>
  2. Python中文社区>
  3. 博客>
  4. 正文

Scrapy详解之中间件(Middleware)

技术小能手 2018-08-28 15:46:22 浏览9668
展开阅读全文

概述

10


下载器中间件(Downloader Middleware)

如上图标号4、5处所示,下载器中间件用于处理scrapy的request和response的钩子框架,可以全局的修改一些参数,如代理ip,header等

使用下载器中间件时必须激活这个中间件,方法是在settings.py文件中设置DOWNLOADER_MIDDLEWARES这个字典,格式类似如下:

DOWNLOADERMIDDLEWARES = {
    'myproject.middlewares.Custom_A_DownloaderMiddleware': 543,
    'myproject.middlewares.Custom_B_DownloaderMiddleware': 643,
    'myproject.middlewares.Custom_B_

网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属团队号: Python中文社区