分布式爬虫scrapy+redis入门

  1. 云栖社区>
  2. 博客>
  3. 正文

分布式爬虫scrapy+redis入门

潇洒坤 2018-07-30 08:37:00 浏览652
展开阅读全文

利用分布式爬虫scrapy+redis爬取伯乐在线网站,网站网址:http://blog.jobbole.com/all-posts/
后文中详情写了整个工程的流程,即时是新手按照指导走也能使程序成功运行。

1.下载64位redis软件

软件很小,4M,下载链接: https://pan.baidu.com/s/14mjeLoYJ_aFA91jq2oe2-g 密码: 4nex
下载后解压,文件夹内下图所示:

img_4729a0841e1ac7f69b5ee9fe5c6bea19.png
redis文件夹.png

2.开启redis服务

在资源管理器的路径中输入cmd,并按Enter进入命令行。
这一步的作用是cmd打开时就在此目录下。

img_1b060c7ad68e99179a749d0db7738eb7.png
image.png

进入命令行后,输入命令:redis-server redis.windows.conf
img_477fe7cf6d4387cc5d1ff27549d14859.png
输入命令.png

命令运行结果如下图所示:
img_b805c5bb50523fa9e6adf77461e28f71.png
命令运行结果.png

在之后的操作步骤中,都需要保持此cmd不被关闭
只有开启数据库服务,才能访问数据库,这是软件行业人员的常识

3.安装scrapy-redis库

安装scrapy、lxml等库的时候容易出现没法从网上安装twisted库的错误,解决方案是从将twisted库下载到本地后,用命令进行安装。
twisted库下载链接: https://pan.baidu.com/s/1BiCc0HRpGnh-O2wk0ySKtw 密码: y9gq
注意:此链接下载的版本适用于win64系统下的Python3.6版本!!如果你的Python版本不同,请在浏览器中访问此网站:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted,网站如下图所示:

img_cf0ba7f0907e82303c899991a2e06a6b.png
twisted下载网址.png

你可以根据自己的操作系统和python版本来下载需要的版本
在桌面新建一个Scrapy-redis文件,并放入下载好的后缀名为whl的文件。
img_753a4b7f852502e7cfcf25f45dcad491.png
新建文件夹.png

在资源管理器的路径中输入cmd,并按Enter进入命令行。
这一步的作用是cmd打开时就在此目录下。
img_10d483a1cb552c4fcf7255a019d0d5ac.png
进入cmd.png

进入命令行后,输入命令:pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl
img_af942100e551d420926b7d82ab73ebe8.png
命令行安装twisted库.png

安装成功则继续输入命令:pip install scrapy-redis
按照经验来说,应该不会再出现错误。能够安装成功才继续往下进行,否则自行在网上查找解决方案。

4.创建scrapy-redis工程

还是在桌面的Scrapy-redis文件夹中打开cmd
在cmd中输入命令并运行:scrapy startproject RedisTest

img_b71a529116f6bb81be6f3a21f3f81c17.png
新建工程命令.png

进入爬虫工程目录命令:cd RedisTest,运行结果如下图所示:
从图中可以看出cmd所在的目录不同
img_d12ba99596b70c6d42fee89ba1c84371.png
进入爬虫工程目录命令.png

新建爬虫文件命令: scrapy genspider article blog.jobbole.com,运行结果如下图所示:
img_bb07b29a40b562a290e87e974ff55e88.png
新建爬虫文件命令.png

5.在Pycharm中导入工程

Pycharm安装包下载链接: https://pan.baidu.com/s/1RyxEri8pZSd-osrwl5DJ7Q 密码: 3hm8
导入工程的按钮位置如下图所示:

img_7780f97f572e9b214068cd2386f6b5a9.png
image.png

选中工程文件夹,然后点击OK,如下图所示:
img_a80cebf418c0eed3edf851cdfba9419f.png
image.png

工程文件夹的结构如下图所示:
img_3013b841fe9f6c7f81d68ef5f1002146.png
image.png

6.编辑items.py文件

爬取1个字段 :title,数据类型为scrapy.Field对象

import scrapy
from scrapy import Field

class RedistestItem(scrapy.Item):
    title = Field()

7.编辑article.py文件

作为入门的教程,代码示例应该去繁就简,下面一段代码仅仅只有13行。
两种框架的区别:
1.在scrapy框架中,爬虫类继承scrapy.Spider;而在scrapy-redis框架中,爬虫类继承scrapy_redis.spiders.RedisSpider。
2.scrapy-redis框架的爬虫类中没有start_urls属性,取而代之的是redis_key属性。

from scrapy_redis.spiders import RedisSpider
from ..items import RedistestItem

class ArticleSpider(RedisSpider):
    name = 'article'
    redis_key = "bole_urls"

    def parse(self, response):
        article_list = response.xpath("//div[@class='post floated-thumb']")
        for article in article_list:
            item = RedistestItem()
            item['title'] = article.xpath("div[@class='post-meta']/p[1]/a/@title").extract_first()
            yield item

8.编辑pipelines.py文件

getConn函数用来连接数据库
代码中16-22行是Pipeline类的初始化,可以不写在___init___中,本文作者习惯这么写,主要作用是删除之前存在的article表和创建新表。

class RedistestPipeline(object):
    def process_item(self, item, spider):
        with open("article.txt",'a') as file:
            file.write("title%s\n"%item['title'])
        return item

9.编辑settings.py文件

下面代码的第5-9行是redis的相关设置,因为是从本地的redis上提取键值对,所以REDIS_HOST为127.0.0.1
如果是从公网上的redis服务器中提取键值对,则换成服务器的ip就可以。

BOT_NAME = 'RedisTest'
SPIDER_MODULES = ['RedisTest.spiders']
NEWSPIDER_MODULE = 'RedisTest.spiders'

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
REDIS_HOST = "127.0.0.1"
REDIS_PORT = 6379

ROBOTSTXT_OBEY = False
ITEM_PIPELINES = {
   'RedisTest.pipelines.RedistestPipeline': 300,
}

10.运行爬虫

在爬虫工程文件夹中打开cmd,输入命令:scrapy crawl article
下图中划红线的部分是要求读者检查是否处于爬虫工程文件夹中

img_9ba9da19c9d5bef952d95aae278a8555.png
运行爬虫.png

运行上图所示命令后,爬虫会等待redis服务器中的队列,如果队列中有新的值入队,爬虫会把该值取出,作为爬取网页的url链接。
让新值进入队列的命令:lpush {} {}
第一个大括号替换为第7步article.py文件中第6行redis_key变量的值,第二个大括号替换为需要爬取网页的url链接。
命令示例:lpush bole_urls http://blog.jobbole.com/all-posts/
如下图所示:
img_ee79af889fc8f7e9d06ade959197032d.png
lpush命令.png

读者运行时可以从爬虫运行的cmd中看到动态的效果,产生的txt文件如下图所示:
img_ea2825e2ce1983fff944b251c92a8079.png
txt文件结果.png

提示

因为只是入门教程,主要作用是帮助新手理清思路,如果要爬取更多字段可以自行修改。
按照教程的顺序认真完成每一步,可以避免踩坑。

网友评论

登录后评论
0/500
评论
潇洒坤
+ 关注