Windows下安装配置爬虫工具Scrapy及爬虫环境

爬虫工具Scrapy在Mac和Linux环境下都相对好装，但是在Windows上总会碰到各种莫名其妙的问题。本文记录下Scrapy在Window上的安装过程。
本文是基于Python2.7及Windows 10安装Scrapy及各种爬虫相关库。

下载安装Scrapy

Scrapy官方文档

1. 按照官网建议下载安装Anaconda,使用这个安装比直接pip安装会少很多问题。
   下载地址

2. 安装完成后，python2.7也会自动安装好，然后执行以下命令安装Scrapy.

conda install -c conda-forge scrapy

        

          
        
        
        

          

          AI 代码解读
        
      
      

安装mysql驱动

1. 下载并安装mysql官方的驱动程序。下载地址

2. 下载mysql的python驱动程序,可以把两个都装上，使用的时候再决定用哪个。

• MySQL官方的纯Python驱动

pip install mysql-connector-python

        

          
        
        
        

          

          AI 代码解读
        
      
      

• 封装了MySQL C驱动的Python驱动

  1. 安装Python版C++编译程序。下载地址

  2. 拷贝mysql驱动(32位不需要这一步)，将"C:\Program Files\MySQL" 拷贝到 “C:\Program Files (x86)\MySQL”。
     目的是为了防止下一步的错误"Cannot open include file: ‘config-win.h’: No such file or directory"

  3. 安装驱动

     pip install MySQL-python
     
             
     
               
             
             
             
     
               
     
               AI 代码解读
             
           
           

  4. 安装数据库连接池工具

     pip install DBUtils
     
             
     
               
             
             
             
     
               
     
               AI 代码解读
             
           
           

安装其它相关的依赖库

安装BeautifulSoup

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。

pip install beautifulsoup4

        

          
        
        
        

          

          AI 代码解读
        
      
      

安装PyQuery

PyQuery库也是一个非常强大又灵活的网页解析库。

pip install pyquery

        

          
        
        
        

          

          AI 代码解读