开发者社区> 问答> 正文

scrapy无法抓取css选择器指定的内容

我在ubuntu14.04上工作,使用google chrome浏览器。想使用scrapy(1.0)把拉勾网上有关python的工作都爬一遍,但是得不到想要的结果。代码如下

#!/usr/bin/python
# -*- coding: utf-8 -*-
#Filename: dmoz_spider.py

import scrapy

class DmozSpider(scrapy.Spider):
    name = "dmoz"
    start_urls = [
    'http://www.lagou.com/jobs/list_python?gj=1-3%E5%B9%B4&px=default&city=%E6%88%90%E9%83%BD#filterBox'
    ]

    def parse(self, response):
        total = response.css('.money').extract()
        print('note:', total)
        for res in total:
            print(res)

展开
收起
a123456678 2016-06-24 14:02:50 2739 0
2 条回答
写回答
取消 提交回答
  • 可以用Selenium来模拟浏览器操作,虽然性能不行但是不会出现抓不到的情况。

    2019-07-17 19:46:53
    赞同 展开评论 打赏
  • 能哪些内容是ajax动态的,print response里的html看看你的内容在不在里面

    2019-07-17 19:46:52
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
零基础CSS入门教程 立即下载
Python第五讲——关于爬虫如何做js逆向的思路 立即下载
低代码开发师(初级)实战教程 立即下载