自学人工智能:1-3 接触scrapy框架

简介: 已经学了几天python,今天通过对scrapy框架的认识,加深对python的印象。

本文目的

已经学了几天python,今天通过对scrapy框架的认识,加深对python的印象。

另外

本博客是学习人工智能的记录,前期文章不会贴多少代码(关键也没能力写出优质python代码),更多是记录写文章时脑海中浮动的想法,自己是如何学习的。
第一部分,即【 自学人工智能:1-x 】 围绕python更新。往后继续采用【 M - N 】的格式,M是大分类,N是小篇章。因为学习过程中可能同时接收多个知识点,所以我这里很可能存在多个大分类M同时更新~

理解Scrapy框架

上篇文章提到爬虫,查阅资料时得知scrapy框架是爬网站数据的神器。根据手册尝试用scrapy进行网站数据采集。在此不得不提下图:
721239_20170606154844043_623097921
刚看到时因为图片文字是英文,加上对这类流程结构的图有一种排斥,于是扫一眼就不再看,随着对scrapy各部分有初步了解,再回来看这幅图时,似乎有点明白为何scrapy如此强大。

强烈的感受就是用scrapy分工明确:抓取url的、深入url采集内容的、处理数据的等,有条理又便于理解,反过来可以利用这种思路优化自己的爬虫程序。

而且scrapy提供了多个小工具,其中有的针对目标采集网站,快速进行测试。

总结

使用scrapy框架可以节省不少时间,减少了亲自写代码的量。由于自己的目标并不是做爬虫,而是为学习人工智能积攒知识0.0,本文极其浅显提了scrapy,未来真正用到时再做完善。

目录
相关文章
|
6月前
|
数据采集 数据处理 Python
使用Scrapy框架抓取小红书上的#杭州亚运会#相关内容
使用Scrapy框架抓取小红书上的#杭州亚运会#相关内容
|
24天前
|
人工智能 并行计算 搜索推荐
昇思MindSpore 2.3全新发布 | 昇思人工智能框架峰会2024圆满举办
人工智能框架作为软件根技术,已成为加速人工智能大模型开发、推动产业智能化发展的核心力量。 以“为智而昇,思创之源”为主题的昇思人工智能框架峰会2024今日在北京国家会议中心举办,旨在汇聚AI产业界创新力量,推动根技术持续创新,共建人工智能开源新生态。
|
2月前
|
机器学习/深度学习 人工智能 PyTorch
Python 与人工智能的完美结合——解析 PyTorch 框架
【2月更文挑战第4天】本文将探讨 Python 在人工智能领域中的应用,以及介绍 PyTorch 框架。PyTorch 是一个基于 Python 的开源机器学习库,其强大的自动微分功能和易于使用的接口使其成为深度学习领域的热门选择。本文将从 PyTorch 的发展历程、工作原理以及示例代码等方面进行详细分析和解释。
|
3月前
|
人工智能 自然语言处理 Python
Scrapy框架 -- 结合百度AI实现文本处理
Scrapy框架 -- 结合百度AI实现文本处理
16 0
|
3月前
|
数据采集 中间件 Python
Scrapy框架 -- 结合selenium获取动态加载数据
Scrapy框架 -- 结合selenium获取动态加载数据
19 0
|
3月前
|
数据采集 中间件 Python
Scrapy框架 -- 中间件介绍
Scrapy框架 -- 中间件介绍
19 0
|
3月前
|
数据采集 Python
Scrapy框架 -- POST请求实现案例
Scrapy框架 -- POST请求实现案例
13 0
|
3月前
|
数据采集 Python
Scrapy框架 -- 深度爬取并持久化保存图片
Scrapy框架 -- 深度爬取并持久化保存图片
46 0
|
4月前
|
数据采集 Python
scrapy框架
scrapy框架
23 0
|
4月前
|
NoSQL MongoDB Docker
百度搜索:蓝易云【Scrapy框架之Docker安装MongoDB教程。】
现在,你已经成功在Scrapy框架中使用Docker安装并配置了MongoDB。你可以在Scrapy爬虫中使用MongoDB进行数据存储和处理。
218 0