爬虫、蜘蛛、机器人有什么区别?

简介:

蜘蛛:

我最早知道这类程序存在,听到的名字就是蜘蛛;

最早知道的蜘蛛应该就是BaiDuSpider;

怎么知道的?

现在已经记不清了,大概是当时在做网站流量统计的时候,由于记录的网站用户请求的UserAgent内容,所以在访问记录中可以看到它留下的足迹。

网络蜘蛛即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。
爬虫:
这个条目所描述的内容英文名叫做Web Crawler,这是有正规定义的,参见维基百科 Web crawler。业界内也很少叫蜘蛛的,一般都叫做网络爬虫,Spider只是个别爬虫的名称。
机器人:
起初只有一种机器人,也就是具有爬虫功能的机器人,而现在出现了各种各样的机器人,所以这个名字已经不再适合用来称呼爬虫了。
【爬虫】系列文章目录
目录
相关文章
|
数据采集
百度蜘蛛ip段大全分析爬虫式
百度蜘蛛ip段大全分析爬虫式:https://www.20200824.com
341 0
|
Web App开发 监控 Linux
Web网站如何查看搜索引擎蜘蛛爬虫的行为
简介 本文给大家介绍Linux/Nginx如何查看搜索引擎蜘蛛爬虫的行为,清楚蜘蛛的爬行情况对做SEO优化有很大的帮助。需要的朋友通过本篇文章学习下吧 摘要 做好网站SEO优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾,下面的Linux命令可以让你清楚的知道蜘蛛的爬行情况。
2770 0
|
Web App开发 数据采集 监控
|
数据采集 前端开发 数据格式
|
数据采集 定位技术 数据库
|
机器人 Android开发
Android 5.X与Android4.X版本机器人动画的区别以及制作动画的方法
今天翻了下墙,解决了一直以来的疑惑问题: 为什么Android5.0以及6.0的recovery版本,机器人动画怎么就只有一张图片? 这个问题,我百思不得其解,看了很多网文,也只是有了个概念。 请参考以下文档,这是我从谷歌Android开源网拉下来的原文: https://source.
1400 0
|
Web App开发 数据采集 测试技术
Kali Linux Web 渗透测试秘籍 第三章 爬虫和蜘蛛
第三章 爬虫和蜘蛛 作者:Gilberto Najera-Gutierrez 译者:飞龙 协议:CC BY-NC-SA 4.0 简介 渗透测试可以通过多种途径完成,例如黑盒、灰盒和白盒。
1805 0

热门文章

最新文章