1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. C>
  5. 纯js爬虫

当前主题:纯js爬虫

用 node.js 模仿 Apache 的部分功能

首先,这个例子用到了服务端渲染的技术。服务端渲染,说白了就是在服务端使用模板引擎,这里我先简单的介绍一下服务端渲染与客户端渲染之间的区别。服务端渲染与客户端渲染之间的区别: 客户端渲染不利于搜索引擎优化 服务端渲染可以被爬虫抓取到,而客户端异步渲染很难被爬虫

阅读全文

从马蜂窝事件了解网络爬虫

前言 我们的目标了解爬虫 什么是爬虫 爬虫的基本流程 能爬取那些数据 如何解析数据 python爬虫架构 Python 爬虫架构介绍 Scrapy介绍及框架图 具体爬虫操作 一、页面获取 二、目标提取 三、指定链接抓取 四、数据下载&存储 五、添加交互 附录

阅读全文

web页面渲染(二)

客户端渲染(CSR) 客户端渲染意味着在浏览器中使用Javascript直接渲染页面。所有的逻辑,数据获取,模板和路由都在客户端处理。 对于移动设备来说,客户端渲染很难得到或者保持一种快速的访问水平。如果它做最少的工作,保持严格的Javascript预算,并尽

阅读全文

服务化改造实践 | 如何在 Dubbo 中支持 REST

什么是 REST REST 是 Roy Thomas Fielding [1] 在 2000 年他的博士论文 [2] “架构风格以及基于网络的软件架构设计” 中提出来的一个概念。REST 是 RES**T**ransfer 的缩写,翻译过来就是 “表现层状态

阅读全文

DOM渲染的详细过程

DOM的渲染指的是对于浏览器中展现给用户的DOM文档的生成的过程。在Chrome中,这个渲染好的DOM,就是在开发者工具中元素这个tab中,递归的展开之后得到的整个文档。 DOM渲染的演化过程,大致可以分为可以分为三个阶段: 纯后端渲染 纯前端渲染 服务端的j

阅读全文

GitHub上优秀的Go开源项目

近一年来,学习和研究Go语言,断断续续的收集了一些比较优秀的开源项目,这些项目都非常不错,可以供我们学习和研究Go用,从中可以学到很多关于Go的使用、技巧以及相关工具和方法。我把他们整理发出来,大家有兴趣可以根据自己的爱好选择一些进行研究和阅读,提升自己的能力

阅读全文

老司机带你学爬虫——Python爬虫技术分享

什么是“爬虫”? 简单来说,写一个从web上获取需要数据并按规定格式存储的程序就叫爬虫; 爬虫理论上步骤很简单,第一步获取html源码,第二步分析html并拿到数据。但实际操作,老麻烦了~ 用Python写“爬虫”有哪些方便的库 常用网络请求库:request

阅读全文

【nodeJS爬虫】前端爬虫系列 -- 小爬「博客园」

写这篇 blog 其实一开始我是拒绝的,因为爬虫爬的就是cnblog博客园。搞不好编辑看到了就把我的账号给封了:)。 言归正传,前端同学可能向来对爬虫不是很感冒,觉得爬虫需要用偏后端的语言,诸如 php , python 等。当然这是在 nodejs 前了,n

阅读全文