手把手教你在Web 应用防火墙设置合法爬虫规则

  1. 云栖社区>
  2. 博客>
  3. 正文

手把手教你在Web 应用防火墙设置合法爬虫规则

小生生 2020-07-19 21:20:19 浏览560
展开阅读全文

云栖号快速入门:【点击查看更多云产品快速入门】
不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作!

合法爬虫功能提供合法搜索引擎白名单(例如Google、Bing、百度、搜狗、360、Yandex等),方便您为域名设置放行合法爬虫的访问请求。

CED871DD_063A_472f_8C9D_7F54F1546ED2

前提条件

  • 已开通Web应用防火墙实例,且开启了高级配置下的Bot管理模块
    image
  • 已完成网站接入。更多信息,请参见添加域名

背景信息

合法爬虫规则依据阿里云爬虫情报库,帮助您直接放行合法爬虫请求。阿里云爬虫情报库基于阿里云全网流量计算得出并可实时更新,涵盖合法爬虫访问请求来源的特征信息。合法爬虫支持主流搜索引擎的爬虫IP信息,可动态更新,目前包含Google、百度、搜狗、360、Bing、Yandex。

启用合法爬虫规则后,来自相关搜索引擎的合法爬虫IP将被直接放行,不经过Bot管理模块的防护检测。

6E1BB6AB_C15F_4d02_B710_F064F2D7E804

操作步骤

1.登录Web应用防火墙控制台
2.在顶部菜单栏,选择Web应用防火墙实例的资源组和地域(中国内地、海外地区)。
3.在左侧导航栏,单击防护配置 > 网站防护
4.在网站防护页面上方,切换到要设置的域名。
image
5.单击Bot管理页签,定位到Bot管理模块下的合法爬虫,开启状态开关,并单击前去配置
image
6.在合法爬虫规则列表,根据情报名称选择要放行的合法爬虫,开启对应的启用状态开关
image
默认规则支持单独设置放行来自以下搜索引擎的爬虫请求:Google、Bing、百度、搜狗、360、Yandex。您也可以只开启合法搜索引擎白名单规则,放行所有支持的搜索引擎白名单。

本文来自 阿里云文档中心 Web 应用防火墙 设置合法爬虫规则

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

网友评论

登录后评论
0/500
评论
小生生
+ 关注