开发者社区> 问答> 正文

[@倚贤][¥20]我的web应用经常被爬虫数据,导致宕机,有没有什么好的反爬手段?

我的web应用经常被爬虫数据,导致宕机,有没有什么好的反爬手段?

展开
收起
东陵碣石 2018-10-29 20:18:25 2121 0
2 条回答
写回答
取消 提交回答
  • 全栈工程师,从事了 12 年以 Java 语⾔为主的软件开发工作,热衷于整合框架与开发工具,关注 交互设计,喜欢写技术博客(http://codelife.me/),Linux拥趸,问题终结者。近期开始学习和关注 Elixir 函数语言,合作翻译了《Elixir 程序设计》。
    1. 如果某个 IP 访问超过阈值,封掉
    2. 会话超过阈值,封掉
    3. 识别 agent,标识是爬虫的,封掉
    2019-07-17 23:10:55
    赞同 展开评论 打赏
  • 凉粉。。

    可以在网关通过userAgent 识别爬虫,然后返回404或其他,可以屏蔽大多数爬虫了。

    2019-07-17 23:10:54
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
高性能Web架构之缓存体系 立即下载
PWA:移动Web的现在与未来 立即下载
Python第五讲——关于爬虫如何做js逆向的思路 立即下载