博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
修改配置nginx,限制无良爬虫频率
阅读量:7120 次
发布时间:2019-06-28

本文共 435 字,大约阅读时间需要 1 分钟。

#全局配置limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;#某个server中 limit_req zone=anti_spider burst=30 nodelay; if ($http_user_agent ~* "xxspider|xxbot") { set $anti_spider $http_user_agent;}

超过设置的限定频率,就会给spider一个503。

上述配置详细解释请自行google下,具体的spider/bot名称请自定义。

--------------------------------------分割线--------------------------------------

知数堂 ()培训是由资深MySQL专家叶金荣、吴炳锡联合推出的专业优质培训品牌,主要有MySQL DBA实战优化和Python运维开发课程,是业内最有良心、最有品质的培训课程。

转载地址:http://ftnel.baihongyu.com/

你可能感兴趣的文章
关闭tomcat报错Cannot allocate memory
查看>>
深圳行:1207-Day 1 - 到达
查看>>
mysqls为node.js而编写的sql语句生成插件 crud for mysql.
查看>>
LeetCode34.在排序数组中查找元素的第一个和最后一个位置 JavaScript
查看>>
程序猿应该记住的几条基本规则
查看>>
[译] 用 Redis 和 Python 构建一个共享单车的 app
查看>>
数据结构和算法面试题系列—二叉树面试题汇总
查看>>
用 SOLID 原则保驾 React 组件开发
查看>>
Reddit热点 | 想看被打码的羞羞图片怎么办?CNN帮你解决
查看>>
idou老师教你学Istio 04:Istio性能及扩展性介绍
查看>>
详解CSS的Flex布局
查看>>
域渗透——Pass The Hash & Pass The Key
查看>>
与Flutter第一次亲密接触-Android 视角
查看>>
Java设计模式---单例模式
查看>>
从源码角度看ContentProvider
查看>>
MMP,我说每年年会我怎么老是中不了奖,原来是这样
查看>>
十二、实战底部(二)
查看>>
阿里最全面试116题:阿里天猫、蚂蚁金服、阿里巴巴面试题含答案
查看>>
前端开发必备网站
查看>>
正则表达式大全(汇总)
查看>>