标签:爬虫

教程

Nignx网站屏蔽指定路径的百度爬虫

Nginx 搭建的网站,想要屏蔽指定路径下的爬虫。 第一种方法,使用 if 和 Location 指令 可以使用Ningx 的 if 指令和 location 指令实现。 看一个实例, 比如我们希望当请求的路径以 hot 开头时爬虫访问返回403。 可以参考如下配置: { ...

shanhuhai 4年前 (2020-12-09) 2429℃ 0喜欢

全栈

php设计模式之——模板模式

多年之前写过一个爬虫,里面用到了模板模式,模板模式实现起来好像很简单,基本上只用抽象类加继承就可以了,它总是这么普通以至于人们总是忽略它。但我要说的是当你无论遇到什么问题都应该想想这个问题是不是用模板模式解决更好,也许你会有意想不到的惊喜。 模板模式的解释 模板模式是说,在父类中...

shanhuhai 7年前 (2017-09-03) 3856℃ 8喜欢