Python爬虫如何避免爬取网站访问过于频繁

Question

如题所述

Answer 1

一. 关于爬虫
爬虫，是一种按照一定的规则自动地抓取互联网信息的程序。本质是利用程序获取对我们有利的数据。

反爬虫，从不是将爬虫完全杜绝；而是想办法将爬虫的访问量限制在一个可接纳的范围，不要让它过于频繁。

二. 提高爬虫效率的方法
协程。采用协程，让多个爬虫一起工作，可以大幅度提高效率。

多进程。使用CPU的多个核，使用几个核就能提高几倍。

多线程。将任务分成多个，并发（交替）的执行。

分布式爬虫。让多个设备去跑同一个项目，效率也能大幅提升。

打包技术。可以将python文件打包成可执行的exe文件，让其在后台执行即可。

其他。比如，使用网速好的网络等等。

三. 反爬虫的措施
限制请求头，即request header。解决方法：我们可以填写user-agent声明自己的身份，有时还要去填写origin和referer声明请求的来源。

限制登录，即不登录就不能访问。解决方法：我们可以使用cookies和session的知识去模拟登录。

复杂的交互，比如设置“验证码”来阻拦登录。这就比较难做，解决方法1：我们用Selenium去手动输入验证码；方法2：我们用一些图像处理的库自动识别验证码（tesserocr/pytesserart/pillow）。

ip限制。如果这个IP地址，爬取网站频次太高，那么服务器就会暂时封掉来自这个IP地址的请求。 解决方法：使用time.sleep()来对爬虫的速度进行限制，建立IP代理池或者使用IPIDEA避免IP被封禁。

Answer 2

目前大数据的抓取都是由爬虫完成的，爬虫技术的应用很广泛，但用户都知道，一个IP频繁的抓取网站的时候，会被限制，甚至被封掉IP。那么，怎么处理爬虫频繁的问题呢？
这个问题的答案便是利用多IP爬虫，借助多个IP爬虫后，就可以处理频繁的问题了，具体的形式有以下几种：
1.如果使用的是局域网，并且有路由器，能够 通过重启路由的方式来换IP。
2.通过ADSL拨号，每当重新拨号的时候，IP便会变成新的，解决单IP的问题。
3.代理IP在网络上购买就可以了，或是选择免费代理IP，但质量不高。使用代理IP能够 实现多IP爬虫，这是非常常见的方法。
4.目前还有分布式爬虫，可以通过多个服务器，多个IP，随后让多个爬虫同时进行运行，这样效率非常高。
因此 ，处理爬虫频繁的问题还是有很多方法的，常见的是后两种。爬虫需要用的代理IP一般对质量要求较高，因为用的IP会比较多。

Answer 3

几个方法
1、代理ip
2、设置延迟，就是time.sleep(1000)
3、渗透本回答被提问者采纳