IP限制常见于大部分的网站平台，为了限制大量爬虫。如果爬虫想要突破IP限制，通常使用代理IP。
现在可能新手都知道要用代理IP突破限制，但你可能还不知道代理IP也分类型的，那么爬虫需要什么类型的代理IP？
爬虫用户通常都知道市面上有免费代理，普通代理，高匿代理，那这几种代理该如何选择呢？
普通匿名代理能隐藏客户机的真实IP，但会改变我们的请求信息，服务器端有可能会认为我们使用了代理。不过使用此种代理时，虽然被访问的网站不能知道客户端的IP地址，但仍然可以知道你在使用代理，当然某些能够侦测IP的网页仍然可以查到客户端的IP。
而高度匿名代理不改变客户机的请求，这样在服务器看来就像有个真正的客户浏览器在访问它，这时客户的真实IP是隐藏的，服务器端不会认为我们使用了代理。
因此，爬虫程序需要使用到代理IP时，尽量选择普通匿名代理和高匿名代理。另外，如果要保证数据不被代理服务器知道，推荐使用HTTPS协议的代理。
编写爬虫的时候，我们经常会用到代理ip，HTTP代理按匿名度可分为透明代理、匿名代理和高度匿名代理。使用透明代理，对方服务器可以知道你使用了代理，并且也知道你的真实IP。透明代理
为什么要用分布式爬虫，大致的说，就是当你需要采集大量数据时，因为任务太多，一台机器搞不定了，这时候需要多台机器共同协作完成，最后将所有机器完成的任务汇总在一起，直到任务结
自有网络以来，就一直存在爬虫和反爬虫，越是大网站，越是成熟的网站，其反爬虫机制越完善，最初的IP限制，验证码限制，还有其他的限制，今天小编跟大家一起去了解下网站在哪些地方设
所有写搜索的朋友估计都有过和我一样的烦恼，那就是如果不断的对某一个网站进行爬行，很容易被封IP。最笨的版本就是减少爬行频率，但是在很多场景下对爬行效率是有要求的，那么最直接
