为什么需要爬虫呢？因为爬虫可以提高我们的工作效率，帮我们收集信息并分类归纳，可谓高效智能。做过爬虫的就知道，代理IP是必不可少的，好的代理IP可以使爬虫工作效率更上一层楼，但也要找点好的代理IP也是一笔不小的花费，于是乎，把目光瞄到了免费代理IP上。
网上的免费代理IP一大堆一大堆的，一般都是比较零散的，怎么收集起来呢？这对于爬虫工作者来说根本不是什么问题，写个小小的爬虫就可以把各大网站上的免费IP收集起来了。接下来就是用这些免费的代理IP来做爬虫了，然而，灾难开始了。
当使用免费代理IP时，会发生“百里挑一”、“步履蹒跚”、“寸步难行”、“光阴似箭”等恼人的事情。
百里挑一：一百个免费代理也许会有一个可以使用，可能一个都没有。
步履蹒跚：好不容易有一个可以用，结果慢的跟蜗牛一样。
寸步难行：慢的跟蜗牛一样也就算了，用两下就封IP了，根本爬不动。
光阴似箭：爬不动怎么办，于是又百里挑一、步履蹒跚、寸步难行，如此反复，突然发现，下班了，可以回家了，但是什么也没做成，真是“日月如梭，光阴似箭”。
本来，爬虫工作是为了提高工作效率，结果用了免费代理IP却起了反作用，一点效率都没有了，所以还是不要用免费代理IP来做爬虫，那样只会适得其反。
今天一大早运营跑来投诉说：“公司昨晚发了20多万条注册短信息，我们没有这么多注册用户啊！”，我查询日志发现，一直有人在恶意调用我们公司的短信接口，造成一直发送注册信息，而且
如何突破单IP频繁反爬虫限制？单IP频繁爬取某网站，很容易被网站的反爬虫机制封掉IP，如何突破限制呢，答案是多IP爬虫。通过多IP爬虫，又分为以下几种形式：
当我们在浏览网站的时候，经常会在网络上看到这样的词汇代理IP，相关的还有独享IP，有人说共享IP的功能就很好了，那独享IP能做什么呢？有什么好的呢？其实独享IP拥有代理IP基本的功能，除
常用的代理技术分为正向代理，反向代理和透明代理。一、正向代理 正向代理是一个位于客户端【用户A】和原始服务器【服务器B】之间的服务器【代理服务器Z】，为了从原始服务器取得内容
动态代理在Java中有着广泛的应用，比如Spring AOP，Hibernate数据查询、测试框架的后端mock、RPC，Java注解对象获取等。静态代理的代理关系在编译时就确定了，而动态代理的代理关系是在编译期确
网络爬虫和国内代理IP在互联网的关系很简单，如果网络爬虫是汽车的话，代理IP就是公路网，当网络爬虫遇到反爬虫障碍时，就好比路上有路障一样，我们可以通过别的公路，绕过这一段封锁
