大数据时代下，数据爬取成为很多企业和个人的工作重点，过程中经常遇到很多问题，比如时间限制、IP限制、验证码限制等等，都可能会导致爬虫无法进行，所以我们常常会用到代理IP，今天我们就来详细聊聊使用代理IP爬取数据的两种方式。
代理IP
爬取数据的两种方式。
普通方式爬取
环境：win10 x64，Python 3.61
代理网站比较多，有免费的有收费的，免费代理有个致命缺点就是少数可用，所以我们爬取下来以后最好还要验证一下，验证的逻辑就是访问正常网站，返回状态200的保留，否者删除就好。
由于常用的IP代理网站都爬过，效果都不好，这回再换一个：
网连代理软件
试试
代理IP
的网站爬取都很简单，用for循环写个翻页就可以大量爬取了
分布式+多线程爬取
什么?验证的太慢?不要急，我们来开大招!!!
何为多线程，何为分布式~
我也解释不太清，我们问下度娘哈：多线程，似乎就是同时可以执行多个任务。
那我们要做什么呢?
写两个爬虫一个用来爬IP，一个用来验证IP，同时进行，此为分布式
验证的过程添加线程来提高验证效率，此为多线程
了解要干什么了，开搞
这回我们需要一个数据库来存取IP：redis，安装方法自行百度。
依旧使用网连代理软件
Python要连redis，还要pip install redis，加上翻页后获取ip的部分就搞定了
在很多时候，由于互联网的各种限制，导致我们在访问网站时经常受限，它的表现可能是无法打开网页、注册不成功、无法登陆账号等。在这种情况下我们可以通过使用HTTP代理IP来解决，下面我
我们再使用网络爬虫进行数据采集的时候，在爬取频率过高、次数过多的时候，会遇到IP被反爬程序封禁的情况，这个时候就需要用到代理IP了。高质量代理ip在哪里买？代理ip的获取途径有这么
我们知道，代理分为透明代理、普通匿名代理和高级匿名代理三种，有很多朋友疑问：高级匿名代理是否比普通匿名代理更稳定，普通匿名是否比透明代理更稳定呢？其实，这三种代理主要是在
大家对于服务器了解有多少？代理服务器与服务器有什么区别呢？我们一般使用代理服务器是做什么的？代理服务器适合用于哪些地方？其实代理服务器是介于浏览器与web服务器之间服务器，可
之前为大家介绍过代理IP的类型分别是透明代理IP、匿名代理IP、高匿名代理IP、混淆代理IP。那么，你知道爬虫工作如何选择代理IP类型吗？普通的匿名代理IP是能对客户机器的真是IP进行隐藏，
