代理ip

　　大数据时代下，数据爬取成为很多企业和个人的工作重点，过程中经常遇到很多问题，比如时间限制、IP限制、验证码限制等等，都可能会导致爬虫无法进行，所以我们常常会用到代理IP，今天我们就来详细聊聊使用代理IP爬取数据的两种方式。

　　代理IP

　　爬取数据的两种方式。

　　普通方式爬取

　　环境：win10 x64，Python 3.61

　　代理网站比较多，有免费的有收费的，免费代理有个致命缺点就是少数可用，所以我们爬取下来以后最好还要验证一下，验证的逻辑就是访问正常网站，返回状态200的保留，否者删除就好。

　　由于常用的IP代理网站都爬过，效果都不好，这回再换一个：

　　网连代理软件

　　试试

　　代理IP

　　的网站爬取都很简单，用for循环写个翻页就可以大量爬取了

　　分布式+多线程爬取

　　什么?验证的太慢?不要急，我们来开大招!!!

　　何为多线程，何为分布式~

　　我也解释不太清，我们问下度娘哈：多线程，似乎就是同时可以执行多个任务。

　　那我们要做什么呢?

　　写两个爬虫一个用来爬IP，一个用来验证IP，同时进行，此为分布式

　　验证的过程添加线程来提高验证效率，此为多线程

　　了解要干什么了，开搞

　　这回我们需要一个数据库来存取IP：redis，安装方法自行百度。

　　依旧使用网连代理软件

　　Python要连redis，还要pip install redis，加上翻页后获取ip的部分就搞定了