大数据时代下，数据爬取成为很多企业和个人的工作重点，过程中经常遇到很多问题，比如时间限制、IP限制、验证码限制等等，都可能会导致爬虫无法进行，所以我们常常会用到代理IP，今天我们就来详细聊聊使用代理IP爬取数据的两种方式。
代理IP
爬取数据的两种方式。
普通方式爬取
环境：win10 x64，Python 3.61
代理网站比较多，有免费的有收费的，免费代理有个致命缺点就是少数可用，所以我们爬取下来以后最好还要验证一下，验证的逻辑就是访问正常网站，返回状态200的保留，否者删除就好。
由于常用的IP代理网站都爬过，效果都不好，这回再换一个：
网连代理软件
试试
代理IP
的网站爬取都很简单，用for循环写个翻页就可以大量爬取了
分布式+多线程爬取
什么?验证的太慢?不要急，我们来开大招!!!
何为多线程，何为分布式~
我也解释不太清，我们问下度娘哈：多线程，似乎就是同时可以执行多个任务。
那我们要做什么呢?
写两个爬虫一个用来爬IP，一个用来验证IP，同时进行，此为分布式
验证的过程添加线程来提高验证效率，此为多线程
了解要干什么了，开搞
这回我们需要一个数据库来存取IP：redis，安装方法自行百度。
依旧使用网连代理软件
Python要连redis，还要pip install redis，加上翻页后获取ip的部分就搞定了
使用IP代理以后为什么有时候还是会被封号？很多人认为，使用IP代理就可以毫无顾忌得“拜访”别人的网站，抓取别人的数据，毫无顾忌，在合法的范围内为所欲为了，但是理想是丰满的，现
在学习Python爬虫的时候，经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就
大家对于服务器了解有多少？代理服务器与服务器有什么区别呢？我们一般使用代理服务器是做什么的？代理服务器适合用于哪些地方？其实代理服务器是介于浏览器与web服务器之间服务器，可
动态IP有什么关键性用途?动态性IP地址常常变化，每一次设备联接到互联网时，动态ip地址都是发生变化。当机器设备试着连接到互联网时，dhcp网络服务器提供动态性地址。当用户在Web电脑浏
动态代理IP的作用越来越大，有用来做爬虫的，有用来注册的，还有用来投票的，抢购的啥都有，还有很多用来隐藏自己真实的IP，做一些不可描述的事情，也有很多朋友问。今天我们来讲讲代
