代理ip

>

换ip软件

>

http代理

>

ip代理

您的位置:首页 > 新闻资讯 > 文章内容
python如何抓取代理IP并且验证是否有效
来源:网连代理 作者:admin 时间:2019-07-02 16:47:34

  尽管知道免费代理IP有效率并不怎么好,但毕竟是天上掉下来的馅饼。还是有很多人去爬取免费代理IP用来做爬虫的,不过也得减缓爬取速度,避免影响人家网站的正常运行。


  那么问题来了,如何抓取免费代理IP呢?又如何多线程验证代理IP是否有效呢?


python如何抓取代理IP并且验证是否有效


  一、抓取代理IP


  首先找一个提供免费代理IP的网站,这个网上有很多,这里就不举例说明了。


  import urllib.request


  import urllib


  import re


  import time


  import random


  #抓取代理IP


  ip_totle=[]  #所有页面的内容列表


  for page in range(2,6):


  url='http:www.***.com/***/'+str(page)


  headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64)"}


  request=urllib.request.Request(url=url,headers=headers)


  response=urllib.request.urlopen(request)


  content=response.read().decode('utf-8')


  print('get page',page)


  pattern=re.compile('<td>(\d.*?)</td>')  #截取<td>与</td>之间第一个数为数字的内容


  ip_page=re.findall(pattern,str(content))


  ip_totle.extend(ip_page)


  time.sleep(random.choice(range(1,3)))


  #打印抓取内容


  print('代理IP地址     ','\t','端口','\t','速度','\t','验证时间')


  for i in range(0,len(ip_totle),4):


  print(ip_totle[i],'    ','\t',ip_totle[i+1],'\t',ip_totle[i+2],'\t',ip_totle[i+3])


  二、验证代理IP是否有效


  免费代理IP的有效率很低,所以在使用前还是需要验证下代理IP是否有效比较好,这样比较节省时间。


  import urllib.request


  url = "http://www.***.com/***"  #打算抓取内容的网页


  proxy_ip={'http': '37.27.32.42:80'}  #想验证的代理IP


  proxy_support = urllib.request.ProxyHandler(proxy_ip)


  opener = urllib.request.build_opener(proxy_support)


  opener.addheaders=[("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64)")]


  urllib.request.install_opener(opener)


  print(urllib.request.urlopen(url).read())


  三、多线程快速验证


  按顺序逐个验证代理IP的有效性速度比较慢,python中有多线程模块,多线程类似于同时执行多个不同程序,使用多线程可以把占据长时间的程序中的任务放到后台去处理,在一些需要等待的任务实现上线程就比较有用了,由于篇幅原因,这里就不贴多线程的代码了,各位自己琢磨下就明白了。


  最后多嘴一句,免费代理IP虽然是免费,但时间成本更昂贵,为了提升工作效率,还是建议去付费,网连代理的短效优质代理IP和一手私密代理IP都很适合用来做爬虫不妨咨询一二。


相关文章内容简介
推荐阅读
  • 01 2020-07
  • 26 2019-06
    如何设置代理IP来隐藏自己的IP

    在上网的时候,很多人都发现了,如果我们近期经常浏览某个产品,搜索引擎就会自动推荐类似的产品给你。其实就是我们在线活动可以通过各种网站,搜索引擎和社交网络可以跟踪。下面小编

  • 05 2019-08
    可以换IP的IP代理都有哪些类型

    可以换IP的IP代理都有哪些类型?估计大家都想使用免费的换IP代理,但是并不好用,无奈之下,也只能找付费的换IP代理,不过这并不代表一定好用的。别担心,小编来为分享各种换IP代理吧。1.

  • 15 2020-01
    爬虫代理IP池的验证网址的问题

    爬虫工程师们在使用代理IP之前,一般会对代理IP进行验证。他们的做法是这样的:通过API接口从网连代理的代理IP池获取IP,然后使用这些代理IP去访问一个网址进行验证,有效代理IP的存入本地

  • 11 2019-06
    http/https等爬虫代理ip的基本实现原理

    爬虫工作者在试用爬虫进行数据搜集的过程中经常会遇到这样的情况,刚开始的时候爬虫的运行情况是正常的,数据的抓取状况也在有条不紊的进行着,然而可能你一眼照顾不到就会出现错误,

  • 26 2019-12
    使用动态ip软件的作用原因

    为什么要用用动态ip软件?对于一般人来说,代理IP可能一文不值,根本不知道它是什么,用来做什么;而对于从事互联网工作的人来说,它好比狙击步枪的瞄准镜,有它没它差距非常大。下面跟