代理ip

>

换ip软件

>

http代理

>

ip代理

您的位置:首页 > 新闻资讯 > 文章内容
如何用php定时验证代理IP是否可用
来源:网连代理 作者:admin 时间:2019-10-24 16:21:19

  如何用php定时验证代理IP是否可用?用php先搭建网络爬虫,今天就利用上次爬到的http代理IP讲一讲代理IP的验证。至于为什么说PHP是世界上最好的语言,我也不知道,听别人说的,我个人比较喜欢java,以后有机会与大家分享我的学习之路。


  我们为什么需要对代理IP进行验证呢?要知道我们在网络中抓到的代理IP数量很大,但能用的往往连十之一二都不到,在使用前剔除掉不能用的代理IP就能提高我们的工作效率。


如何用php定时验证代理IP是否可用


  首先说说思路:上次我们已经将抓到的IP和端口都放进了我们的MySQL数据表中,要验证肯定需要取出来,然后通过PHP中curl函数设置代理,再访问百度或者其他能访问到的网站,通过返回的状态码是否等于200来判断代理IP是不是可以正常使用的。


  由于代码太长,一些不必要的代码就不贴出来了,下面看看curl验证代理IP的核心代码。


  //代理IP验证方法


  functionGetHttpStatusCode($proxy){$curl=curl_init();curl_setopt($curl,CURLOPT_PROXY,$proxy);


  //使用代理访问


  curl_setopt($curl,CURLOPT_URL,"");


  //获取内容


  urlcurl_setopt($curl,CURLOPT_HEADER,1);


  //获取http头信息


  curl_setopt($curl,CURLOPT_NOBODY,1);


  //不返回html的body信息


  curl_setopt($curl,CURLOPT_RETURNTRANSFER,1);


  //返回数据流,不直接输出


  curl_setopt($curl,CURLOPT_TIMEOUT,5);


  //超时时长,单位秒


  curl_exec($curl);$rtn=curl_getinfo($curl,CURLINFO_HTTP_CODE);


  curl_close($curl);return$rtn;}


  调用GetHttpStatusCode(代理IP地址:端口)方法就能返回该代理IP在访问百度首页时所返回的状态码,在需要的地方对状态码进行判断就能加以利用了。


  我在数据表中加入了抓取到代理IP的时间和代理IP被验证的时间,已经存活的时间,这样代理IP的稳定性就一目了然了。


  这是验证后的结果,整整100个IP,最后就剩下10个左右,看来在使用之前对代理IP进行验证还是很有必要的。


相关文章内容简介
推荐阅读
  • 11 2019-09
    为什么越来越多人对ip代理感兴趣

    为什么越来越多人对ip代理感兴趣?时代的发展是有目共睹的,与此同时人们的生活质量自然也会提高。人们的生活质量提高之后就会对各种,现代的事物开始越来越了解。从一些法制栏目还有

  • 11 2019-06
    http/https等爬虫代理ip的基本实现原理

    爬虫工作者在试用爬虫进行数据搜集的过程中经常会遇到这样的情况,刚开始的时候爬虫的运行情况是正常的,数据的抓取状况也在有条不紊的进行着,然而可能你一眼照顾不到就会出现错误,

  • 06 2020-01
    动态代理、Hook、AOP、插件化技术的联系与区别

    本文研究范围仅限Android或者Java。在研究Android插件化技术的时候,看到一句话:J2EE框架Spring通过动态代理的Hook机制优雅地实现了AOP编程,同样,插件框架也广泛使用了代理机制来增强系统API从

  • 22 2019-10
    怎么用代理IP访问网页

    平时大家都经常需要用到代理IP,那么怎么用代理IP访问网页呢?如果只是简单访问网页的话,那是非常简单的,只要简单几步即可。要代理首先我们需要有一个IP能够代理,这个去百度搜索一下

  • 01 2019-02
  • 18 2020-02
    利用代理ip爬取新闻

    选择优质的代理IP,我们能够利用它来完成很多网络工作,比如网上的大数据抓取,其实就是要依靠代理IP来进行的。今天,网连代理向大家介绍一个爬取新闻网站内容的教程。