代理ip

>

换ip软件

>

http代理

>

ip代理

您的位置:首页 > 新闻资讯 > 文章内容
详解python使用ip代理抓取网页
来源: 作者:admin 时间:2019-11-06 16:05:46

  当我们抓取网站的一个信息的时候,如果我们访问的时段非常的频繁,很大可能会被被访问的网站检测到从而进行屏蔽,解决这个问题的方法之一就使用代理IP,在我们接入因特网上网的时候,我们的电脑会被分配一个IP,提供给我们试用,而当我们频繁访问一个网站时,该网站也正是因为发现同一个ip地址访问多次而进行屏蔽的,这个时候更换IP地址访问是最好的解决方式,多个ip地址进行随机地轮流访问,减少被该网站检测到的概率。这时候如果我们再使用多个不同的headers,这时候就有多个ip+主机的组合,访问时被发现的概率又进一步减小了。


详解python使用ip代理抓取网页


  关于代码中ip代理的使用,下面介绍一下:


  步骤:


  1、urllib2库中的ProxyHandler类,通过此类可以使用ip代理访问网页


  proxy_support=urllib2.ProxyHandler({}),其中参数是一个字典{‘类型':'代理ip:端口号'}


  2、定制、创建一个opener


  opener=urllib2.build_opener(proxy_support)


  3、(1)安装opener


  urlib2.install_opener(opener)


  (2)调用默认的opener


  opener.open(url)


  对于没有设置反爬虫机制的网站,我们只需要直接像上面引入ProxyHandler类进行处理,下面以访问csdn主页为例:


  import urllib


  url="http://www.csdn.net/"


  for i in range(0,10000):


  html=urllib.urlopen(url)


  print html.info()


  print i


  当使用上述代码时,当循环到20时,就会出现下面的错误


  Traceback(most recent call last):


  File"C:/Users/lenovo/PycharmProjects/untitled1/jt2/__init__.py",line 19,in<module>


  html=urllib.urlopen(url)


  File"C:\Python27\lib\urllib.py",line 87,in urlopen


  return opener.open(url)


  File"C:\Python27\lib\urllib.py",line 213,in open


  return getattr(self,name)(url)


  File"C:\Python27\lib\urllib.py",line 350,in open_http


  h.endheaders(data)


  File"C:\Python27\lib\httplib.py",line 997,in endheaders


  self._send_output(message_body)


  File"C:\Python27\lib\httplib.py",line 850,in _send_output


  self.send(msg)


  File"C:\Python27\lib\httplib.py",line 812,in send


  self.connect()


  File"C:\Python27\lib\httplib.py",line 793,in connect


  self.timeout,self.source_address)


  File"C:\Python27\lib\socket.py",line 571,in create_connection


  raise err


  IOError:[Errno socket error][Errno 10060]


  这就是因为我们使用了计算机的单一ip进行频繁访问而被检测出来的。


  下面是使用了ip代理的代码:


  import urllib2


  import random


  def getHtml(url,proxies):


  random_proxy=random.choice(proxies)


  proxy_support=urllib2.ProxyHandler({"http":random_proxy})


  opener=urllib2.build_opener(proxy_support)


  urllib2.install_opener(opener)


  html=urllib2.urlopen(url)


  return html


  url="http://www.csdn.net/"


  proxies=["101.53.101.172:9999","171.117.93.229:8118","119.251.60.37:21387","58.246.194.70:8080"


  "115.173.218.224:9797","110.77.0.70:80"]


  for i in range(0,10000):


  try:


  html=getHtml(url,proxies)


  print html.info()#打印网页的头部信息,只是为了展示访问到了网页,可以自己修改成想显示的内容


  print i


  except:


  print"出现故障"


  这个代码我测试是在1096次时被检测到了,要知道我的列表中只有6个ip,如果我们增加ip的个数,那么被发现的概率是不是又会更低了。对于上面的例子中的ip代理,有可能在过了一段时间后便不能用了,这个需要自己到网上搜索最新的ip代理,进行替换。还有程序中的异常处理是为了使程序能够处理ip代码访问时出现问题的情况,因为有些ip代理在访问的时候会出现故障的,这样做了可以使程序更加健壮。


  对于有反爬虫机制的网页,下面还是以访问csdn中的博客为例:


  #coding:utf-8


  import urllib2


  import random


  def get_html(url,headers,proxies):


  random_userAget=random.choice(headers)


  random_proxy=random.choice(proxies)


  #下面是模拟浏览器进行访问


  req=urllib2.Request(url)


  req.add_header("User-Agent",random_userAget)


  req.add_header("GET",url)


  req.add_header("Host","blog.csdn.net")


  req.add_header("Referer","http://blog.csdn.net/?&page=6")


  #下面是使用ip代理进行访问


  proxy_support=urllib2.ProxyHandler({"http":random_proxy})


  opener=urllib2.build_opener(proxy_support)


  urllib2.install_opener(opener)


  html=urllib2.urlopen(req)


  return html


  url="http://blog.csdn.net/?&page=3"


  """


  使用多个主机中的user_agent信息组成一个列表,当然这里面的user_agent都是残缺的,大家使用时可以自己找


  身边的小伙伴借呦


  """


  user_agents=[


  "Mozilla/5.0(Windows NT 6.3;WOW64)AppleWe。。。hrome/45.0.2454.101 Safari/537.36",


  "Mozilla/5.0(Windows NT 6.1)AppleWebKit/537.。。。。likeGecko)Chrome/45.0.2454.101Safari/537.36",


  "Mozilla/5.0(Windows NT 10.0;WOW64)AppleWebKit。。。。。Gecko)Chrome/50.0.2661.102 Safari/537.36",


  "Mozilla/5.0(Windows NT 6.1;WOW64)AppleWebKit/537.3。。。。ML,like Gecko)Chrome/49.0.2623.112 Safari/537.36",


  "User-Agent:Mozilla/5.0(Windows NT 10.0;Win64;x64)。。。WebKit/537.36(KHTML,like Gecko)Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",


  "User-Agent:Mozilla/5.0(Windows NT 10.0)AppleWebKi。。。。。36(KHTML,like Gecko)Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586",


  "Mozilla/5.0(Windows NT 10.0;WOW64)Apple。。。。。KHTML,like Gecko)Chrome/50.0.2661.94 Safari/537.36"


  ]


  #网上的ip有可能是不能用的,需要多做尝试


  myproxies=["220.189.249.80:80","124.248.32.43:80"]


  html=get_html(url,user_agents,myproxies)


  print html.read()


相关文章内容简介
推荐阅读
  • 03 2019-07
    短效优质代理IP使用失败的常见问题

    网连代理IP平台上的短效优质代理非常受欢迎,优异的质量,实惠的价格,是很多爬虫工作者以及网络工作者的首选,但很多顾客朋友在使用代理IP的过程中都不可避免的遇到了一些问题,使用

  • 06 2019-08
    模拟器怎么换ip批量注册账号

    大量注册账号需用换IP工具,因为现在很多企业为了更好的发展,迫切需要互联网来为自己谋求更大的利益,提高自己企业的知名度,从而从各个方面提高自己的竞争力,争取自身的快速发展,

  • 28 2020-06
  • 26 2018-11
  • 23 2019-09
    使用代理服务器爬取网页还会被封IP吗?

    最近写了个爬虫,大量访问后,会被屏蔽IP,于是用了代理服务器,可结果还是会被屏蔽。使用代理后还是会被屏蔽吗,有什么解决办法吗?使用高匿名代理IP就不会出现被屏蔽的问题了,之所

  • 15 2020-02
    使用换IP软件有什么注意事项

    现在的互联网趋势,越多越多的人需要使用动态IP,像百度问答、论坛发帖、博客互动、SEO优化等等,都需要使用动态IP去隐藏自身的IP地址去操作,这个使用可以使用换IP软件。那么使用换IP软