代理ip

>

换ip软件

>

http代理

>

ip代理

您的位置:首页 > 新闻资讯 > 文章内容
爬虫加代理的三种方式
来源:网连代理 作者:admin 时间:2019-12-31 14:55:11

  在学习Python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术,高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就很可能被封,这里讲述一个爬虫技巧,设置代理IP。 

 爬虫加代理的三种方式

  1.Selenium调用代理

  from selenium import webdriver

  proxy='123.58.10.36:8080'

  chrome_options=webdriver.ChromeOptions()

  chrome_options.add_argument('--proxy-server=http://'+proxy)

  browser=webdriver.Chrome(chrome_options=chrome_options)

  browser.get('http://httpbin.org/get')

  2.requests调用代理

  import requests

  proxy='123.58.10.36:8080'#本地代理

  #proxy='username:password 123.58.10.36:8080'

  proxies={

  'http':'http://'+proxy,

  'https':'https://'+proxy

  }

  try:

  response=requests.get('http://httpbin.org/get',proxies=proxies)

  print(response.text)

  except requests.exceptions.ConnectionError as e:

  print('错误:',e.args)

  虽然形式上就是这样写的,但是亲测并不好用,总是会出现连接错误,具体没弄明白为什么,有哪位大佬可以解释一下

  3.urllib调用代理

  from urllib.error import URLError

  from urllib.request import ProxyHandler,build_opener

  proxy='123.58.10.36:8080'#使用本地代理

  #proxy='username:password 123.58.10.36:8080'#购买代理

  proxy_handler=ProxyHandler({

  'http':'http://'+proxy,

  'https':'https://'+proxy

  })

  opener=build_opener(proxy_handler)

  try:

  response=opener.open('http://httpbin.org/get')#测试ip的网址

  print(response.read().decode('utf-8'))

  except URLError as e:

  print(e.reason)

  三种情况,根据个人情况自己选择,不做过多建议!


相关文章内容简介
推荐阅读
  • 30 2019-12
    独享IP和共享IP差别大吗

    无论你是做网站、发帖、注册、投票,还是爬虫、补量、数据采集,IP都是必不可少的,那么选择独享IP还是共享IP呢?独享IP和共享IP差别大吗?小编可以很负责的告诉你,同样都是代理IP,差别

  • 29 2019-06
    有效时间不同的代理ip在实际应用中有何区别?

    有效时间不同的代理ip在实际应用中有何区别?估计代理IP这个词,大家都不少听说吧,但是你知道代理IP的一些知识么?知道怎么用么?知道都有哪些人使用么?说起代理IP的应用其实网上又很

  • 08 2019-08
    低价代理IP可以用吗

    在找代理IP的时候,发现很多价格便宜的软件,价格的差别不知该怎么选择。那么,低价代理IP可以用吗?大家有所不知,很多低价的代理IP商家,都是在免费代理IP中将IP筛选出来,使用效果其

  • 18 2019-07
    Python爬虫如何设置代理IP

    在学习Python爬虫的时候,经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力,所以同一个IP反复爬取同一个网页,就

  • 24 2019-06
    使用HTTP代理IP你必须知道的几点

    HTTP代理IP你必须知道的几点?HTTP代理IP在现实生活中应用越来越频繁,越来越多的网络运营、销售、推广需要这种代理方式。而在你使用HTTP代理IP时,你真的明白它的工作原理吗?你是否能根据

  • 02 2018-12