代理ip

>

换ip软件

>

http代理

>

ip代理

您的位置:首页 > 新闻资讯 > 文章内容
爬虫关于ip代理的使用
来源:网连代理 作者:admin 时间:2019-10-29 16:02:34

  爬虫关于ip代理的使用你了解吗?下面代码里的所有ip都是从代理网站拿的,可用性极低。


爬虫关于ip代理的使用


  1,urllib


  #urllib设置ip


  from urllib.error import URLError


  from urllib.request import ProxyHandler,build_opener


  #proxy的格式为ip:端口号


  proxy="60.13.42.8:9999"


  #需要认证的代理可以写成如下格式,username为用户名,password为密码


  #proxy="username:password ip:端口号"


  proxy_handler=ProxyHandler({


  'http':'http://'+proxy,


  'https':'https://'+proxy


  })


  opener=build_opener(proxy_handler)


  try:


  #测试请求网站为httpbin


  response=opener.open("http://httpbin.org/get")


  print(response.read().decode('utf-8'))


  except URLError as e:


  print(e.reason)


  2,requests


  #requests设置代理


  import requests


  proxy="121.225.67.109:3128"


  #需要认证的代理可以写成如下格式,username为用户名,password为密码


  #proxy="username:password ip:端口号"


  proxies={


  'http':'http://'+proxy,


  'https':'https://'+proxy


  }


  try:


  response=requests.get('http://httpbin.org/get',proxies=proxies)


  print(response.text)


  except requests.exceptions.ConnectionError as e:


  print("Error:",e.args)


  3,selenium+chromedriver


  #selenium+chrome设置代理


  from selenium import webdriver


  proxy='117.90.6.32:9000'


  chrome_options=webdriver.ChromeOptions()


  chrome_options.add_argument('--proxy-server=http://'+proxy)


  driver=webdriver.Chrome(chrome_options=chrome_options,executable_path='D:\pythontools\chromedriver.exe')


  driver.get('http://httpbin.org/get')


相关文章内容简介
推荐阅读
  • 02 2019-03
    代理ip软件解决ip被封的问题!

    代理ip软件解决ip被封的问题!IP代理经常用于微商,游戏以及数据采集,主要使用了IP代理的换IP原理,以此来提高工作的效率以及效果,今天小编就跟大家来聊聊网连代理切换IP的软件。

  • 31 2020-07
  • 16 2019-12
    win xp电脑如何设置本地网络ip地址

    有时需要设置本地网络IP地址却不知道怎么操作,如果是win xp电脑具体应该怎么设置ip地址呢?下面网连代理小编告诉你!

  • 03 2019-07
    使用了代理IP为什么还会被封

    有朋友来问我,为什么我用了网连代理的代理IP还是被封了。他很纳闷,正是因为IP被封才来买代理IP的,没想到还是被封。这里有一个问题要先搞清楚,IP为什么会被封?当某个IP的操作达到了

  • 26 2019-10
    浅谈HTTP代理IP的两种代理模式

    市面上现在有很多代理IP的产品,可以解决很多由于IP限制问题的工作。代理IP软件就是通过更换各地IP的方法,来隐藏真实IP,保证工作的正常进行,及用户的个人信息安全。HTTP代理IP有两种代

  • 09 2018-11