代理ip

>

换ip软件

>

http代理

>

ip代理

您的位置:首页 > 新闻资讯 > 文章内容
爬虫关于ip代理的使用
来源:网连代理 作者:admin 时间:2019-10-29 16:02:34

  爬虫关于ip代理的使用你了解吗?下面代码里的所有ip都是从代理网站拿的,可用性极低。


爬虫关于ip代理的使用


  1,urllib


  #urllib设置ip


  from urllib.error import URLError


  from urllib.request import ProxyHandler,build_opener


  #proxy的格式为ip:端口号


  proxy="60.13.42.8:9999"


  #需要认证的代理可以写成如下格式,username为用户名,password为密码


  #proxy="username:password ip:端口号"


  proxy_handler=ProxyHandler({


  'http':'http://'+proxy,


  'https':'https://'+proxy


  })


  opener=build_opener(proxy_handler)


  try:


  #测试请求网站为httpbin


  response=opener.open("http://httpbin.org/get")


  print(response.read().decode('utf-8'))


  except URLError as e:


  print(e.reason)


  2,requests


  #requests设置代理


  import requests


  proxy="121.225.67.109:3128"


  #需要认证的代理可以写成如下格式,username为用户名,password为密码


  #proxy="username:password ip:端口号"


  proxies={


  'http':'http://'+proxy,


  'https':'https://'+proxy


  }


  try:


  response=requests.get('http://httpbin.org/get',proxies=proxies)


  print(response.text)


  except requests.exceptions.ConnectionError as e:


  print("Error:",e.args)


  3,selenium+chromedriver


  #selenium+chrome设置代理


  from selenium import webdriver


  proxy='117.90.6.32:9000'


  chrome_options=webdriver.ChromeOptions()


  chrome_options.add_argument('--proxy-server=http://'+proxy)


  driver=webdriver.Chrome(chrome_options=chrome_options,executable_path='D:\pythontools\chromedriver.exe')


  driver.get('http://httpbin.org/get')


相关文章内容简介
推荐阅读
  • 15 2020-06
  • 19 2019-07
    代理IP和VPN有什么区别

    许多人对于代理商IP和VPN一定会存有被误解,不清楚它们相互之间的不同之处是什么?更许多人觉得它们是一模一样的。这篇文章就来解答代理IP和vpn一模一样吗?代理IP和VPN有什么区别?

  • 15 2019-08
    网连代理告诉你帐号为什么会被封

    很多网络推广人员在工作的时候,主要就是在一些平台发布推广消息,但发着发着可能帐号就会被封了。那么,帐号为什么会被封呢?被封帐号的原因有很多,同设备使用了很多帐号、同一个IP

  • 14 2020-09
  • 30 2019-09
    怎么使用代理ip访问网页

    怎么使用代理ip访问网页?利用IP代理换IP访问网页对于互联网从业者已经不是一件稀奇的事情了,一般的浏览器都是会自带换IP的功能的,我们拿火狐浏览器举个例子。打开火狐设置选项,找到

  • 05 2019-07
    高匿代理是否比透明代理更加稳定

    我们知道,代理分为透明代理、普通匿名代理和高级匿名代理三种,有很多朋友疑问:高级匿名代理是否比普通匿名代理更稳定,普通匿名是否比透明代理更稳定呢?其实,这三种代理主要是在