代理ip

>

换ip软件

>

http代理

>

ip代理

您的位置:首页 > 新闻资讯 > 文章内容
爬虫关于ip代理的使用
来源:网连代理 作者:admin 时间:2019-10-29 16:02:34

  爬虫关于ip代理的使用你了解吗?下面代码里的所有ip都是从代理网站拿的,可用性极低。


爬虫关于ip代理的使用


  1,urllib


  #urllib设置ip


  from urllib.error import URLError


  from urllib.request import ProxyHandler,build_opener


  #proxy的格式为ip:端口号


  proxy="60.13.42.8:9999"


  #需要认证的代理可以写成如下格式,username为用户名,password为密码


  #proxy="username:password ip:端口号"


  proxy_handler=ProxyHandler({


  'http':'http://'+proxy,


  'https':'https://'+proxy


  })


  opener=build_opener(proxy_handler)


  try:


  #测试请求网站为httpbin


  response=opener.open("http://httpbin.org/get")


  print(response.read().decode('utf-8'))


  except URLError as e:


  print(e.reason)


  2,requests


  #requests设置代理


  import requests


  proxy="121.225.67.109:3128"


  #需要认证的代理可以写成如下格式,username为用户名,password为密码


  #proxy="username:password ip:端口号"


  proxies={


  'http':'http://'+proxy,


  'https':'https://'+proxy


  }


  try:


  response=requests.get('http://httpbin.org/get',proxies=proxies)


  print(response.text)


  except requests.exceptions.ConnectionError as e:


  print("Error:",e.args)


  3,selenium+chromedriver


  #selenium+chrome设置代理


  from selenium import webdriver


  proxy='117.90.6.32:9000'


  chrome_options=webdriver.ChromeOptions()


  chrome_options.add_argument('--proxy-server=http://'+proxy)


  driver=webdriver.Chrome(chrome_options=chrome_options,executable_path='D:\pythontools\chromedriver.exe')


  driver.get('http://httpbin.org/get')


相关文章内容简介
推荐阅读
  • 02 2019-08
    关于构建Python爬虫IP代理池服务的几个问题

    在公司做分布式深网爬虫,搭建了一套稳定的代理池服务,为上千个爬虫提供有效的代理,保证各个爬虫拿到的都是对应网站有效的代理IP,从而保证爬虫快速稳定的运行,当然在公司做的东西

  • 18 2020-09
  • 08 2019-10
    如何选择一个好的代理服务器

    随着信息科学技术的快速发展,互联网越来越成为人们生活不可或缺的一部分,如今代理服务器在互联网中的地位也水涨船高,很多企业或个人都在借助代理服务器从中获利。如何选择一个好的

  • 21 2020-02
    代理ip让上网更安全

    我们知道,当我们上网时,我们的真实IP可能会被泄露,当被别有用心的人获取到时则可能会对我们造成一些伤害。而如果使用了代理IP上网后,则完美的隐藏了我们的本机真实IP,多加了一份安

  • 03 2019-09
    网连代理凭什么重新定义代理IP服务?

    几个行业的朋友认为,无论互联网行业发展到何种地步,“资源”永远是任何互联网公司必不可少的弹药粮草。夸大些讲,任何一个互联网公司都会用到不同类型的数据。那么数据从何而来,这

  • 21 2019-01