代理ip

>

换ip软件

>

http代理

>

ip代理

您的位置:首页 > 新闻资讯 > 文章内容
网络爬虫的抓取策略
来源: 作者:admin 时间:2018-11-16 10:18:49

  在爬虫系统中,待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题,因为这涉及到先抓取那个页面,后抓取哪个页面。而决定这些URL排列顺序的方法,叫做抓取策略。

网连HTTP代理是企业级大数据爬取HTTP动态IP服务提供商,为上百家企业用户提供海量优质高匿HTTP代理IP,全国自建200多所机房,低延迟高可用率稳定专业!欢迎免费试用...

下面重点介绍几种常见的抓取策略:


    1.深度优先遍历策略


深度优先遍历策略是指网络爬虫会从起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转入下一个起始页,继续跟踪链接。


    2.宽度优先遍历策略


    宽度优先遍历策略的基本思路是,将新下载网页中发现的链接直接插入待抓取URL队列的末尾。也就是指网络爬虫会先抓取起始网页中链接的所有网页,然后再选择其中的一个链接网页,继续抓取在此网页中链接的所有网页。


    3.反向链接数策略


    反向链接数是指一个网页被其他网页链接指向的数量。反向链接数表示的是一个网页的内容受到其他人的推荐的程度。因此,很多时候搜索引擎的抓取系统会使用这个指标来评价网页的重要程度,从而决定不同网页的抓取先后顺序。


    在真实的网络环境中,由于广告链接、作弊链接的存在,反向链接数不能完全等他我那个也的重要程度。因此,搜索引擎往往考虑一些可靠的反向链接数。


    4.Partial PageRank策略


    Partial PageRank算法借鉴了PageRank算法的思想:对于已经下载的网页,连同待抓取URL队列中的URL,形成网页集合,计算每个页面的PageRank值,计算完之后,将待抓取URL队列中的URL按照PageRank值的大小排列,并按照该顺序抓取页面。


    如果每次抓取一个页面,就重新计算PageRank值,一种折中方案是:每抓取K个页面后,重新计算一次PageRank值。但是这种情况还会有一个问题:对于已经下载下来的页面中分析出的链接,也就是我们之前提到的未知网页那一部分,暂时是没有PageRank值的。为了解决这个问题,会给这些页面一个临时的PageRank值:将这个网页所有入链传递进来的PageRank值进行汇总,这样就形成了该未知页面的PageRank值,从而参与排序。下面举例说明:


    5.OPIC策略策略


    该算法实际上也是对页面进行一个重要性打分。在算法开始前,给所有页面一个相同的初始现金(cash)。当下载了某个页面P之后,将P的现金分摊给所有从P中分析出的链接,并且将P的现金清空。对于待抓取URL队列中的所有页面按照现金数进行排序。


    6.大站优先策略


    对于待抓取URL队列中的所有网页,根据所属的网站进行分类。对于待下载页面数多的网站,优先下载。这个策略也因此叫做大站优先策略。 



相关文章内容简介
推荐阅读
  • 25 2018-12
  • 26 2019-11
    代理ip在商业银行中的作用大吗?

    代理ip在商业银行中的作用大吗?对于商业银行来说,想要在现如今激烈的竞争中有一席之地,甚至说可以立于不败之地,就要做到全方位各方面的各种了解。了解自身的优势劣势、了解客户的

  • 16 2018-12
  • 21 2019-09
    简述http\https\sockets代理的区别

    http\https\sockets代理之间有什么区别?首先我们先想像下,有一台电脑,装了代理软件、macos、chrome;我们再明确下,http代理工作在应用层(TCP/IP模型中),仅支持http协议,sockets工作在会话层(OSI模

  • 12 2019-11
    怎么正确选择http短效代理ip

    怎么正确选择http短效代理ip?大数据时代,企业的发展离不开数据的支持,企业通过爬虫采集获取用户、竞争对手等数据信息,对获取的数据进行分析,制定适合自己的营销方案。而数据采集过

  • 18 2019-11
    代理服务器按匿名程度怎么分类

    代理服务器是一种特殊的网络服务,是在计算机上运行的专用计算机或软件系统,提供代理服务的电脑系统或其它类型的网络终端称为代理服务器。其充当端点设备(例如计算机)与用户或客户