代理ip

>

换ip软件

>

http代理

>

ip代理

您的位置:首页 > 新闻资讯 > 文章内容
网络爬虫的抓取策略
来源: 作者:admin 时间:2018-11-16 10:18:49

  在爬虫系统中,待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题,因为这涉及到先抓取那个页面,后抓取哪个页面。而决定这些URL排列顺序的方法,叫做抓取策略。

网连HTTP代理是企业级大数据爬取HTTP动态IP服务提供商,为上百家企业用户提供海量优质高匿HTTP代理IP,全国自建200多所机房,低延迟高可用率稳定专业!欢迎免费试用...

下面重点介绍几种常见的抓取策略:


    1.深度优先遍历策略


深度优先遍历策略是指网络爬虫会从起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转入下一个起始页,继续跟踪链接。


    2.宽度优先遍历策略


    宽度优先遍历策略的基本思路是,将新下载网页中发现的链接直接插入待抓取URL队列的末尾。也就是指网络爬虫会先抓取起始网页中链接的所有网页,然后再选择其中的一个链接网页,继续抓取在此网页中链接的所有网页。


    3.反向链接数策略


    反向链接数是指一个网页被其他网页链接指向的数量。反向链接数表示的是一个网页的内容受到其他人的推荐的程度。因此,很多时候搜索引擎的抓取系统会使用这个指标来评价网页的重要程度,从而决定不同网页的抓取先后顺序。


    在真实的网络环境中,由于广告链接、作弊链接的存在,反向链接数不能完全等他我那个也的重要程度。因此,搜索引擎往往考虑一些可靠的反向链接数。


    4.Partial PageRank策略


    Partial PageRank算法借鉴了PageRank算法的思想:对于已经下载的网页,连同待抓取URL队列中的URL,形成网页集合,计算每个页面的PageRank值,计算完之后,将待抓取URL队列中的URL按照PageRank值的大小排列,并按照该顺序抓取页面。


    如果每次抓取一个页面,就重新计算PageRank值,一种折中方案是:每抓取K个页面后,重新计算一次PageRank值。但是这种情况还会有一个问题:对于已经下载下来的页面中分析出的链接,也就是我们之前提到的未知网页那一部分,暂时是没有PageRank值的。为了解决这个问题,会给这些页面一个临时的PageRank值:将这个网页所有入链传递进来的PageRank值进行汇总,这样就形成了该未知页面的PageRank值,从而参与排序。下面举例说明:


    5.OPIC策略策略


    该算法实际上也是对页面进行一个重要性打分。在算法开始前,给所有页面一个相同的初始现金(cash)。当下载了某个页面P之后,将P的现金分摊给所有从P中分析出的链接,并且将P的现金清空。对于待抓取URL队列中的所有页面按照现金数进行排序。


    6.大站优先策略


    对于待抓取URL队列中的所有网页,根据所属的网站进行分类。对于待下载页面数多的网站,优先下载。这个策略也因此叫做大站优先策略。 



相关文章内容简介
推荐阅读
  • 27 2019-07
    如何使用换ip软件在国外看国内视频

    最近总是听到很多网友抱怨在国外看不了国内视频的问题,因为版权种种问题,国内的视频是不支持国外播放的,这个问题一直深深的困扰着国外的小伙伴们。但其实这个问题并不是得不到解决

  • 27 2019-06
    代理IP软件如何只切换浏览器IP地址

    代理IP软件如何只切换浏览器IP地址?由于日常工作原因,我需要不断的更换IP地址实现账号登录,身份刷新,所以IP代理软件对我来说很重要。工作这一两年,用了很多款代理IP软件,相信了解

  • 10 2019-09
    为什么要选择高质量代理ip

    为什么要选择高质量代理ip?高质量代理ip资源在国内是很难找到的,这也导致了很多用户在找寻不到高质量代理ip资源用户就放弃了它。但是依然也有很多用户,一直在努力孜孜不倦的找寻着高

  • 21 2020-04
  • 27 2019-08
    代理服务器适合用于哪些地方?

    大家对于服务器了解有多少?代理服务器与服务器有什么区别呢?我们一般使用代理服务器是做什么的?代理服务器适合用于哪些地方?其实代理服务器是介于浏览器与web服务器之间服务器,可

  • 22 2019-10
    爬虫代理IP的种类介绍

    爬虫代理IP的种类有哪些?大多数人都知道,没有大批量的IP进行支撑,爬虫工作者的工作将很难进行下去。下面是我们总结的爬虫代理IP的种类介绍。一、第三方平台 很多平台可以免费获取到