Web Cralwer Algorithme: profondeur?

Je travaille sur un robot et besoin de comprendre exactement ce que l'on entend par "lien de la profondeur". Prendre nutch par exemple: http://wiki.apache.org/nutch/NutchTutorial

profondeur indique le lien de la profondeur à partir de la racine de la page qui doit être
analysé.

Donc, dire que j'ai du domaine www.domain.com et je voulais analyser une profondeur de, disons, 3 -- que dois-je faire? Si un site peut être représenté comme un arbre binaire, alors il ne serait pas un problème je pense.

  • vous avez dit un site pourrait être représenté comme un arbre binaire, mais je pense qu'il pourrait être représenté comme un graphe, puisque les liens peuvent lier les uns aux autres plus d'une fois et une croix les uns des autres. Vous pouvez même avoir impasse des liens que jamais de lien vers d'autres pages, mais seulement pour elle-même. Donc on peut considérer le site web ou de l'internet comme un graphique je pense.
InformationsquelleAutor StackOverflowNewbie | 2010-12-04
  1. 12

    Lien de la profondeur, le nombre de "houblon", une page est être loin de la racine, où un "hop" signifie à la suite d'un lien sur une page. La raison de Nutch a cette restriction est que des liens très "loin" de la page principale est rare de tenir beaucoup d'informations (à la page principale de lien vers les informations les plus importantes, de sorte que le plus vous obtenez, plus de détails à vous de trouver), alors qu'il peut être très beaucoup d'entre eux, de sorte qu'ils prennent beaucoup d'espace de stockage, temps de calcul pour le classement, et la bande passante.

    Nutch utilise donc un algorithme schéma de la profondeur limitée de recherche lié à son temps d'exécution et l'utilisation de l'espace. Si elle n'a pas l'utilisation de cette heuristique, il faudrait analyser un site complet pour classer toutes les pages et trouver les meilleurs N.

    À ramper jusqu'à la profondeur de 3, de mettre en œuvre cet algorithme et de lui donner une profondeur lié de trois. La bonne chose à propos de la profondeur limitée de la recherche est que c'est une variante de depth-first search (DFS), donc c'est assez efficace en terme d'espace:

    function depth-limited-crawl(page p, int d)
    if d == 0
        return
    /* do something with p, store it or so */
    foreach (page l in links(p))
        depth-limited-crawl(linked, d-1)

    Et non, un site ne peut pas en général être représenté comme un arbre binaire; c'est un graphe orienté. Si vous en quelque sorte de supprimer les backlinks, il devient alors un multiway arbre. De toute façon, de nombreux sites sont trop grande pour stocker pour votre robot.

    • Je vais essayer de la profondeur limitée de la recherche. Dans votre pseudo-code, quelle est la limite de 3 forcée?
    • Par la récursivité: vous l'appelez avec un second argument de 3. d = 0, le cas de base, renvoie immédiatement; dans l'appel récursif, d est décrémenté.
    InformationsquelleAutor Fred Foo
  2. 2
    1. Faire une liste que vous pouvez utiliser comme une file d'attente.
    2. Ajouter www.domain.com, depth 0 à
    3. Tirez le premier élément à l'arrêt, elle
    4. profondeur actuelle est les éléments de la profondeur+1
    5. D'analyse que site
    6. Ajouter chaque lien sur le site de la file d'attente si la profondeur n'est pas plus grande que la profondeur maximale
    7. Si la liste n'est pas vide, revenir à 3..
    • Voulez-vous dire une file d'attente FIFO? C'est la profondeur limitée de la recherche, de sorte qu'il peut être fait de manière beaucoup plus efficace avec une pile.
    InformationsquelleAutor thejh
  3. 2

    Je suppose que la "profondeur" est le nombre de fois que le robot "suit un lien".

    Dire que vous démarrez à partir de la page racine. Vous suivez chacune des liens sur cette page: c'est la profondeur 1. Pour chacune des pages cibles, vous suivez les liens: c'est la profondeur 2, etc.

    Noter qu'il peut y avoir des "cycles", tout en suivant des liens. La structure n'est pas un arbre, mais un graphique.

    InformationsquelleAutor ChrisJ
  4. 0

    Lien de la profondeur de la façon dont beaucoup que vous avez des liens à suivre avant d'arriver à un lien donné.

    Exemple: example.com des liens vers d'example.com/foo.html qui des liens vers d'google.com. Donc google.com a un lien de profondeur de 2 par rapport à example.com comme vous pouvez l'atteindre en suivant 2 liens.

    À ramper example.com à une profondeur de 3, vous pouvez suivre les liens à une profondeur maximale de 3 et puis arrêter de suivre les liens. Sans cette restriction, vous pouvez facilement aller à l'infini.

    Exemple: example.com des liens vers d'example.com/foo.html et example.com/bar.html. Vous suivez ces deux liens, des liens qu'ils lien et de s'arrêter là.

    Remarque: La page racine a une profondeur de 0.

    InformationsquelleAutor marcog
  5. 0

    Un site web racine du est à une profondeur de 0. Documents que vous pouvez atteindre par l'utilisation des liens dans la racine sont à la profondeur 1. Documents à son tour, peut atteindre à partir de liens dans les documents à la profondeur 1 serait en profondeur 2. Et ainsi de suite.

    En fonction de votre robot cela pourrait s'appliquer uniquement aux documents dans le même site/domaine (d'habitude) ou des documents hébergés ailleurs.

    La plupart des sites web ne sont pas représentable par un arbre binaire, en tant que "root" peut avoir plus de deux "nœuds".

    InformationsquelleAutor Roadmaster
  6. 0

    Bien dans le cas de Nutch, la profondeur de l'argument est tout à fait un misnommer, cela veut seulement dire le nombre de boucles le robot est en train de subir. Ainsi vous atteindrez les pages qui sont 3 liens à l'écart de votre graine url... sur un site donné, il pourrait en profondeur 3... c'est si ils ont la main par être dans le top N des limites.

    InformationsquelleAutor millebii
  7. 0

    Profondeur est le nombre de barres obliques, il le chemin de l'url

    exemple http://www.google.com/foo/bar/baz a une profondeur de 3

    def depth(self,link):
    return len(urlparse.urlparse(url).path.split("/")) -1
    • Ce n'est pas vrai. Larsmans donne la bonne réponse. si google.com des liens vers d'google.com/service/contact/phone que ce sera la profondeur 1, et non pas 3 comme vous le dites.
    InformationsquelleAutor Ricky Wilson