Comment obtenir la liste des Url pour un domaine

Je voudrais générer une liste d'Url pour un domaine, mais je préfère économiser de la bande passante par pas de ramper le domaine moi-même. Donc, il y a un moyen d'utiliser l'existant, analysé des données?

Une solution, j'ai pensé de faire un Yahoo site de recherche, ce qui me permet de télécharger les 1000 premiers résultats en format TSV. Cependant pour obtenir tous les enregistrements que j'aurais à gratter les résultats de la recherche. Google prend également en charge la recherche de site, mais n'offre pas un moyen facile de télécharger les données.

Pouvez-vous penser à une meilleure façon de travailler avec la plupart (si pas tous) des sites web?

grâce,
Richard

InformationsquelleAutor hoju | 2009-06-28
  1. 3

    Vous pouvez télécharger une liste de jusqu'à 500 Url gratuit par le biais de cet outil en ligne:

    XML Sitemap Generator

    ...Il suffit de sélectionner "liste de texte" après que l'outil analyse votre site.

    InformationsquelleAutor
  2. 1

    Certains webmasters offre Sitemaps, qui sont essentiellement XML la liste de tous les URL sur le domaine. Cependant, il n'est pas général solution à l'exception de l'analyse. Si vous utilisez un robot, veuillez obéir robots.txt.

    • malheureusement, la plupart des sites que j'ai regardé, ne les utilisez pas. Je suis l'espoir d'utiliser les résultats d'un autre robot au lieu de ramper à nouveau moi-même.
    • Je suis en désaccord qu'il y a au moins une solution générale, qui je l'ai expliqué, c'est à l'aide de l'analysé les résultats d'un moteur de recherche. Ceci est fait en utilisant site:foo.org.
    • Richard, les moteurs de recherche n'indexent pas tous les domaines, et leurs listes ne comprennent pas tous de la page sur les domaines qu'ils indexent. C'est pourquoi site:foo.org n'est pas une solution générale.
    InformationsquelleAutor Matthew Flaschen
  3. 0

    Semble qu'il n'y est pas royal moyen de l'analyse web, donc je vais juste coller à mon approche actuelle...

    Aussi j'ai trouvé la plupart des moteurs de recherche seulement exposer les 1000 premiers résultats, de toute façon.

    InformationsquelleAutor hoju