Puis-je utiliser WGET pour générer un sitemap d'un site web donné son URL?
J'ai besoin d'un script qui peut indexer un site web et retourner la liste de tous les analysé les pages en texte brut ou au format similaire; que je vais soumettre aux moteurs de recherche comme sitemap. Puis-je utiliser WGET pour générer un sitemap d'un site web? Ou est-il un script PHP qui peut faire la même chose?
OriginalL'auteur Salman A | 2010-10-16
Vous devez vous connecter pour publier un commentaire.
Cela crée un fichier appelé
sedlog.txt
qui contient tous les liens trouvés sur le site web indiqué. Vous pouvez utiliser PHP ou un script shell pour convertir le texte en fichier sitemap en XML sitemap. Ajuster les paramètres de la commande wget (accepter/refuser/inclure/exclure) pour obtenir uniquement les liens dont vous avez besoin.Vous devez ajouter un petit délai entre les demandes à l'aide de
--wait=1
, autrement, cela pourrait affecter les performances du site.OriginalL'auteur Salman A
Vous pouvez utiliser ce script perl de faire le tour : http://code.google.com/p/perlsitemapgenerator/
OriginalL'auteur Gilles Quenot