Ce qui est un bon navigateur web pour télécharger des pages HTML?
Je suis à la recherche d'un web crawler/spider pour télécharger des pages individuelles. Qu'est ce qu'un bon (de préférence gratuit) produit qui prend en charge ce?
Veuillez expliquer ce qui fait de cette question une question de programmation? Si ce n'est pas le cas, veuillez lire notre FAQ pour voir quelles sont les questions acceptable ici.
Oui, il est fort probable appartient sur superuser.com ou peut-être webmasters.stackexchange.com.
Oui, il est fort probable appartient sur superuser.com ou peut-être webmasters.stackexchange.com.
OriginalL'auteur Cirem | 2011-10-18
Vous devez vous connecter pour publier un commentaire.
wgetoucurlviennent à l'esprit. Justement, quelles sont vos exigences? Avez-vous besoin d'récursive de crawl des pages, ou tout simplement de téléchargement d'Url spécifiques?wgetpouvez faire les deux.OriginalL'auteur Unsigned
J'irais pour WGET http://www.gnu.org/s/wget/
OriginalL'auteur briantyler
Si vous voulez télécharger un trou de site web, puis donner wget un essai. Il a des caractéristiques de télécharger de manière récursive. Si vous avez besoin de manipuler les en-têtes et seulement de téléchargement de quelques fichiers d'essayer curl (ou wget).
Si vous avez besoin de fonctionnalités comme la parallèle le téléchargement de gros fichiers, je voudrais suggérer aria2.
OriginalL'auteur Mark
Une liste de l'open source crawlers: http://en.wikipedia.org/wiki/Web_crawler#Open-source_crawlers
OriginalL'auteur Kiril