Comment télécharger tous les liens vers .les fichiers zip sur une page web donnée à l'aide de wget/curl?

Une page contient des liens vers un ensemble de .les fichiers zip, tous de qui je veux télécharger. Je sais que cela peut être fait par wget et curl. Comment est-il fait?

InformationsquelleAutor uyetch | 2012-11-23
  1. 111

    La commande est:

    wget -r -np -l 1 -A zip http://example.com/download/

    Options de sens:

    -r,  --recursive          specify recursive download.
-np, --no-parent          don't ascend to the parent directory.
-l,  --level=NUMBER       maximum recursion depth (inf or 0 for infinite).
-A,  --accept=LIST        comma-separated list of accepted extensions.
    • Le -nd (pas de répertoires) drapeau est pratique si vous ne voulez pas des extra-répertoires créés (c'est à dire, tous les fichiers seront dans le dossier racine).
    • Comment puis-je ajuster cette solution pour aller plus loin à partir de la page donnée? J'ai essayé -l 20, mais wget s'arrête immédiatement.
    • Si les fichiers ne sont pas dans le même répertoire que l'URL de départ, vous pourriez avoir besoin pour vous débarrasser de -np. Si ils sont sur un hôte différent, vous aurez besoin --span-host.
    InformationsquelleAutor creaktive
  2. 61

    Solution ci-dessus ne fonctionne pas pour moi.
    Pour moi seulement ceci fonctionne:

    wget -r -l1 -H -t1 -nd -N -np -A.mp3 -erobots=off [url of website]

    Options de sens:

    -r            recursive
-l1           maximum recursion depth (1=use only this directory)
-H            span hosts (visit other hosts in the recursion)
-t1           Number of retries
-nd           Don't make new directories, put downloaded files in this one
-N            turn on timestamping
-A.mp3        download only mp3s
-erobots=off  execute "robots.off" as if it were a part of .wgetrc
    • Source: commandlinefu.com/commands/view/12498/...
    • oui, merci! Je ne me souviens pas d'où il vient, il a juste couché dans mes scripts.
    • ne sais pas désolé. faire une nouvelle question! 😉
    • A également travaillé pour moi sur Windows à l'aide de wget 1.18
    • +1 pour le -H commutateur. C'est ce qui a été la prévention de la première réponse (qui est ce que j'ai essayé avant de le regarder sur de de travail.
    • Je suis un "les arguments Obligatoires à longs sont obligatoires pour les options courtes, trop" erreur avec celui-ci. 🙁
    • Ligne de commande Jedi option de compétences. Fonctionne un régal, assurez-vous d'avoir bien formé document html et pas juste une goutte de corps html.
    • en fait, je viens de réaliser que ma source n'était PAS en ligne de commande fu parce que j'ai répondu sur ce 2013-07-10, tandis que le commandlinefu entrée est de 2013-07-13. Mais je remarque aussi que je ne suis pas venu avec cela, je l'ai trouvé quelque part...

    InformationsquelleAutor K.-Michael Aye
  3. 3

    Pour d'autres scénarios avec certains parallèle de la magie que j'utilise:

    curl [url] | grep -i [filending] | sed -n 's/.*href="\([^"]*\).*//p' |  parallel -N5 wget -
    InformationsquelleAutor M Lindblad