Comment écrire un script python pour le téléchargement?

Faire une demande d'url pour la page. Une fois que vous avez la source, de filtrer et d'obtenir des url.

Les fichiers que vous souhaitez télécharger sont les url qui contiennent une extension spécifique. C'est avec cela que vous pouvez faire une expression régulière pour toutes les url qui correspondent à vos critères.
Après filtration, puis faire une demande d'url pour chaque appariés url des données et de l'écrire de mémoire.

Exemple de code:

#!/usr/bin/python
import re
import sys
import urllib
#Your sample url
sampleUrl = "http://stackoverflow.com"
urlAddInfo = urllib.urlopen(sampleUrl)
data = urlAddInfo.read()
#Sample extensions we'll be looking for: pngs and pdfs
TARGET_EXTENSIONS = "(png|pdf)"
targetCompile = re.compile(TARGET_EXTENSIONS, re.UNICODE|re.MULTILINE)
#Let's get all the urls: match criteria{no spaces or " in a url}
urls = re.findall('(https?://[^\s"]+)', data, re.UNICODE|re.MULTILINE)
#We want these folks
extensionMatches = filter(lambda url: url and targetCompile.search(url), urls)
#The rest of the unmatched urls for which the scrapping can also be repeated.
nonExtMatches = filter(lambda url: url and not targetCompile.search(url), urls)
def fileDl(targetUrl):
#Function to handle downloading of files.
#Arg: url => a String
#Output: Boolean to signify if file has been written to memory
#Validation of the url assumed, for the sake of keeping the illustration short
urlAddInfo = urllib.urlopen(targetUrl)
data = urlAddInfo.read()
fileNameSearch = re.search("([^\/\s]+)$", targetUrl) #Text right before the last slash '/'
if not fileNameSearch:
sys.stderr.write("Could not extract a filename from url '%s'\n"%(targetUrl))
return False
fileName = fileNameSearch.groups(1)[0]
with open(fileName, "wb") as f:
f.write(data)
sys.stderr.write("Wrote %s to memory\n"%(fileName))
return True
#Let's now download the matched files
dlResults = map(lambda fUrl: fileDl(fUrl), extensionMatches)
successfulDls = filter(lambda s: s, dlResults)
sys.stderr.write("Downloaded %d files from %s\n"%(len(successfulDls), sampleUrl))
#You can organize the above code into a function to repeat the process for each of the
#other urls and in that way you can make a crawler.

Le code ci-dessus est écrit principalement pour Python2.X. Cependant, J'ai écrit un robot qui fonctionne sur n'importe quelle version à partir de 2.X

OriginalL'auteur Emmanuel Odeke

Pourquoi oui! 5 ans plus tard et, ce n'est pas seulement possible, mais vous avez maintenant obtenu une beaucoup de façons de le faire.

Je vais éviter de code-exemples ici, en raison principalement souhaitez aider à briser votre problème en segments et vous donner quelques options pour l'exploration:

Segment 1: OBTENIR!

Si vous doit en tenir à la stdlib, pour python2 ou python3, urllib[n]* est ce que vous allez avoir à utiliser pour les pull-down quelque chose à partir de l'internet.

Encore une fois, si vous ne voulez pas de dépendances sur d'autres paquets:

• urllib ou urllib2 ou peut-être un autre urllib[n] je l'oublier.

Si vous n'avez pas à limiter votre importations de la Bibliothèque Standard:

vous avez de la chance!!!!! Vous avez:

• requests avec docs ici. requests est la norme d'or pour gettin' trucs sur le web avec python. Je vous suggère de l'utiliser.
• uplink avec docs ici. C'est relativement nouveau & pour plus programmatique interfaces client.
• aiohttp via asyncio avec docs ici. asyincio ai inclus dans python >= 3.5 seul, et c'est aussi une source de confusion. Cela dit, si vous êtes disposé à mettre dans le temps, il peut être incroyablement efficace pour exactement ce cas d'utilisation.

...Je voudrais aussi m'en voudrais de ne pas mentionner l'un de mes outils préférés pour l'analyse:

- fake_useragent repo ici. Docs comme sérieux pas nécessaire.

Segment 2: Analyser Les!

Encore une fois, si vous doit en tenir à la stdlib et de ne pas installer quoi que ce soit avec pip, vous arrivez à utiliser l'extra-extra amusante et sécurisée (<==extrême-sarcasme) xml builtin module. Plus spécifiquement, vous aurez à utiliser le:

• xml.etree.ElementTree() avec docs ici.

Il est intéressant de noter que la ElementTree objet est ce que le pip-téléchargeable lxml la formule est basée sur, et le fait de faire plus facile à utiliser. Si vous souhaitez recréer la roue et d'écrire un tas de votre propre logique compliquée, à l'aide de la valeur par défaut xml module est votre option.

Si vous n'avez pas à limiter votre importations de la Bibliothèque Standard:

• lxml avec docs ici. Comme je l'ai dit avant, lxml est un wrapper autour de xml.etree qui le rend humain-utilisable & met en œuvre tous ces outils d'analyse vous auriez besoin de faire vous-même. Cependant, comme vous pouvez le voir en visitant les docs, il n'est pas facile à utiliser par lui-même. Ce qui nous amène à...
• BeautifulSoup aka bs4 avec docs ici. BeautifulSoup rend tout plus facile. C'est ma recommandation pour ce.

Segment 3: OBTENIR OBTENIR OBTENIR!

Cette section est presque exactement la même que "le Segment 1," sauf si vous avez un tas de liens a pas.
La seule chose qui change entre cette section et "secteur 1" est ma recommandation pour quoi utiliser: aiohttp ici télécharger façon plus rapide lorsque vous traitez avec plusieurs URLs, car il vous permet de télécharger en parallèle.**

---

* - (où n a été décidé à partir de python-version ptyhon-version un peu frustrant façon arbitraire. Regarder qui urllib[n] a .urlopen() comme une fonction de haut niveau. Vous pouvez en lire plus à propos de cette appellation-convention clusterfk ici, ici, et ici.)


**** - (Ce n'est pas tout à fait vrai. C'est plus de tri-de fonctionnellement vrai à l'échelle de temps humaine.)

OriginalL'auteur Rob Truxal