Le Multithreading pour un téléchargement plus rapide

Comment puis-je télécharger plusieurs liens en même temps? Mon script ci-dessous fonctionne, mais seulement les téléchargements un par un et il est extrêmement lent. Je ne peux pas comprendre comment intégrer le multithreading dans mon script.

Le script Python:

from BeautifulSoup import BeautifulSoup
import lxml.html as html
import urlparse
import os, sys
import urllib2
import re

print ("downloading and parsing Bibles...")
root = html.parse(open('links.html'))
for link in root.findall('//a'):
  url = link.get('href')
  name = urlparse.urlparse(url).path.split('/')[-1]
  dirname = urlparse.urlparse(url).path.split('.')[-1]
  f = urllib2.urlopen(url)
  s = f.read()
  if (os.path.isdir(dirname) == 0): 
    os.mkdir(dirname)
  soup = BeautifulSoup(s)
  articleTag = soup.html.body.article
  converted = str(articleTag)
  full_path = os.path.join(dirname, name)
  open(full_path, 'w').write(converted)
  print(name)

Le fichier HTML appelé links.html:

<a href="http://www.youversion.com/bible/gen.1.nmv-fas">http://www.youversion.com/bible/gen.1.nmv-fas</a>

<a href="http://www.youversion.com/bible/gen.2.nmv-fas">http://www.youversion.com/bible/gen.2.nmv-fas</a>

<a href="http://www.youversion.com/bible/gen.3.nmv-fas">http://www.youversion.com/bible/gen.3.nmv-fas</a>

<a href="http://www.youversion.com/bible/gen.4.nmv-fas">http://www.youversion.com/bible/gen.4.nmv-fas</a>
  • Vous n'avez même pas essayé encore rien, de sorte que vous n'avez pas réellement un problème, nous pouvons vous aider avec.
  • ouvert(full_path, 'wb').écrire(convertis) !!! vous souhaitez télécharger des fichiers binaires
InformationsquelleAutor Blainer | 2012-05-08