Python et urllib

Je suis en train de télécharger un fichier zip ("tl_2008_01001_edges.zip") à partir d'un ftp recensement site à l'aide de urllib. De quelle forme est le contenu du fichier zip dans quand je l'obtenir et comment puis-je l'enregistrer?

Je suis assez nouveau à Python et ne comprends pas comment urllib œuvres.

C'est ma tentative:

import urllib, sys

zip_file = urllib.urlretrieve("ftp://ftp2.census.gov/geo/tiger/TIGER2008/01_ALABAMA/Autauga_County/", "tl_2008_01001_edges.zip")

Si je sais que la liste des dossiers ftp (ou comtés, dans ce cas), je peux courir à travers le ftp site de la liste à l'aide de la fonction glob?

Grâce.

OriginalL'auteur djq | 2010-02-18

  1. 8

    Utilisation urllib2.urlopen() pour le fichier zip de données et la liste des répertoires.

    Pour traiter des fichiers zip avec le zipfile module, vous pouvez les écrire dans un fichier de disque qui est ensuite transmis à la zipfile.ZipFile constructeur.
    La récupération des données est simple à l'aide de read() sur le fichier-comme l'objet retourné
    par urllib2.urlopen().

    De l'extraction de répertoires:

    >>> files = urllib2.urlopen('ftp://ftp2.census.gov/geo/tiger/TIGER2008/01_ALABAMA/').read().splitlines()
>>> for l in files[:4]: print l
... 
drwxrwsr-x    2 0        4009         4096 Nov 26  2008 01001_Autauga_County
drwxrwsr-x    2 0        4009         4096 Nov 26  2008 01003_Baldwin_County
drwxrwsr-x    2 0        4009         4096 Nov 26  2008 01005_Barbour_County
drwxrwsr-x    2 0        4009         4096 Nov 26  2008 01007_Bibb_County
>>>

    Ou, fractionnement pour les noms de répertoire:

    >>> for l in files[:4]: print l.split()[-1]
... 
01001_Autauga_County
01003_Baldwin_County
01005_Barbour_County
01007_Bibb_County
    Merci beaucoup - c'est ce qui explique exactement ce que je dois faire. Je suis maintenant heureux de téléchargement de quelques centaines de fichiers à l'aide de ce.

    OriginalL'auteur gimel

  2. 4
    import os,urllib2
out=os.path.join("/tmp","test.zip")
url="ftp://ftp2.census.gov/geo/tiger/TIGER2008/01_ALABAMA/01001_Autauga_County/tl_2008_01001_edges.zip"
page=urllib2.urlopen(url)
open(out,"wb").write(page.read())
    Merci - c'est ce qui explique comment j'ai besoin d'aller sur le sauvetage de l'zipfile objet, ce qui est très utile

    OriginalL'auteur ghostdog74

  3. 3

    Par les docs, urlretrieve met le fichier sur le disque et renvoie un tuple (filename, headers). Si le fichier est déjà enregistré lors de la urlretrieve retourne.

    Vous pouvez ouvrir et lire le fichier ZIP que vous avez récupéré avec la zipfile des modules de la bibliothèque standard. glob ne fonctionne pas à l'intérieur de zipfiles, seulement sur normal du système de fichiers répertoires.

    Merci, donc si j'utilise urllib.urlretrieve("ftp2.census.gov/geo/tiger/TIGER2008/01_ALABAMA/...", "F://") qui l'enregistre sur mon F-lecteur? Concernant mon glob question, je n'ai pas été très clair, je me demandais comment je boucle à travers une liste de dossiers ftp sur le site, plutôt que dans un fichier zip.

    OriginalL'auteur Alex Martelli