Python en mémoire zip bibliothèque

Est-il une bibliothèque Python qui permet la manipulation des archives zip dans la mémoire, sans avoir à utiliser de disque réel des fichiers?

La ZipFile bibliothèque ne vous permet pas de mettre à jour l'archive. Le seul moyen semble être de l'extraire dans un répertoire, apportez vos modifications, et de créer un nouveau zip à partir de ce répertoire. Je veux modifier le contenu des archives zip sans accès disque, parce que je vais les télécharger, faire des changements, et de les télécharger de nouveau, donc je n'ai aucune raison de les stocker.

Quelque chose de similaire à Java ZipInputStream/ZipOutputStream ferait l'affaire, bien que l'interface qui évite l'accès au disque serait bien.

InformationsquelleAutor John B | 2010-03-17
  1. 74

    Selon la Python docs:

    class zipfile.ZipFile(file[, mode[, compression[, allowZip64]]])

  Open a ZIP file, where file can be either a path to a file (a string) or a file-like object.

    Ainsi, pour ouvrir le fichier en mémoire, il suffit de créer un fichier objet en forme (peut-être en utilisant BytesIO).

    file_like_object = io.BytesIO(my_zip_data)
zipfile_ob = zipfile.ZipFile(file_like_object)
    InformationsquelleAutor Jason R. Coombs
  2. 42

    De l'article En Mémoire Zip en Python:

    Ci-dessous est un billet sur mon blog à partir de Mai 2008 sur la compression de la mémoire avec Python, re-publié depuis Posterous est en cours d'arrêt.

    J'ai récemment remarqué qu'il n'y est pour payer composant disponible pour les fichiers zip dans la mémoire avec Python. Considérant que c'est quelque chose qui doit être libre, j'ai jeté le code suivant. Il a seulement allé par le biais de très de base de test, donc si quelqu'un trouve des erreurs, faites le moi savoir et je vais mettre à jour ce.

    import zipfile
import StringIO

class InMemoryZip(object):
    def __init__(self):
        # Create the in-memory file-like object
        self.in_memory_zip = StringIO.StringIO()

    def append(self, filename_in_zip, file_contents):
        '''Appends a file with name filename_in_zip and contents of 
        file_contents to the in-memory zip.'''
        # Get a handle to the in-memory zip in append mode
        zf = zipfile.ZipFile(self.in_memory_zip, "a", zipfile.ZIP_DEFLATED, False)

        # Write the file to the in-memory zip
        zf.writestr(filename_in_zip, file_contents)

        # Mark the files as having been created on Windows so that
        # Unix permissions are not inferred as 0000
        for zfile in zf.filelist:
            zfile.create_system = 0        

        return self

    def read(self):
        '''Returns a string with the contents of the in-memory zip.'''
        self.in_memory_zip.seek(0)
        return self.in_memory_zip.read()

    def writetofile(self, filename):
        '''Writes the in-memory zip to a file.'''
        f = file(filename, "w")
        f.write(self.read())
        f.close()

if __name__ == "__main__":
    # Run a test
    imz = InMemoryZip()
    imz.append("test.txt", "Another test").append("test2.txt", "Still another")
    imz.writetofile("test.zip")
    • Lien utile - c'est un bon exemple de la façon d'utiliser le ZipFile objet de la manière décrite par Jason réponse. Merci
    • Pas de problème, content que vous avez trouvé utile.
    • Soins de résumer le contenu du lien ici, si elle meurt, ne sorte de votre réponse
    • Bon point. J'ai ajouté tous que le contenu de ce post, juste au cas où.
    • Parfait. Il suffit de copier-coller et ça fonctionne.
    • Ne fonctionne pas pour de vrai sous Windows ou sur Python 3.X, voir ma réponse pour une mise à jour du code.
    • Je suis désolé de relancer un vieux post, mais j'ai essayé la solution proposée, mais j'ai eu un zip corrompu le fichier en sortie. J'utilise python 2.7 dans l'environnement de windows et le fichier zip n'a qu'un seul fichier. Nom de fichier à l'intérieur de la fermeture éclair est jusqu'à 40 caractères.

    InformationsquelleAutor Justin Ethier
  3. 20

    L'exemple Ethier a plusieurs problèmes, dont certains majeurs:

    • ne fonctionne pas pour les données réelles sur Windows. Un fichier ZIP est binaire et ses données doit toujours être écrit avec un fichier ouvert 'wb'
    • le fichier ZIP est ajouté pour chaque fichier, c'est inefficace. Il peut juste être ouvert et gardé comme une InMemoryZip attribut
    • la documentation indique que les fichiers ZIP doit être fermé de manière explicite, ce n'est pas fait dans la fonction append (il fonctionne probablement (pour l'exemple) parce que zf est hors de portée et qui ferme le fichier ZIP)
    • la create_system indicateur est défini pour tous les fichiers dans le zipfile chaque fois qu'un fichier est ajouté au lieu d'une seule fois par fichier.
    • sur Python < 3 cStringIO est beaucoup plus efficace que StringIO
    • ne fonctionne pas sur Python 3 (l'article original a été avant la version 3.0, mais au moment où le code a été affiché 3.1 a été pendant une longue période).

    Une version mise à jour est disponible si vous installez ruamel.std.zipfile (dont je suis l'auteur). Après

    pip install ruamel.std.zipfile

    ou y compris le code de la classe de ici, vous pouvez le faire:

    import ruamel.std.zipfile as zipfile

# Run a test
zipfile.InMemoryZipFile()
imz.append("test.txt", "Another test").append("test2.txt", "Still another")
imz.writetofile("test.zip")

    Vous pouvez écrire le contenu à l'aide de imz.data à n'importe quel endroit vous avez besoin.

    Vous pouvez également utiliser le with déclaration, et si vous fournissez un nom de fichier, le contenu du ZIP sera écrit en sortant de ce contexte:

    with zipfile.InMemoryZipFile('test.zip') as imz:
    imz.append("test.txt", "Another test").append("test2.txt", "Still another")

    en raison du retard d'écriture sur le disque, vous pouvez lire à partir d'un vieux test.zip dans ce contexte.

    • Pourquoi ne pas utiliser io.BytesIO en python 2?
    • Sans raison particulière, en dehors de cela, vous devriez vérifier si BytesIO sur les 2,7 utilise le plus rapide C sous-jacente de la mise en œuvre, et n'est pas un Python seule couche de compatibilité appel StringIO (au lieu de CStringIO)
    InformationsquelleAutor Anthon
  4. 14

    PYTHON 3

    import io
import zipfile

zip_buffer = io.BytesIO()
with zipfile.ZipFile(zip_buffer, "a", zipfile.ZIP_DEFLATED, False) as zip_file:
    for file_name, data in [('1.txt', io.BytesIO(b'111')), ('2.txt', io.BytesIO(b'222'))]:
        zip_file.writestr(file_name, data.getvalue())
with open('C:/1.zip', 'wb') as f:
    f.write(zip_buffer.getvalue())
    • Lien de la documentation. data peuvent être soit des octets ou des chaînes de caractères et cela a fonctionné parfaitement sur Ubuntu et Python 3.6
    InformationsquelleAutor Vladimir