Python - Télécharger le fichier à l'aide de requêtes, directement dans la mémoire

L'objectif est de télécharger un fichier à partir d'internet, et de créer un objet de fichier, ou un fichier, comme un objet sans jamais avoir à toucher le disque dur. C'est juste pour ma connaissance, ils veulent savoir si ses possible ou pratique, notamment parce que je voudrais voir si je peux contourner avoir à coder une suppression de fichier ligne.

C'est la façon dont je l'aurais fait normalement télécharger quelque chose sur le web, et de la carte mémoire:

import requests
import mmap

u = requests.get("http://www.pythonchallenge.com/pc/def/channel.zip")

with open("channel.zip", "wb") as f: # I want to eliminate this, as this writes to disk
    f.write(u.content)

with open("channel.zip", "r+b") as f: # and his as well, because it reads from disk
    mm = mmap.mmap(f.fileno(), 0)
    mm.seek(0)
    print mm.readline()
    mm.close() # question: if I do not include this, does this become a memory leak?

source d'informationauteur Akiva

  1. 19

    r.raw (HTTPResponse) est déjà un fichier-comme l'objet (il suffit de passer stream=True):

    #!/usr/bin/env python
import sys
import requests # $ pip install requests
from PIL import Image # $ pip install pillow

url = sys.argv[1]
r = requests.get(url, stream=True)
r.raw.decode_content = True # Content-Encoding
im = Image.open(r.raw) #NOTE: it requires pillow 2.8+
print(im.format, im.mode, im.size)

    En général, si vous avez un bytestring; vous pouvez l'envelopper comme f = io.BytesIO(r.content)afin d'obtenir un fichier objet en forme sans toucher au disque:

    #!/usr/bin/env python
import io
import zipfile
from contextlib import closing
import requests # $ pip install requests

r = requests.get("http://www.pythonchallenge.com/pc/def/channel.zip")
with closing(r), zipfile.ZipFile(io.BytesIO(r.content)) as archive:
    print({member.filename: archive.read(member) for member in archive.infolist()})

    Vous ne pouvez pas passer r.raw à ZipFile() directement parce que l'ancien est un non-adressable fichier.

    Je voudrais voir si je peux contourner avoir à coder une suppression de fichier ligne

    tempfile pouvez supprimer automatiquement les fichiers f = tempfile.SpooledTemporaryFile(); f.écrire(u.le contenu). Jusqu'à ce que .fileno() méthode est appelée (si certaines api nécessite un fichier réel) ou maxsize est atteint; les données sont conservées en mémoire. Même si les données sont écrites sur le disque; le fichier est supprimé dès qu'il est fermé.

  2. 6

    Votre réponse est u.content. Le contenu est dans la mémoire. Sauf si vous écrivez dans un fichier, il ne sera pas stocké sur le disque.

  3. 4

    C'est ce que j'ai fait.

    import zipfile 
import requests
import StringIO

u = requests.get("http://www.pythonchallenge.com/pc/def/channel.zip")
f = StringIO.StringIO() 
f.write(u.content)

def extract_zip(input_zip):
    input_zip = zipfile.ZipFile(input_zip)
    return {i: input_zip.read(i) for i in input_zip.namelist()}
extracted = extract_zip(f)