Fichier à télécharger à partir du web en Python 3

Si vous voulez obtenir le contenu d'une page web dans une variable, il suffit de read la réponse de urllib.demande.urlopen:

import urllib.request
...
url = 'http://example.com/'
response = urllib.request.urlopen(url)
data = response.read()      # a `bytes` object
text = data.decode('utf-8') # a `str`; this step can't be used if data is binary

---

La façon la plus facile de télécharger et d'enregistrer un fichier est d'utiliser le urllib.demande.urlretrieve fonction:

import urllib.request
...
# Download the file from `url` and save it locally under `file_name`:
urllib.request.urlretrieve(url, file_name)

import urllib.request
...
# Download the file from `url`, save it in a temporary directory and get the
# path to it (e.g. '/tmp/tmpb48zma.txt') in the `file_name` variable:
file_name, headers = urllib.request.urlretrieve(url)

Mais gardez à l'esprit que urlretrieve est considéré comme héritage et pourrait devenir obsolète (je ne sais pas pourquoi, d'ailleurs).

De sorte que la plupart des corriger façon de le faire serait d'utiliser la urllib.demande.urlopen fonction pour renvoyer un fichier-comme l'objet qui représente une réponse HTTP et le copier dans un fichier réel à l'aide de shutil.copyfileobj.

import urllib.request
import shutil
...
# Download the file from `url` and save it locally under `file_name`:
with urllib.request.urlopen(url) as response, open(file_name, 'wb') as out_file:
    shutil.copyfileobj(response, out_file)

Si cela vous semble trop compliqué, vous pouvez aller de plus simple et de stocker l'ensemble de télécharger dans un bytes objet et puis les écrire dans un fichier. Mais cela ne fonctionne bien que pour les petits fichiers.

import urllib.request
...
# Download the file from `url` and save it locally under `file_name`:
with urllib.request.urlopen(url) as response, open(file_name, 'wb') as out_file:
    data = response.read() # a `bytes` object
    out_file.write(data)

---

Il est possible d'extraire .gz (et peut-être d'autres formats) compressé des données à la volée, mais une telle opération nécessite probablement le serveur HTTP à l'appui d'accès aléatoire dans le fichier.

import urllib.request
import gzip
...
# Read the first 64 bytes of the file inside the .gz archive located at `url`
url = 'http://example.com/something.gz'
with urllib.request.urlopen(url) as response:
    with gzip.GzipFile(fileobj=response) as uncompressed:
        file_header = uncompressed.read(64) # a `bytes` object
        # Or do anything shown above using `uncompressed` instead of `response`.

J'espère que j'ai compris le droit de la question, qui est: comment faire pour télécharger un fichier à partir d'un serveur lorsque l'URL est stockée dans un type de chaîne?

- Je télécharger les fichiers et de les enregistrer localement à l'aide du code ci-dessous:

import requests

url = 'https://www.python.org/static/img/python-logo.png'
fileName = 'D:\Python\dwnldPythonLogo.png'
req = requests.get(url)
file = open(fileName, 'wb')
for chunk in req.iter_content(100000):
    file.write(chunk)
file.close()

Vous pouvez utiliser wget qui est populaire téléchargement shell outil pour cela. https://pypi.python.org/pypi/wget
Ce sera la méthode la plus simple, car il n'a pas besoin d'ouvrir le fichier de destination. Ici est un exemple.

import wget
url = 'https://i1.wp.com/python3.codes/wp-content/uploads/2015/06/Python3-powered.png?fit=650%2C350'  
wget.download(url, '/Users/scott/Downloads/cat4.jpg') 

from urllib import request

def get(url):
    with request.urlopen(url) as r:
        return r.read()


def download(url, file=None):
    if not file:
        file = url.split('/')[-1]
    with open(file, 'wb') as f:
        f.write(get(url))