Puis-je publier des données avec python demandes lib avec http-gzip ou deflate de compression?

- Je utiliser la demande-module de python 2.7 afficher un plus grand bloc de données pour un service que je ne peux pas changer. Puisque les données sont essentiellement du texte, il est grand mais serait compresser assez bien. Le serveur va accepter de gzip ou deflate-encodage, mais je ne sais pas comment instruire les demandes de POSTE et de coder correctement les données automatiquement.

Est-il un exemple minimal disponible, qui montre comment cela est possible?

  • Ne semble pas comme il est possible, avez-vous regardé ceci et ceci ?
  • Non, mais ce n'est pas pertinente, car je ne suis pas intéressé de savoir si il est possible en soi (ce qui est), mais si c'est possible avec python "demande"-module.
  • Pouvez-vous poster un exemple minimal de la façon dont vous le faites maintenant, sans compression? Je suis spécifiquement curieux de savoir si vous utilisez data= dans le requests.post() appel.
  • les demandes.post(url, params=params_dict, data=json_string, headers=headers_dict)
InformationsquelleAutor AME | 2013-12-06
  1. 8
    # Works if backend supports gzip

additional_headers['content-encoding'] = 'gzip'
request_body = zlib.compress(json.dumps(post_data))
r = requests.post('http://post.example.url', data=request_body, headers=additional_headers)
    InformationsquelleAutor KnightOrc
  2. 14

    J'ai testé la solution proposée par Robᵩ, avec quelques modifications et il fonctionne.

    PSEUDO-code (désolé j'ai extrapolé à partir de mon code j'ai donc dû couper quelques parties et je n'ai pas testé, de toute façon vous pouvez obtenir votre idée)

    additional_headers['content-encoding'] = 'gzip'
s = StringIO.StringIO()
g = gzip.GzipFile(fileobj=s, mode='w')
g.write(json_body)
g.close()
gzipped_body = s.getvalue()
request_body = gzipped_body

r = requests.post(endpoint_url, data=request_body, headers=additional_headers)
    • Il serait mieux si vous pouviez obtenir gzip pour écrire à la prise, plutôt que d'écrire à un StringIO puis envoyer.
    InformationsquelleAutor Marco Grassi
  3. 2

    Je ne peux pas obtenir que cela fonctionne, mais vous pourriez être en mesure d'insérer les données gzip dans un préparés à la demande:

    #UNPROVEN
r=requests.Request('POST', 'http://httpbin.org/post', data={"hello":"goodbye"})
p=r.prepare()
s=StringIO.StringIO()
g=gzip.GzipFile(fileobj=s,mode='w')
g.write(p.body)
g.close()
p.body=s.getvalue()
p.headers['content-encoding']='gzip'
p.headers['content-length'] = str(len(p.body))  # Not sure about this
r=requests.Session().send(p)
    InformationsquelleAutor Robᵩ
  4. 1

    Pour python 3:

    from io import BytesIO
import gzip

def zip_payload(payload: str) -> bytes:
    btsio = BytesIO()
    g = gzip.GzipFile(fileobj=btsio, mode='w')
    g.write(bytes(payload, 'utf8'))
    g.close()
    return btsio.getvalue()

headers = {
    'Content-Encoding': 'gzip'
}
zipped_payload = zip_payload(payload)
requests.post(url, zipped_payload, headers=headers)
    InformationsquelleAutor James D
  5. 1

    J'avais besoin de mes postes à chunked, depuis que j'ai eu plusieurs très gros fichiers en cours de téléchargement en parallèle. Voici une solution je suis venu avec.

    import requests
import zlib

"""Generator that reads a file in chunks and compresses them"""
def chunked_read_and_compress(file_to_send, zlib_obj, chunk_size):
    compression_incomplete = True
    with open(file_to_send,'rb') as f:
        # The zlib might not give us any data back, so we have nothing to yield, just
        # run another loop until we get data to yield.
        while compression_incomplete:
            plain_data = f.read(chunk_size)
            if plain_data:
                compressed_data = zlib_obj.compress(plain_data)
            else:
                compressed_data = zlib_obj.flush()
                compression_incomplete = False
            if compressed_data:
                yield compressed_data

"""Post a file to a url that is content-encoded gzipped compressed and chunked (for large files)"""
def post_file_gzipped(url, file_to_send, chunk_size=5*1024*1024, compress_level=6, headers={}, requests_kwargs={}):
    headers_to_send = {'Content-Encoding': 'gzip'}
    headers_to_send.update(headers)
    zlib_obj = zlib.compressobj(compress_level, zlib.DEFLATED, 31)
    return requests.post(url, data=chunked_read_and_compress(file_to_send, zlib_obj, chunk_size), headers=headers_to_send, **requests_kwargs)

resp = post_file_gzipped('http://httpbin.org/post', 'somefile')
resp.raise_for_status()
    InformationsquelleAutor Rosco