Comment puis-je gzip compresse une chaîne de caractères en Python?

Comment puis-je gzip compresse une chaîne de caractères en Python?

gzip.GzipFile existe, mais c'est pour les objets fichier - est-ce que de simples chaînes de caractères?

  • que les documents ne mentionne StringIO mais n'explique pas vraiment comment le faire. Afin de poser cette question ici est tout à fait valable, à mon humble avis. Certains plus d'essais avant de poser et de nous dire à leur sujet aurait été sympa, mais.
  • la question a été fermé il y a 4 ans pour la même raison que mon commentaire - l'OP n'a fait aucun effort de recherche en premier.
  • Bien sûr, vous avez raison, @KevinDTimm.
  • Comment est-ce hors sujet?
  • Cette question est le top hit dans google now pour gzip string in python et est très raisonnable de l'OMI. Il devrait être ré-ouvert.
  • Comme ci-dessus, cette question est le premier résultat d'une recherche sur google, et l'une des réponses est correcte, il semble vraiment comme si il ne devrait pas être fermé.

InformationsquelleAutor Bdfy | 2011-12-14
  1. -5

    Choisir un module adapté à partir de http://docs.python.org/library/archiving.html -- ou gzip zlib, en fonction de vos besoins exacts.

    • Je vois que zlib a plusieurs niveaux de compression. Quel est le niveau que gzip utilise?
    • bellpeace, avez-vous suivi le lien vers la documentation pour gzip? "La compresslevel argument est un entier allant de 1 à 9 de contrôler le niveau de compression; 1 est le plus rapide et le produit le moins de compression, et 9 est la plus lente et produit le plus de compression. La valeur par défaut est [EXPURGÉ]". Je vais vous permettent de vérifier la valeur réelle de vous-même. 🙂
    • La valeur par défaut est 9, le plus lent.
    • La valeur par défaut est 6 maintenant. "Compresse les données en chaîne, en retournant une chaîne de caractères contenue données compressées. le niveau est un entier de 0 à 9 contrôler le niveau de compression; 1 est le plus rapide et le produit le moins de compression, le 9 est plus lent et le produit le plus. 0 est l'absence de compression. La valeur par défaut est 6."
    • Le principal problème avec cette réponse, c'est que zlib et gzip ne sont pas complètement compatibles; je suppose que l'en-tête est différente. Mais la compression sth avec gzip et ensuite essayer de le décompresser avec zlib conduit à une erreur: echo bla | gzip | python -c 'import sys,gzip; sys.stdout.write(gzip.zlib.decompress(sys.stdin.read()))' → zlib.error: Error -3 while decompressing data: incorrect header check
    InformationsquelleAutor
  2. 151

    Si vous voulez produire une complète gzip-compatible chaîne binaire, avec l'en-tête, etc, vous pouvez utiliser gzip.GzipFile avec StringIO:

    import StringIO
import gzip
out = StringIO.StringIO()
with gzip.GzipFile(fileobj=out, mode="w") as f:
  f.write("This is mike number one, isn't this a lot of fun?")
out.getvalue()

# returns '\x1f\x8b\x08\x00\xbd\xbe\xe8N\x02\xff\x0b\xc9\xc8,V\x00\xa2\xdc\xcc\xecT\x85\xbc\xd2\xdc\xa4\xd4"\x85\xfc\xbcT\x1d\xa0X\x9ez\x89B\tH:Q!\'\xbfD!?M!\xad4\xcf\x1e\x00w\xd4\xea\xf41\x00\x00\x00'
    • La vie de veille. Tout simplement génial. Je sais que c'est vieux, mais merci!
    • Ce doit être la accepté de répondre.
    • À l'opposé de ce qui est: def gunzip_text(texte): infile = StringIO.StringIO() infile.write(texte) avec gzip.GzipFile(fileobj=infile, mode="r") que f: f: f.rewind() f.read() retour sur investissement.getvalue()
    • ou moins: f = gzip.GzipFile(StringIO.StringIO(text)); result = f.read(); f.close(); return result
    • Malheureusement, la question a été proche, donc je ne peux pas faire une nouvelle réponse, mais ici c'est comment faire en Python 3.
    • Probablement non, la compression mémoire plus rapide(à l'aide d'un disque local)?
    • En Python 3: import zlib; my_string = "hello world"; my_bytes = zlib.compress(my_string.encode('utf-8')); my_hex = my_bytes.hex(); my_bytes2 = bytes.fromhex(my_hex); my_string2 = zlib.decompress(my_bytes); assert my_string == my_string2;

    InformationsquelleAutor NPE
  3. 57

    La façon la plus simple est la zlib l'encodage:

    compressed_value = s.encode("zlib")

    Puis vous le décompresser avec:

    plain_string_again = compressed_value.decode("zlib")
    • c'est la chaîne de caractères?
    • Oui, s est un Python 2.x un objet de type str.
    • Voir Encodages Standard où il a obtenu que (faites défiler vers le bas pour "codecs"). Aussi disponible: s.encode('rot13'), s.encode( 'base64' )
    • Notez que cette méthode est incompatible avec le gzip utilitaire de ligne de commande dans ce gzip inclut un en-tête et de la somme de contrôle, alors que ce mécanisme simplement compresse le contenu.
    • Je sais que c'est vieux, mais vous ligne de code pour la décompression doit être: plain_string_again = compressed_value.decode("zlib")
    • Oui, quelqu'un a ajouté un peu de mal de code à ma réponse. Se sentir libre de fixer -- il n'a pas d'importance, c'est vieux.
    • Ne fonctionne pas en python 3.4
    • Python 3 est plus stricte à propos de la distinction entre les chaînes Unicode (type str en Python 3) et les chaînes d'octets (type bytes). str objets ont une encode() méthode qui retourne un bytes objet, et bytes les objets ont une decode() méthode qui retourne un str. Le zlib codec est particulier en ce qu'il convertit bytes à bytes, de sorte qu'il ne rentre pas dans cette structure. Vous pouvez utiliser codecs.encode(b, "zlib") et codecs.decode(b, "slib") pour un bytes objet b à la place.

    InformationsquelleAutor Sven Marnach
  4. 3

    Python3 version de Sven Marnach 2011 de réponse:

    import gzip
exampleString = 'abcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijmortenpunnerudengelstadrocksklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuv123'
compressed_value = gzip.compress(bytes(exampleString,'utf-8'))
plain_string_again  = gzip.decompress(compressed_value)
    InformationsquelleAutor Punnerud
  5. 1

    Pour ceux qui veulent compresser une Pandas dataframe au format JSON:

    Testé avec Python 3.6 et les Pandas 0.23

    import sys
import zlib, lzma, bz2
import math

def convert_size(size_bytes):
    if size_bytes == 0:
        return "0B"
    size_name = ("B", "KB", "MB", "GB", "TB", "PB", "EB", "ZB", "YB")
    i = int(math.floor(math.log(size_bytes, 1024)))
    p = math.pow(1024, i)
    s = round(size_bytes / p, 2)
    return "%s %s" % (s, size_name[i])

dataframe = pd.read_csv('...') # your CSV file
dataframe_json = dataframe.to_json(orient='split')
data = dataframe_json.encode()
compressed_data = bz2.compress(data)
decompressed_data = bz2.decompress(compressed_data).decode()
dataframe_aux = pd.read_json(decompressed_data, orient='split')

#Original data size:  10982455 10.47 MB
#Encoded data size:  10982439 10.47 MB
#Compressed data size:  1276457 1.22 MB (lzma, slow), 2087131 1.99 MB (zlib, fast), 1410908 1.35 MB (bz2, fast)
#Decompressed data size:  10982455 10.47 MB
print('Original data size: ', sys.getsizeof(dataframe_json), convert_size(sys.getsizeof(dataframe_json)))
print('Encoded data size: ', sys.getsizeof(data), convert_size(sys.getsizeof(data)))
print('Compressed data size: ', sys.getsizeof(compressed_data), convert_size(sys.getsizeof(compressed_data)))
print('Decompressed data size: ', sys.getsizeof(decompressed_data), convert_size(sys.getsizeof(decompressed_data)))

print(dataframe.head())
print(dataframe_aux.head())
    InformationsquelleAutor Andrews Sobral
  6. -4
    s = "a long string of characters"

g = gzip.open('gzipfilename.gz', 'w', 5) # ('filename', 'read/write mode', compression level)
g.write(s)
g.close()
    • Je suppose que la question a propos de la compression d'une chaîne de caractères en mémoire sans avoir à l'écrire sur le disque dans le processus. Sinon, votre réponse est tout à fait correcte.
    InformationsquelleAutor Smittles