Python 3, lire/écrire comprimé objets json à partir de/vers fichier gzip

Pour Python3, j'ai suivi @Martijn Pieters du code avec ceci:

import gzip
import json

# writing
with gzip.GzipFile(jsonfilename, 'w') as fout:
    for i in range(N):
        uid = "whatever%i" % i
        dv = [1, 2, 3]
        data = json.dumps({
            'what': uid,
            'where': dv})

        fout.write(data + '\n')

mais cela entraîne une erreur:

Traceback (most recent call last):
    ...
  File "C:\Users\Think\my_json.py", line 118, in write_json
    fout.write(data + '\n')
  File "C:\Users\Think\Anaconda3\lib\gzip.py", line 258, in write
    data = memoryview(data)
TypeError: memoryview: a bytes-like object is required, not 'str'

Des idées sur ce qui se passe?

Le code a été probablement écrit avec python2 à l'esprit. Essayez de coder les données: (data+'\n').encode('utf-8').
Nope, même erreur.

InformationsquelleAutor Henry Thornton | 2016-09-12

57

Vous avez quatre étapes de la transformation ici.
1. un Python structure de données (nested dicts, des listes, des chaînes de caractères, nombres, booléens)
2. un Python chaîne de caractères contenant une représentation sérialisée de cette structure de données ("JSON")
3. une liste d'octets contenant une représentation de chaîne de caractères ("UTF-8")
4. une liste d'octets contenant une représentation de ce précédent byte (liste de"gzip")
Prenons donc ces étapes une par une.
```
import gzip
import json

data = []
for i in range(N):
    uid = "whatever%i" % i
    dv = [1, 2, 3]
    data.append({
        'what': uid,
        'where': dv
    })                                           # 1. data

json_str = json.dumps(data) + "\n"               # 2. string (i.e. JSON)
json_bytes = json_str.encode('utf-8')            # 3. bytes (i.e. UTF-8)

with gzip.GzipFile(jsonfilename, 'w') as fout:   # 4. gzip
    fout.write(json_bytes)                       
```
Notez que l'ajout d' "\n" est complètement inutile ici. Il ne casse pas tout, mais au-delà il n'est pas utilisé.

Lecture fonctionne exactement à l'inverse:
```
with gzip.GzipFile(jsonfilename, 'r') as fin:    # 4. gzip
    json_bytes = fin.read()                      # 3. bytes (i.e. UTF-8)

json_str = json_bytes.decode('utf-8')            # 2. string (i.e. JSON)
data = json.loads(json_str)                      # 1. data

print(data)
```
Bien sûr, les étapes peuvent être combinées:
```
with gzip.GzipFile(jsonfilename, 'w') as fout:
    fout.write(json.dumps(data).encode('utf-8'))                       
```
et
```
with gzip.GzipFile(jsonfilename, 'r') as fin:
    data = json.loads(fin.read().decode('utf-8'))
```
- Quel formidable et réfléchie réponse. Il fonctionne maintenant. Merci!
- Ooops. Désolé. Upvoted! Je devine que la plupart des gens (dont moi) pensent que par l'acceptation d'une offre une réponse automatique upvote. DONC, devrait probablement être de la configuration de la voie. ps. Ne le prenez pas personnellement.
- Je ne suis pas le prendre personnellement. Je suis juste de me gratter la tête à chaque fois. Upvote+pas accepter: "Cela a été très utile, une autre réponse a été un peu mieux" - Upvote+accepter "Cela a été utile, il a résolu mon problème." - Pas de upvote+accepter "ce n'était pas vraiment ce que je cherchais, mais je vais l'utiliser pour le manque de solutions de rechange" - Pas de Upvote+accepter+enthousiaste commentaire: [ne pas calculer]. 😀
- Je l'ai utilisé pendant de nombreuses années et je suis coupable pour accepter des réponses mais pas upvoting. J'ai appris la leçon d'aujourd'hui, mais je ne suis pas sûr que ça règle le problème pour l'univers des utilisateurs.
- Eh bien, c'est juste mon interprétation du site de la mécanique. Le upvote et accepter les fonctions sont séparés pour une raison, donc il y a plusieurs façons d'exprimer la façon dont vous pensez à ce sujet une réponse. "pas de upvote+accepter" est complètement valide le choix. Mais pas upvoting quelque chose que vous trouvez utiles (peu importe si c'est votre fil ou de quelqu'un d'autre, une question ou une réponse) ne fait pas de sens pour moi, au moins.
- Peut-être que quand une réponse est acceptée, ce qui devrait demander un upvote. De toute façon, c'est de devenir une longue discussion. Encore une fois, merci beaucoup.
- est-il obligatoire de convertir le fichier JSON dans une chaîne puis en octets pour la compression? Sera temps de conversion doivent être comptés dans le cas où la comparaison de 2 méthodes de compression?J'ai peut-être manquant bases de la compression mais je voulais savoir la réponse.
- Vous pouvez compresser les flux d'octets. Comment vous vous retrouvez avec un flux d'octets est entièrement à vous. La conversion d'un Python structure de données JSON (la sérialisation comme JSON) est une façon de le faire dans un flux d'octets. Il y a peut être d'autres sérialiseurs, JSON arrive juste à être très commune. pickle est un Python spécifique sérialiseur qui transforme des objets Python dans un flux d'octets. Si vous n'avez pas l'intention de partager des données à travers différents environnements, une plate-forme spécifique sérialiseur pourrait être le meilleur choix.
- Alors quand je suis à la comparaison de 2 méthodes de compression en fonction du temps. Je compte le temps que je prends pour convertir au format JSON en octets que c'est une partie de la compression??.
- voir cette fois. URL . Pour moi, je suis en utilisant JSON seulement et en essayant de comparer les différentes méthodes de compression par rapport au temps et à l'espace.
- C'est plutôt subjectif question. Si vous consultez la section "obtention d'un objet à partir de la mémoire dans un fichier compressé" en une seule opération, alors oui. En effet vous n'êtes pas vraiment d'essayer de mesurer les performances de l'algorithme zip, ou êtes-vous?
- oui, je suis en train de mesurer la performance de l'algorithme zip. J'ai des données JSON que j'ai à envoyer au serveur. Pour qui j'ai l'habitude de gzip et envoyer les données. Mais je veux vérifier les performances réelles sur lequel je vais choisir l'un de l'algorithme de compression. une chose de plus pour la conversion et l'existant fichier JSON à octets est-il une meilleure façon de faire que cela? with open('data.json','r') as fid_json: # get json as type dict json_dict = json.load(fid_json) # convert dict to str json_str = str(json_dict)
- Lorsque vous avez déjà JSON pourquoi voudriez-vous d'analyser et de sérialiser une fois de plus? (Question rhétorique, de ne pas répondre. Réfléchir à la place.)
- C'est un événement de plus en plus compact approche qui permet gzip gérer l'encodage et json utilise le flux de gzip directement: stackoverflow.com/a/49535758/1236083
- Merci pour la croix-link @Rafe
- nous pouvons simplifier le dernier exemple, avec json.load au lieu de loads comme juste data = json.load(fin)
- Vrai, json.load peut (comme de Python 3.6) traitent de l'octet d'entrée. Mais il manque un moyen de spécifier l'encodage et l'hypothèse d'un défaut à la place. Depuis explicite est mieux qu'implicite, je préfère précisant les codages de moi-même. (Aussi je voulais garder l'équivalent de plus de l'échantillon ci-dessus).
InformationsquelleAutor Tomalak

Vous devez vous connecter pour publier un commentaire.