Json.vidage à défaut avec "doit être unicode, pas de str' TypeError

J'ai un fichier json qui arrive à avoir une multitude de Chinois et de Japonais (et autres langues) caractères. Je suis charger dans mon python 2.7 script à l'aide de io.open comme suit:

with io.open('multiIdName.json', encoding="utf-8") as json_data:
    cards = json.load(json_data)

- Je ajouter une nouvelle propriété pour le json, toutes les bonnes. Puis-je tenter de l'écrire à un autre fichier:

with io.open("testJson.json",'w',encoding="utf-8") as outfile:
        json.dump(cards, outfile, ensure_ascii=False)

C'est quand je reçois le message d'erreur TypeError: must be unicode, not str

J'ai essayé d'écrire le outfile comme un binaire (with io.open("testJson.json",'wb') as outfile:), mais je me retrouve avec des trucs de ce:

{"multiverseid": 262906, "name": "\u00e6\u00b8\u00b8\u00e9\u009a\u00bc\u00e7\u008b\u00ae\u00e9\u00b9\u00ab", "language": "Chinese Simplified"}

Je pensais que l'ouverture et l'écriture dans le même encodage serait suffisant, ainsi que la ensure_ascii drapeau, mais clairement pas. Je veux juste préserver les personnages qui ont existé dans le fichier avant que je lance mon script, sans tourner en \u.

Je ne suis pas sûr. Je crois que c'est parce que vous êtes à l'ouverture du pointeur de fichier en tant que utf-8 fichier, mais vous êtes un dumping string type d'objet (cards).
Ah, devrait l'ai mentionné, les cartes est un objet json: cards = json.load(json_data)
qu'est-ce que la nouvelle propriété vous ajouter? est-il possible d'écrire un un Minimum Vérifiable Exemple?

OriginalL'auteur IronWaffleMan | 2016-03-15

  1. 28

    Pouvez-vous essayer le suivant?

    with io.open("testJson.json",'w',encoding="utf-8") as outfile:
  outfile.write(unicode(json.dumps(cards, ensure_ascii=False)))
    Qui semble avoir fait le tour, merci. Je suppose que la outfile.écrire prend la sortie de json.décharges et puis l'écrit dans le fichier?
    Beaucoup 🙂 Oui. le outfile.écrire(contenu) écrit le contenu de la outfile. Alors que outfile se réfère à "testJson.json" fichier. voir plus docs.python.org/2/tutorial/inputoutput.html
    Danger! Vous avez un implicite str->conversion Unicode, sans un encodage défini. En Python 2.x, l'encodage par défaut est l'ASCII, de sorte que vous obtiendrez un UnicodeDecodeError exception si votre JSON contient des caractères non ASCII caractères
    En fait, ce n'est toujours pas bon :/
    Vous pouvez avoir 8 bits chaînes données en json, et la sortie serait toujours en pause.

    OriginalL'auteur Yaron

  2. 4

    La raison de cette erreur est complètement stupide comportement de json.dumps en Python 2:

    >>> json.dumps({'a': 'a'}, ensure_ascii=False)
'{"a": "a"}'
>>> json.dumps({'a': u'a'}, ensure_ascii=False)
u'{"a": "a"}'
>>> json.dumps({'a': 'ä'}, ensure_ascii=False)
'{"a": "\xc3\xa4"}'
>>> json.dumps({u'a': 'ä'}, ensure_ascii=False)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.7/json/__init__.py", line 250, in dumps
    sort_keys=sort_keys, **kw).encode(obj)
  File "/usr/lib/python2.7/json/encoder.py", line 210, in encode
    return ''.join(chunks)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 1: ordinal not in range(128)

    Ceci, couplé avec le fait que io.open avec encoding ensemble n'accepte unicode objets (qui est lui-même à droite), conduit à des problèmes.

    Le type de retour est entièrement dépendante, quel que soit le type de clés ou des valeurs dans le dictionnaire, si ensure_ascii=False, mais str est retourné toujours si ensure_ascii=True. Si vous pouvez accidentellement ensemble de 8 bits chaînes de dictionnaires, vous ne pouvez pas aveuglément convertir ce type de retour pour unicode, parce que vous besoin pour définir l'encodage, probablement en UTF-8:

    >>> x = json.dumps(obj, ensure_ascii=False)
>>> if isinstance(x, str):
...     x = unicode(x, 'UTF-8')

    Dans ce cas, je crois que vous pouvez utiliser le json.dump à écrire un ouvrir fichier binaire; toutefois, si vous avez besoin de faire quelque chose de plus compliqué avec l'objet, vous avez probablement besoin le code ci-dessus.

    Une solution est de mettre fin à tout cela, l'encodage/décodage de la folie par le passage à Python 3.

    Je pense que votre réponse à apporter de meilleures réponses à la question. Veux ajouter l'écriture de la partie de votre réponse et je vais supprimer ma réponse?
    naah occupé maintenant, et j'ai frappé repcap aujourd'hui déjà 😀
    Si j'ai réussi à convertir mon script py3, comment le codage de la gestion du changement?

    OriginalL'auteur Antti Haapala

  3. 3

    Le JSON poignées de module d'encodage et de décodage pour vous, alors vous pouvez simplement ouvrir l'entrée et la sortie des fichiers en mode binaire. Le module JSON suppose l'encodage UTF-8, mais peut être changé à l'aide de encoding attribut sur la load() et dump() méthodes.

    with open('multiIdName.json', 'rb') as json_data:
    cards = json.load(json_data)

    alors:

    with open("testJson.json", 'wb') as outfile:
    json.dump(cards, outfile, ensure_ascii=False)


    Grâce à @Antti de la Haapala, Python 2.x JSON module donne des caractères Unicode ou str, selon le contenu de l'objet.

    Vous devrez ajouter un sentiment de vérifier le résultat est une Unicode avant d'écrire par le biais de io:

    with io.open("testJson.json", 'w', encoding="utf-8") as outfile:
    my_json_str = json.dumps(my_obj, ensure_ascii=False)
    if isinstance(my_json_str, str):
        my_json_str = my_json_str.decode("utf-8")

    outfile.write(my_json_str)
    Quand je fais ce que je reçois: UnicodeEncodeError: 'ascii' codec can't encode characters in position 1-2: ordinal not in range(128)
    À partir de quelle ligne?
    Êtes-vous sûr de définir le b mode sur les deux open() appels?
    Yep, j'en suis sûr. Il était sur le json.vidage de la ligne.

    OriginalL'auteur Alastair McCormack