Python: Comment obtenir StringIO.writelines à accepter chaîne unicode?

Je suis un 

UnicodeEncodeError: 'ascii' codec can't encode character u'\xa3' in position 34: ordinal not in range(128)

sur une chaîne de caractères stockés dans un.desc " ci-dessous, car il contient de l' '£' caractère. Il est stocké dans le sous-jacent Google App Engine banque de données comme une chaîne unicode c'est très bien. Le cStringIO.StringIO.writelines fonction est d'essayer apparemment en essayant de l'encoder au format ascii:

result.writelines(['blahblah',a.desc,'blahblahblah'])

Comment puis-je charger pour traiter l'encodage unicode si c'est le bon phrasé?

app engine s'exécute sur python 2.5

InformationsquelleAutor rutherford | 2009-11-30
  1. 22

    StringIO documentation:

    Contrairement à la mémoire des fichiers mis en œuvre par le StringIO module, celles fournies par [cStringIO] ne sont pas en mesure d'accepter des chaînes Unicode qui ne peut pas être codé en ASCII, par exemple des chaînes de caractères.

    Si possible, utilisez StringIO au lieu de cStringIO.

    • Je suis passé (cStringIO est destiné à être de mieux en terme de performance) et il ne renvoie pas d'erreur mais n'a imprimer '£' au lieu de simplement '£'. Pourquoi est - 'Â' montrer jusqu'à maintenant?
    • '£' est le Windows-1252 décodage de 0xc2 0xa3 qui est le codage UTF-8 u'£'. Peut-être que votre terminal, application, ou partout où vous voyez qui est configuré pour Windows-1252 au lieu de UTF-8.
    • hmm. Essentiellement, je suis à la recherche d'une réponse de serveur web via le navigateur Chrome. Serait-ce la question?
    • Dans Chrome, vous pouvez définir l'encodage en vertu de laquelle la page sera interprété-- Page menu -> Encodage. Sélectionnez "Unicode (UTF-8)" et voir si cela résout-il...
    • par défaut est ISO-8859-1 (ouest). Cela devrait être ok pas?
    • Nope. ISO-8859-1 comportent le même que Windows-1252 à cet égard. Vous voulez sans doute de définir explicitement l'encodage UTF-8 dans vos en-têtes de page, de sorte que les navigateurs n'avez pas à deviner l'encodage. (Sauf si, bien sûr, quelque chose d'autre dans votre application génère déjà sortie dans un non-UTF-8.)
    • Ah, bien sûr. Va faire des acclamations

    InformationsquelleAutor Phil
  2. 38

    Vous pouvez envelopper le StringIO objet dans un codecs.StreamReaderWriter objet automatiquement de coder et de décoder le format unicode.

    Comme ceci:

    import cStringIO, codecs
buffer = cStringIO.StringIO()
codecinfo = codecs.lookup("utf8")
wrapper = codecs.StreamReaderWriter(buffer, 
        codecinfo.streamreader, codecinfo.streamwriter)

wrapper.writelines([u"list of", u"unicode strings"])

    buffer sera rempli avec de l'utf-8 octets.

    Si je comprends bien votre dossier correctement, vous aurez seulement besoin d'écrire, de sorte que vous pourriez aussi le faire:

    import cStringIO, codecs
buffer = cStringIO.StringIO()
wrapper = codecs.getwriter("utf8")(buffer)
    • Aussi, le fichier-comme l'objet renvoyé par cStringIO.StringIO() ne fonctionne pas dans le with déclaration, mais l'emballage est retourné par codecs.StreamReaderWriter() ne!
    • Ce qui ressemble à stackoverflow.com/q/45101658/562769 - savez-vous la réponse à ma question?
    InformationsquelleAutor codeape
  3. 3

    Vous pouvez aussi encoder votre chaîne de caractères en utf-8 manuellement avant de l'ajouter à la StringIO

    for val in rows:
    if isinstance(val, unicode):
        val = val.encode('utf-8')
result.writelines(rows)
    • utilisation isinstance au lieu de type is X
    InformationsquelleAutor Rushabh Mehta
  4. 0

    La version 2.6 de Python introduite le io module et vous devriez envisager d'utiliser io.StringIO(), "Une mémoire de flux de texte unicode."

    Dans les anciennes versions de python ce n'est pas optimisée (pur Python), dans les versions ultérieures de ce qui a été optimisé pour (rapide) du code C.

    InformationsquelleAutor Anthon