SQLAlchemy résultat pour l'UTF-8 de la colonne est de type 'str', pourquoi?

J'ai une requête SQL que j'exécute comme ça avec un SQLAlchemy moteur:

result = engine.execute('SELECT utf_8_field FROM table')

La base de données est MySQL et le type de colonne est le TEXTE avec l'encodage UTF-8. Le type de retour de la utf_8_field est "str", même si j'ai mis l'option convert_unicode=True lors de la création du moteur. Ce qui arrive maintenant est que si j'ai un caractère comme 'é' dans ma chaîne de caractères (ce qui n'est pas en ASCII 7 bits, mais est dans l'ASCII étendu set), je reçois un UnicodeDecodeError lorsque vous tentez d'exécuter ceci:

utf_8_field.encode("utf-8")

L'erreur exacte est:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9 in position 1: ordinal not in range(128)

Lors de la recherche dans ce, j'ai trouvé que str.encoder ne prennent pas en charge le jeu de caractères ASCII étendu! Je trouve cela vraiment étrange, mais c'est une autre question.

Ce que je ne comprends pas, c'est pourquoi SQLAlchemy ne me donne pas une chaîne unicode. J'étais auparavant à l'aide de DB-API et qui fonctionnait bien. Je n'ai pas aussi SQLAlchemy objets de la table pour mes tables encore, c'est pourquoi je suis à l'aide d'une commande execute.

Une idée?

InformationsquelleAutor Faelenor | 2012-05-30
  1. 40

    Si vous voulez que les données converties automatiquement, vous devriez spécifier le jeu de caractères lorsque vous créez le moteur:

    create_engine('mysql+mysqldb:///mydb?charset=utf8')

    Réglage use_unicode ne suffira pas de dire à sqlalchemy qui jeu de caractères à utiliser.

    • Merci, il convertit maintenant mon utf-8 unicode python cordes.
    • Selon le message d'erreur le premier non-ASCII octet dans votre "utf-8" est 0xe9. Cela indique qu'il est PAS encodés en UTF-8 ... beaucoup plus susceptibles d'être cp1252.
    • oui, parce que si vous ne spécifiez pas un jeu de caractères lors de la création du moteur, mysqldb semble par défaut en latin1. Réglage du jeu de caractères indique à la fois la db ant le client à utiliser le bon codage de transfert et donc de résoudre le problème.
    • AVERTISSEMENT: selon la version de SQLAlchemy en cours d'utilisation (0.8, 0.9, 1.0) et la base de données (MySQL,PostgreSQL, SQLite), le comportement et les recommandations sont différents!!!
    • J'ai été en regardant autour de 1 heure!!! Merci youu
    InformationsquelleAutor mata
  2. 2

    Pour convertir à partir d'un UTF-8 bytestring à un objet unicode, vous devez décoder:

    utf_8_field.decode('utf8')

    Aussi, lors de l'exécution d'un raw SELECT par .execute, SQLAlchemy a aucune métadonnée de travail que votre requête retourne des données utf-8, donc il n'est pas de convertir cette information en unicode pour vous.

    En d'autres termes, convert_unicode ne fonctionne que si vous utilisez la SQLAlchemy expression SQL API ou de l'ORM fonctionnalité.

    EDIT: Comme l'a souligné, vos données ne sont pas encore codé en UTF-8; 0xe9 en UTF-8 indique un caractère entre \u9000 et \u9fff, qui sont CJK unifiée idéogrammes alors que vous avez dit que c'était un caractères latin-1, dont l'UTF-8 code serait de commencer avec 0xc3. C'est probablement ISO-8859-1 (latin-1) ou similaire à la place:

    >>> u'é'.encode('ISO-8859-1')
'\xe9'

    La conclusion alors est-à-dire de SQLAlchemy pour se connecter avec un autre jeu de caractères, à l'aide de la charset=utf8 paramètre, comme l'a souligné @mata.

    • Le encode('utf-8') de la ligne a été là avant, lors de l'utilisation de DB-API. Je suppose que c'était parce que la base de données retourné la chaîne converti en unicode, et nous avons voulu revenir à l'utf-8.
    • -1 Il n'a pas codé en UTF-8 données. Lire son message d'erreur.
    • Son message d'erreur indique que le codec par défaut utilisé pour décoder ses bytestring (ascii) ne peut pas traiter avec l'encodage UTF-8.. C'est à cause de l'encodage d'une bytestring première nécessite, pour être décodé en unicode, qui est ce qui a échoué.
    • Il stipule pas une telle chose. Il affirme que 0xe9 n'est pas au format ASCII. Il échoue sur le premier non-ASCII octet. 0xe9 est valable de plomb octets en UTF-8 -- pour un CJK caractère. Il mentionne le caractère " é " en "ASCII étendu set", c'est à dire U+00E9 LETTRE minuscule LATINE E AIGUË. Cela indique que les données sont codées en Latin-n ou cp125n, pas en UTF-8.
    • La droite! Et de voir que ?charset=utf8 résolu pour l'OP indique que la base de données est probablement configuré par défaut pour un autre jeu de caractères est un autre élément de preuve. Encore, appelant encode sur un str est encore une erreur commune qui conduit à cette classe d'erreurs.
    InformationsquelleAutor Martijn Pieters