Comment convertir une chaîne Unicode en utf-8 ou utf-16 de la chaîne?

Comment convertir une chaîne Unicode en utf-8 ou utf-16 de la chaîne?
Mon VS2005 projet est l'utilisation d'Unicode char, tandis que sqlite dans le rpc offre

int sqlite3_open(
  const char *filename,   /* Database filename (UTF-8) */
  sqlite3 **ppDb          /* OUT: SQLite db handle */
);
int sqlite3_open16(
  const void *filename,   /* Database filename (UTF-16) */
  sqlite3 **ppDb          /* OUT: SQLite db handle */
);

pour l'ouverture d'un dossier.
Comment puis-je convertir chaîne, CString, ou wstring en UTF-8 ou UTF-16 charset?

Merci beaucoup!

InformationsquelleAutor user25749 | 2008-11-11

c++character-encoding unicode utf-16 utf-8

7

Réponse courte:

Aucune conversion n'est nécessaire que si vous utilisez des chaînes Unicode, tels que CString ou wstring. Utilisation sqlite3_open16().
Vous devrez assurez-vous de passer un WCHAR pointeur (coulé à void *. Semble boiteux! Même si cette lib est multi plate-forme, je suppose qu'ils pourraient avoir défini une échelle de type char qui dépend de la plate-forme et est moins hostile que void *) à l'API. Comme pour une CString: (void*)(LPCWSTR)strFilename

La plus longue réponse:

Vous n'avez pas une chaîne Unicode que vous souhaitez convertir en UTF8 ou UTF16. Vous avez une chaîne Unicode représentées dans votre programme à l'aide d'un codage donnée: l'Unicode n'est pas une représentation binaire en soi. Les codages de dire comment les points de code Unicode (valeurs numériques) sont représentés en mémoire (mise en page binaire du nombre). UTF8 et UTF16 sont les plus largement utilisés des codages. Ils sont très différents si.

Lorsqu'un VS projet dit "jeu de caractères Unicode", cela signifie en fait "les caractères sont codés comme UTF16". Par conséquent, vous pouvez utiliser sqlite3_open16() directement. Aucune conversion n'est nécessaire. Les caractères sont stockés dans WCHAR type (par opposition à char) qui tient sur 16 bits (Fallsback sur la norme de type C wchar_t, qui prend en 16 bits sur Win32. Peut-être différent sur d'autres plates-formes. Merci pour la correction, Dames).

Il y a un plus de détail que vous pourriez voulez faire attention à: UTF16 existe en 2 versions: Big Endian et Little-Endian. C'est l'octet de commande de ces 16 bits. Le prototype de fonction vous donner pour UTF16 ne veut pas dire lequel la commande est utilisée. Mais vous êtes assez sûr en supposant que sqlite utilise le même endian-ness que Windows (Little Endian IIRC. Je sais que l'ordre, mais j'ai toujours eu de problème avec les noms 🙂 ).

EDIT: Réponse au commentaire de Pions:

UTF16 utilise 16 bits unités de code. Sous Win32 (et seulement sur Win32), wchar_t est utilisé pour le stockage telle unité. Le truc, c'est que certains caractères Unicode exigent une séquence de 2 à 16 bits unités de code. Ils sont appelés les Paires de Substitution.

De la même manière UTF8 représente 1 caractère à l'aide d'un 1 à 4 octets de la séquence. Encore UTF8 sont utilisés avec la char type.
- Non, non, non! sqlite3_open16() utilise 'void*' argument, car il est dit d'être UTF16, PAS wchar_t, qui est de taille différente sur différentes plates-formes et peut ou peut ne pas être UTF16 (c'est à dire de la glibc a 4 octets wchar_t).
- Pions: voir ma réponse EDIT ci-dessus
- Oui, je suis au courant à propos de UTF16 représentation. Mais, vous ne pouvez pas supposer que la représentation interne de wchar_t est le même sur toutes les plateformes, il n'est pas.
- "La norme ISO C90, où wchar_t a été introduit, ne dit rien de particulier sur la représentation. Il exige seulement que ce type est capable de stocker tous les éléments du jeu de caractères de base" gnu.org/software/libtool/manual/libc/Extended-Char-Intro.html
- Par exemple, sur mon système, où sizeof(wchar_t)==4, L"aaa" compile comme 61 00 00 00 61 00 00 00 61 00 00 00 (UTF32-LE)
- OK. Vous avez raison. Je corrige la position des mains. Maintenant, est-ce que votre plate-forme de soutien VS2005, comme indiqué par l'OP?
- En fait, je dirais que UTF16 utilise 16 bits de codes (pas de caractères), tout comme de l'utf-8 utilise 8 bits (octet) codes. Un code de Caractère Unicode (jusqu'à 20 bits) nécessitera 1 UTF16 code pour les caractères les plus courants, mais prendre deux (appelé une paire de substitution) pour les autres.
- orcmid, vous avez raison. J'ai utilisé le "caractère" dans sa programmation de réception de type, qui pourrait être trompeuse.
- La Conversion peut-être encore: wchar_t n'est pas assuré de 16 bits, et sur les systèmes non-windows est plus susceptible d'être en 32 bits. Qui peuvent ne pas être pertinentes pour l'affiche, mais peut-être un détail très important pour les autres.
- Le terme est unité de code. L'unité implique que c'est le plus petit bloc de construction: Un ou plus peut être nécessaire.
InformationsquelleAutor Serge Wautier
8

Utiliser le WideCharToMultiByte fonction. Spécifier CP_UTF8 pour la CodePage paramètre.
```
CHAR buf[256]; //or whatever
WideCharToMultiByte(
  CP_UTF8, 
  0, 
  StringToConvert, //the string you have
  -1, //length of the string - set -1 to indicate it is null terminated
  buf, //output
  __countof(buf), //size of the buffer in bytes - if you leave it zero the return value is the length required for the output buffer
  NULL,    
  NULL
);
```
Aussi, l'encodage par défaut pour l'unicode des applications dans windows est UTF-16LE, de sorte que vous ne pourriez pas besoin d'effectuer une traduction, et il suffit d'utiliser la deuxième version sqlite3_open16.
- Je ne recommanderais pas une mémoire tampon fixe; au lieu de cela, utiliser une mémoire tampon allouée dynamiquement (par exemple, std::vector), l'expansion nécessaire (lorsque WideCharToMultiByte vous dit que votre chaîne est trop petite).
- Je suis en désaccord: Vous montrer comment convertir de UTF16 en UTF8. Ce n'est pas l'exigence de l'OP, puisqu'il semble être une fonction disponible pour une large char chaînes: sqlite3_open16(). OMI, la bonne réponse est : l'utilisation sqlite3_open16().
- c'est pourquoi j'ai dit "ou que ce soit" et de mettre le commentaire sur la taille de la mémoire tampon de sortie - je ne veux pas compliquer les choses trop
InformationsquelleAutor 1800 INFORMATION
3

Tous le C++ types de chaînes sont charset neutre. Ils suffit de les régler sur une largeur de caractère, et à ne plus faire des hypothèses. Un wstring utilise des caractères 16 bits dans Windows, correspondant en gros à l'utf-16, mais il dépend toujours de ce que vous stockez dans le fil. Le wstring n'est pas en aucune façon assurer que les données que vous mettez en elle doit être valide utf16. Windows utilise utf16 lors de l'UNICODE est définie, donc plus probable que vos chaînes sont déjà utf16, et vous n'avez pas besoin de faire quoi que ce soit.

Quelques autres ont suggéré d'utiliser l'WideCharToMultiByte fonction, qui est (l'une des) moyen(s) pour aller à convertir utf16 en utf8. Mais depuis sqlite peut gérer utf16, qui ne devrait pas être nécessaire.

InformationsquelleAutor jalf
0

utf-8 et utf-16 sont à la fois "unicode" encodages de caractères. Ce que vous avez probablement parler, c'est de l'utf-32, qui est un de taille fixe l'encodage des caractères. Peut-être à la recherche pour

"Convert utf-32 into utf-8 or utf-16"

vous fournit quelques résultats ou d'autres documents à ce sujet.

InformationsquelleAutor Johannes Schaub - litb
0

La façon la plus simple pour ce faire est d'utiliser CStringA. La classe CString est un typedef pour CStringA (version ASCII) ou CStringW (large char version). Ces deux classes ont les constructeurs pour convertir des types de chaînes. Je l'utilise généralement:
```
sqlite3_open(CStringA(L"MyWideCharFileName"), ...);
```
InformationsquelleAutor Helstrom

Vous devez vous connecter pour publier un commentaire.