Comment faire pour convertir en UTF-8 std::string en UTF-16 std::wstring?

Si j'ai un UTF-8 std::string comment puis-je le convertir en UTF-16 std::wstring? En fait, je veux comparer deux mots persans.

Voir stackoverflow.com/questions/148403/... parmi les autres.
double possible de comment puis-je comparer chaîne utf8 comme les mots persans en c++? ou ceci.

OriginalL'auteur aliakbarian | 2011-08-22

  1. 24

    Voici un peu de code. Seulement un peu testé et il y a probablement quelques améliorations. Appelez cette fonction pour convertir une chaîne UTF-8 pour UTF-16 wstring. Si il pense que la chaîne d'entrée n'est pas de l'UTF-8, puis il va lever une exception, sinon elle renvoie l'équivalent de l'UTF-16 wstring.

    std::wstring utf8_to_utf16(const std::string& utf8)
{
std::vector<unsigned long> unicode;
size_t i = 0;
while (i < utf8.size())
{
unsigned long uni;
size_t todo;
bool error = false;
unsigned char ch = utf8[i++];
if (ch <= 0x7F)
{
uni = ch;
todo = 0;
}
else if (ch <= 0xBF)
{
throw std::logic_error("not a UTF-8 string");
}
else if (ch <= 0xDF)
{
uni = ch&0x1F;
todo = 1;
}
else if (ch <= 0xEF)
{
uni = ch&0x0F;
todo = 2;
}
else if (ch <= 0xF7)
{
uni = ch&0x07;
todo = 3;
}
else
{
throw std::logic_error("not a UTF-8 string");
}
for (size_t j = 0; j < todo; ++j)
{
if (i == utf8.size())
throw std::logic_error("not a UTF-8 string");
unsigned char ch = utf8[i++];
if (ch < 0x80 || ch > 0xBF)
throw std::logic_error("not a UTF-8 string");
uni <<= 6;
uni += ch & 0x3F;
}
if (uni >= 0xD800 && uni <= 0xDFFF)
throw std::logic_error("not a UTF-8 string");
if (uni > 0x10FFFF)
throw std::logic_error("not a UTF-8 string");
unicode.push_back(uni);
}
std::wstring utf16;
for (size_t i = 0; i < unicode.size(); ++i)
{
unsigned long uni = unicode[i];
if (uni <= 0xFFFF)
{
utf16 += (wchar_t)uni;
}
else
{
uni -= 0x10000;
utf16 += (wchar_t)((uni >> 10) + 0xD800);
utf16 += (wchar_t)((uni & 0x3FF) + 0xDC00);
}
}
return utf16;
}
    merci!!!! merci!!!! il a travaillé... je ne peux pas y croire 🙂 merci pour votre temps, john
    Vraiment content que cela a aidé. Il est vraiment juste une question de poser la bonne question. Il y a beaucoup de connaissance sur ce forum, mais les débutants ne peuvent souvent pas accès à cette connaissance, car ils ne savent pas quoi demander.
    merci encore une fois! 🙂
    En fait, j'ai juste repéré un petit bug dans mon code, vous devriez probablement de le copier à nouveau. J'ai changé cette if (j == utf8.size()) à ce if (i == utf8.size()).
    wow, donc beaucoup d'avertissements et d'erreurs.

    OriginalL'auteur

  2. 24

    C'est comment vous le faites avec C++11:

    std::string str = "your string in utf8";
std::wstring_convert<std::codecvt_utf8_utf16<char16_t>> converter;
std::wstring wstr = converter.from_bytes(str);

    Et ce sont les en-têtes dont vous avez besoin:

    #include <iostream>
#include <string>
#include <locale>
#include <codecvt>

    Un exemple plus complet disponible ici:
    http://en.cppreference.com/w/cpp/locale/wstring_convert/from_bytes

    Super réponse, merci! ...mais ne suivez l'exemple cppreference.com. wchar_t n'est pas un type 16 bits sur les systèmes d'exploitation autres que Windows. Vous avez besoin d'utiliser char16_t à la place.
    merci! J'ai mis à jour la réponse à utiliser char16_t à la place.
    Ne fonctionne pas avec g++ 6.2 ou clang++ 3.8 sur lubuntu 16.04

    OriginalL'auteur

  3. 2

    Il y a quelques Q&Un ici et ici qui est intéressant à lire.

    Fondamentalement, vous avez besoin de convertir la chaîne de caractères dans un format commun -- ma préférence va toujours à convertir en UTF-8, mais votre kilométrage peut méfier.

    Il y a beaucoup de logiciels écrits pour faire la conversion, la conversion est en ligne droite vers l'avant et peut être écrit en quelques heures-mais pourquoi ne pas ramasser quelque chose de déjà fait, comme l'UTF-8 RPC

    Si vous êtes sous Windows uniquement: msdn.microsoft.com/en-us/library/dd319072(v=VS.85).aspx. Sinon, utilisez une bibliothèque portable.

    OriginalL'auteur

  4. 2

    Cette page semble également utile: http://www.codeproject.com/KB/string/UtfConverter.aspx

    Dans la section commentaire de cette page, il ya aussi quelques suggestions intéressantes pour cette tâche comme:

    //Get en ASCII std::string from anywhere
std::string sLogLevelA = "Hello ASCII-world!";
std::wstringstream ws;
ws << sLogLevelA.c_str();
std::wstring sLogLevel = ws.str();

    Ou

    //To std::string:
str.assign(ws.begin(), ws.end());
//To std::wstring
ws.assign(str.begin(), str.end());

    Si je ne suis pas sûr de la validité de ces approches...

    OriginalL'auteur