Konvertieren von UTF-8 in unicode-c++

Wie kann ich umwandeln ú innerhalb einer c++ - Anwendung, in denen die Anwendung erhält das Zeichen als UTF-8-Kodierung %C3%BA und speichern Sie Sie als unicode-Entsprechung %FA. Ich möchte nur wissen, wie ich gehen würde, über das schreiben von code zum ausführen dieser Kodierung

utfcpp.sourceforge.net?
msdn.microsoft.com/en-us/library/dd374130(v=vs. 85).aspx ?
Nur für das Protokoll, mit Bezug auf deinen Titel: UTF-8 Unicode. Und die standardisierte Art und Weise der Angabe der code-point wäre U+00FA (mit mindestens 4 hex-Ziffern, aber bis zu 6).
Sie sehen, die Regeln für UTF-8, unicode-und url-Kodierung etc. und Ihnen bei der Implementierung im code. Ich kenne keinen anderen Weg, die Frage zu beantworten. Es könnte Ihnen helfen, Fortschritte, wenn Sie sagte, speziell, wo Sie stecken. Ich würde brechen das problem in drei Schritten, URL-decode ("konvertieren" %xy usw. Charakter-Wert), UTF-8 zu unicode code point (dies ist konvertiert zum Beispiel C3 BA FA, das ist das schwierige Schritt), URL-Codierung (wieder die %'s). Jeder dieser Schritte ist einfacher als das Allgemeine problem, wählen Sie einfach die einfachste und code, der einer der ersten.

InformationsquelleAutor user2724841 | 2013-08-30

c++character-encoding

Ich schrieb einige code zu tun gestern...

Ich sage nicht, dass dies der "perfekte" Weg, dies zu tun, aber es scheint zu funktionieren für alle testcases ich habe durch Sie laufen (ich schrieb beide Richtungen für diesen Zweck).

Werde ich überlasse es Ihnen, zu übersetzen, "%NN" in einen integer-Wert.

#include <iostream>
#include <deque>

std::deque<int> unicode_to_utf8(int charcode)
{
    std::deque<int> d;
    if (charcode < 128)
    {
        d.push_back(charcode);
    }
    else
    {
        int first_bits = 6; 
        const int other_bits = 6;
        int first_val = 0xC0;
        int t = 0;
        while (charcode >= (1 << first_bits))
        {
            {
                t = 128 | (charcode & ((1 << other_bits)-1));
                charcode >>= other_bits;
                first_val |= 1 << (first_bits);
                first_bits--;
            }
            d.push_front(t);
        }
        t = first_val | charcode;
        d.push_front(t);
    }
    return d;
}


int utf8_to_unicode(std::deque<int> &coded)
{
    int charcode = 0;
    int t = coded.front();
    coded.pop_front();
    if (t < 128)
    {
        return t;
    }
    int high_bit_mask = (1 << 6) -1;
    int high_bit_shift = 0;
    int total_bits = 0;
    const int other_bits = 6;
    while((t & 0xC0) == 0xC0)
    {
        t <<= 1;
        t &= 0xff;
        total_bits += 6;
        high_bit_mask >>= 1; 
        high_bit_shift++;
        charcode <<= other_bits;
        charcode |= coded.front() & ((1 << other_bits)-1);
        coded.pop_front();
    } 
    charcode |= ((t >> high_bit_shift) & high_bit_mask) << total_bits;
    return charcode;
}

int main()
{
    int charcode; 

    for(;;)
    {
        std::cout << "Enter unicode value:" << std::endl;
        std::cin >> charcode; 
        auto x = unicode_to_utf8(charcode);
        for(auto c : x)
        {
            std::cout << "\\x" << std::hex << c << " ";
        }
        std::cout << std::endl;
        int c = utf8_to_unicode(x);
        std::cout << "reversed:" << std::dec << c << std::hex << " in hex:" << c << std::endl;
    }
}

OP will den anderen Weg gehen, nicht?
Der code enthält BEIDE Richtungen - von einer deque unicode und von unicode zu deque. Es geht einfach nicht um die "erforderlichen" code FIRST, ich wollte nicht neu formatieren mein code...
Nur eine kleine Anmerkung bezüglich der Benennung; ich schlage vor, den Namen utf32_to_utf8 und utf8_to_utf32; das Wort "unicode" ist ein bisschen überlastet und wird manchmal verstanden als utf-16.
Ja, der name ist nicht so toll, die ECHTEN code, den ich benutze dies in (in PHP, das oben war nur ein hack zu testen, das Prinzip heißt)utf8_to_html, und produziert eine "ሴ" string.
Vielen Dank für den code oben, ich bin kämpfen, um Sie zu implementieren, das in mein code, wie ich bin neu in c++. Wie wird die Zeichenfolge %C3B%A umgewandelt werden, mit diesem code?
Sie haben zu teilen an der % Zeichen, und konvertieren von hex in ein deque<int>. Das Grundprinzip ist, dass der Beginn einer UTF-8-code hat mindestens zwei höchsten bits gesetzt (daher der t & 0xc0 == 0xc0), gefolgt von einem null-bit, und "Nutzlast" - bits (2-5 bits). Die restlichen bytes haben 10 in die höchsten zwei bits, und dann 6 bits des "payload", in der unteren bits. In Ihrem Fall ist es eine zwei-byte-Codierung, so dass erste byte enthält die oberen 5 bits und das zweite byte die unteren 6. BA ist 10111010, so gibt 111010 (als untere bits), C3 ist 0x11000011, so fügt 00011, was 0001111010 = 0x0FA.

InformationsquelleAutor Mats Petersson

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.