MySQL, UTF-8 und Emoji-Zeichen

Arbeite ich an einer iOS-app mit PHP+MySQL-backend. Die app hat ein chat-Bereich, die Bedarf an Unterstützung emoji.
Meine Tabellen sind in utf8_unicode_ci. Wenn ich nicht Anruf 'set names utf8' in meinen Skripten emoji-es funktioniert tatsächlich - was auch immer in die Datenbank eingegeben, wird zurückgegeben, um den Kunden, wie es sollte.

Das problem ist, dass dieser (wenn ich es richtig verstanden habe) werden die Sonderzeichen falsch in der Datenbank, und diese Pausen string vergleichen (ie * ist nicht mehr die gleiche wie ich beim vergleichen von Zeichenfolgen).

Allerdings, wenn ich tun, rufen Sie set names utf8, plötzlich die emoji-Zeichen eingefügt werden, als einen Haufen Fragezeichen.

Anregungen, auf die richtige Art und Weise des Umgangs mit diesen? Danke!

InformationsquelleAutor SvenM | 2014-06-17

  1. 1

    Die Frage ist, ob die db hat eine diakritische unempfindlich vergleichen. Die andere Frage, setzt Zeichen, * ausgedrückt werden kann, als entweder ein unicode-Zeichen oder zwei bilden ein ersatzpaar. Gibt es Methoden zur Konvertierung einer Zeichenfolge in eine pre-zusammengesetzt oder zerlegt form: precomposedStringWith* und decomposedStringWith*.

    Scheint es, dass MySQL unterstützt zwei Formen der unicode-ucs2 (das ist eine ältere form, die wurde ersetzt durch utf16), die 16-bits pro Zeichen und utf-8 bis zu 3 bytes pro Zeichen. Die schlechte Nachricht ist, dass weder form unterstützen Ebene 1-Zeichen, die verlangen, bei 17 bit. (vor allem emoji). Es sieht aus wie MySQL 5.5.3 und auch die Unterstützung utf8mb4, utf16 und utf32 Unterstützung BMP und Ergänzende Zeichen (Lesen emoji). Sehen MySQL Unicode-Zeichensätze.

    Hier ist etwas code, und die Ergebnisse zu zeigen, die verschiedenen unicode-byte-Darstellung.

    Unicode ist ein 21-bit-encoding-system.

    UTF32 direkt repräsentiert die code-Punkte und zeigt deutlich, zerlegt ersatzzeichenpaare.

    UTF8 und UTF16 sind ein oder mehrere bytes zur Darstellung eines unicode-Zeichens.

    NSLog(@"character: %@", @"Å");
NSLog(@"decomposedStringWithCanonicalMapping UTF8:  %@", [[@"Å" decomposedStringWithCanonicalMapping] dataUsingEncoding:NSUTF8StringEncoding]);
NSLog(@"decomposedStringWithCanonicalMapping UTF16: %@", [[@"Å" decomposedStringWithCanonicalMapping] dataUsingEncoding:NSUTF16BigEndianStringEncoding]);
NSLog(@"decomposedStringWithCanonicalMapping UTF32: %@", [[@"Å" decomposedStringWithCanonicalMapping] dataUsingEncoding:NSUTF32BigEndianStringEncoding]);

NSLog(@"precomposedStringWithCanonicalMapping UTF8:  %@", [[@"Å" precomposedStringWithCanonicalMapping] dataUsingEncoding:NSUTF8StringEncoding]);
NSLog(@"precomposedStringWithCanonicalMapping UTF16: %@", [[@"Å" precomposedStringWithCanonicalMapping] dataUsingEncoding:NSUTF16BigEndianStringEncoding]);
NSLog(@"precomposedStringWithCanonicalMapping UTF32: %@", [[@"Å" precomposedStringWithCanonicalMapping] dataUsingEncoding:NSUTF32BigEndianStringEncoding]);

NSLog(@"character: %@", @"?");
NSLog(@"dataUsingEncoding UTF8:  %@", [@"?" dataUsingEncoding:NSUTF8StringEncoding]);
NSLog(@"dataUsingEncoding UTF16: %@", [@"?" dataUsingEncoding:NSUTF16BigEndianStringEncoding]);
NSLog(@"dataUsingEncoding UTF32: %@", [@"?" dataUsingEncoding:NSUTF32BigEndianStringEncoding]);

    //Für einige ersatzpaare es gibt keine andere form

    NSString *aReverse = [[NSString alloc] initWithBytes:"\xD8\x3C\xDD\x70\x00" length:4 encoding:NSUTF16BigEndianStringEncoding];
NSLog(@"character: %@", aReverse);
NSLog(@"dataUsingEncoding UTF8:  %@", [aReverse dataUsingEncoding:NSUTF8StringEncoding]);
NSLog(@"dataUsingEncoding UTF16: %@", [aReverse dataUsingEncoding:NSUTF16BigEndianStringEncoding]);
NSLog(@"dataUsingEncoding UTF32: %@", [aReverse dataUsingEncoding:NSUTF32BigEndianStringEncoding]);

    NSLog Ausgabe:

    character: Å
decomposedStringWithCanonicalMapping UTF8:  <41cc8a>   
decomposedStringWithCanonicalMapping UTF16: <0041030a>   
decomposedStringWithCanonicalMapping UTF32: <00000041 0000030a>   

precomposedStringWithCanonicalMapping UTF8:  <c385>   
precomposedStringWithCanonicalMapping UTF16: <00c5>   
precomposedStringWithCanonicalMapping UTF32: <000000c5>   

character: ?
dataUsingEncoding UTF8:  <f09f98b1>   
dataUsingEncoding UTF16: <d83dde31>   
dataUsingEncoding UTF32: <0001f631>   

character: ?
dataUsingEncoding UTF8:  <f09f85b0>
dataUsingEncoding UTF16: <d83cdd70>
dataUsingEncoding UTF32: <0001f170>
    Dies scheint zu sein, wirklich nützliche Informationen. Kann ich nicht überprüfen im moment, weil ich kann nicht aktualisieren, MySQL im moment, aber ich werde davon ausgehen, dass Sie korrekt sind und akzeptieren Sie Ihre Antwort 🙂 vielen Dank!
    Ich habe eine zusätzliche Frage, wenn Sie nichts dagegen haben. Wenn ich nicht brauchen, string-matching, wie ich beschrieben, gibt es andere Nachteile nicht aufrufen set names utf8? Ich weiß die Daten nicht korrekt eingesetzt wird, aber es funktioniert, wenn die Anzeige der Daten in den Mandanten.
    Leider weiß ich gar nichts über set names utf8 es hat schon Jahre her, seit ich schrieb code, um mit MySQL zu arbeiten. Verwenden Sie Ebene 1 code-Punkte für die Prüfung (emoji sind in einer Ebene 1). Auch surrogated-Paare, aber Sie werden wohl nur Fragen für die Vergleiche. Ich habe einige code, und die Ergebnisse, um die Antwort zu zeigen, die verschiedenen unicode-byte-Darstellung.
    Wollte Euch mitteilen, dass ich MySQL aktualisiert und verändert meinen Charakter sets utf8mb4_unicode_ci - und alles ist gut jetzt. Ich danke Ihnen sehr!

    InformationsquelleAutor zaph

Schreibe einen Kommentar