MySQL: Zeichencodierung, die von SELECT INTO verwendet wird?

Ich versuche zu exportieren, einige Daten aus einer MySQL-Datenbank, aber seltsamen und wunderbaren Dinge, die passiert sind in unicode in die Tabelle.

Werde ich den Fokus auf einen Charakter, der linken smartquote: “

Wenn ich SELECT von der Konsole, es wird gedruckt, ohne Frage:

mysql> SELECT text FROM posts;
+-------+
| text  |
+-------+
| “foo” |
+-------+

Das bedeutet, die Daten werden an meinem terminal als utf-8[0] (das ist korrekt).

Jedoch, wenn ich SELECT * FROM posts INTO OUTFILE '/tmp/x.csv' …; die Ausgabe-Datei ist nicht richtig codiert:

$ cat /tmp/x.csv
“fooâ€

Insbesondere die “ kodiert ist, mit sieben (7!) bytes: \xc3\xa2\xe2\x82\xac\xc5\x93.

Welche Kodierung ist das? Oder wie könnte ich sagen, MySQL auf ein weniger unvernünftig Codierung?

Auch einige verschiedene Fakten:

  • SELECT @@character_set_database zurück latin1
  • Die text Spalte ist ein VARCHAR(42):

    mysql> DESCRIBE posts;
+-------+-------------+------+-----+---------+-------+
| Field | Type        | Null | Key | Default | Extra |
+-------+-------------+------+-----+---------+-------+
| text  | varchar(42) | NO   | MUL |         |       |
+-------+-------------+------+-----+---------+-------+

     

  • “ als utf-8 kodiert Erträge \xe2\x80\x9c
  • \xe2\x80\x9c entschlüsselt latin1 dann neu codiert utf-8 Erträge \xc3\xa2\xc2\x80\xc2\x9c (6 bytes).
  • Ein weiterer Datenpunkt: … (utf-8: \xe2\x80\xa6) kodiert \xc3\xa2\xe2\x82\xac\xc2\xa6

[0]: wie intelligente Anführungszeichen nicht enthalten sind in einem 8-bit-Codierung, und mein terminal korrekt rendert utf-8-Zeichen.

Kommentar zu dem Problem
Warum verwenden Sie diese, anstatt einen mysqldump?! Kommentarautor: OMG Ponies
Ich verwendet SELECT, weil ich wollte, um filter-und join die Daten ein wenig, bevor Sie exportieren. Ich könnte wahrscheinlich Weg, ohne, dass, obwohl... Da einige Daten wäre besser als ganz kaputt Daten. Kommentarautor: David Wolever
Sie könnte Klonen Sie die Datenbank, und stellen Sie die erforderlichen updates auf der Klon, um Ihren gewünschten export. Kommentarautor: OMG Ponies
Das funktionieren würde... Aber an diesem Punkt, ich denke, ich werde einfach schreiben Sie ein kleines Python-Skript zu tun, den dump für mich. Kommentarautor: David Wolever
Ich Frage mich, warum wir in der Regel umgeben Sie das problem, statt es zu lösen. Kommentarautor: Rodrigo

InformationsquelleAutor der Frage David Wolever | 2012-03-19

  1. 5

    Viele Programme/Normen (einschließlich MySQL) davon aus, dass "latin1" bedeutet "cp1252", so die 0x80 byte interpretiert wird, als ein Euro-symbol, die ist, wo \xe2\x82\xac bit (U+20AC) kommt in die Mitte.

    Wenn ich versuche, es funktioniert (aber Hinweis, wie ich Daten in, und die Variablen, die auf dem db-server):

    mysql> set names utf8; -- http://dev.mysql.com/doc/refman/5.0/en/charset-connection.html
mysql> create table sq (c varchar(10)) character set utf8;
mysql> show create table sq\G
*************************** 1. row ***************************
       Table: sq
Create Table: CREATE TABLE `sq` (
  `c` varchar(10) default NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8
1 row in set (0.19 sec)

mysql> insert into sq values (unhex('E2809C'));
Query OK, 1 row affected (0.00 sec)

mysql> select hex(c), c from sq;
+--------+------+
| hex(c) | c    |
+--------+------+
| E2809C | “  |
+--------+------+
1 row in set (0.00 sec)

mysql> select * from sq into outfile '/tmp/x.csv';
Query OK, 1 row affected (0.02 sec)

mysql> show variables like "%char%";
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | latin1                     | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

    Und von der shell aus:

    /tmp$ hexdump -C x.csv
00000000  e2 80 9c 0a                                       |....|
00000004

    Hoffentlich gibt es eine nützliche Leckerbissen...

    InformationsquelleAutor der Antwort taavi

  2. 22

    Neueren MySQL-Versionen haben eine option, um den Zeichensatz in das outfile-Klausel:

    SELECT col1,col2,col3 
FROM table1 
INTO OUTFILE '/tmp/out.txt' 
CHARACTER SET utf8
FIELDS TERMINATED BY ','

    InformationsquelleAutor der Antwort mvd

  3. 2

    Um speziell auf deine Frage "Was ist das?", Sie haben die Antwort selbst:

    Ich vermute, das liegt daran, dass “Werte in der Spalte ausgegeben werden, mit dem binary-Zeichensatz. Im Effekt, es ist kein Zeichensatz-Konvertierung." - dev.mysql.com/doc/refman/5.0/en/select-into.html

    Dass ist die Art, wie MySQL speichert utf8 codierte Daten intern. Es ist eine furchtbar ineffiziente Variante des Unicode-Speicherung, offenbar mit einem vollen drei Byte für die meisten Zeichen, und nicht Unterstützung von vier-byte-UTF-8-Sequenzen.

    Als für wie es zu konvertieren, um echte UTF-8 verwenden INTO OUTFILE... ich weiß nicht. Mit anderen mysqldump Methoden wird es aber tun.

    InformationsquelleAutor der Antwort deceze

  4. 2

    Wie Sie sehen können meine MySQL-Datenbank verwenden latin1 und das system ist utf-8.

    mysql> SHOW VARIABLES LIKE 'character\_set\_%';
+--------------------------+--------+
| Variable_name            | Value  |
+--------------------------+--------+
| character_set_client     | latin1 |
| character_set_connection | latin1 |
| character_set_database   | latin1 |
| character_set_filesystem | binary |
| character_set_results    | latin1 |
| character_set_server     | latin1 |
| character_set_system     | utf8   |
+--------------------------+--------+
7 rows in set (0.00 sec)

    Jedes mal, wenn ich habe versucht, die Tabelle zu exportieren, ich habe seltsame-kodierten CSV-Datei.
    Also, ich Stell:

    mysql_query("SET NAMES CP1252");
header('Content-Type: text/csv; charset=cp1252');
header('Content-Disposition: attachment;filename=output.csv');

    als in meinem export-Skript.

    Dann habe ich Reine UTF-8-Ausgabe.

    InformationsquelleAutor der Antwort paczor

  5. 2

    Habe ich herausgefunden, dass dies gut funktioniert.

    SELECT convert(col_name USING latin1) FROM posts INTO OUTFILE '/tmp/x.csv' …;

    InformationsquelleAutor der Antwort dhruvbird

  6. 1

    Versuchen SET CHARACTER SET <blah> bevor Ihr wählen, <blah>=utf8 oder latin1 etc...
    Siehe: http://dev.mysql.com/doc/refman/5.6/en/charset-connection.html

    Oder SET NAMES utf8; funktionieren könnte...

    InformationsquelleAutor der Antwort Hardeep

  7. 1

    Können Sie ausführen von MySQL-Abfragen unter Verwendung der CLI-Tools (ich glaube sogar mit einem Ausgabe-format, so dass es druckt CSV) und Umleitung in eine Datei. Tun sollte charset-Konvertierung und immer noch geben Ihnen Zugang zu tun, joins, etc.

    InformationsquelleAutor der Antwort singpolyma

  8. 0

    Müssen Sie Problem charset utf8 an der MySQL-Eingabeaufforderung vor dem ausführen des SELECT. Dies sagt dem server, was zur Ausgabe der Ergebnisse als.

    InformationsquelleAutor der Antwort Burhan Khalid

Schreibe einen Kommentar