Einen text umwandeln, der Wert der in SQL Server von UTF8 zu ISO 8859-1

Ich habe eine Spalte in SQL Server mit ~~utf8~~ SQL_Latin1_General_CP1_CI_AS-Codierung. Wie kann ich umwandeln und speichern von text in ISO 8859-1-Kodierung? Ich möchte tun, was in einer Abfrage auf SQL-Server. Irgendwelche Tipps?

OlÃ¡. Gostei do jogo. Quando "baixei" atÃ© achei que nÃ£o iria curtir muito

Seit SQL Server wirklich nicht unterstützt UTF-8 - das wird eine Herausforderung!
Was ist der Datentyp der Spalte: nvarchar, varchar-oder varbinary? Und ist es als Klartext gespeichert, oder ist Prozent-codiert?
Es wird als Klartext gespeichert und ist vom Typ text. Ich habe ein snippet zu der Frage

InformationsquelleAutor bobK | 2015-01-27

Ich geschrieben habe, eine Funktion zu reparieren UTF-8-text, gespeichert in einem varchar Feld.

Überprüfen Sie den festen Werten Sie können es verwenden, wie diese:

CREATE TABLE #Table1 (Column1 varchar(max))

INSERT #Table1
VALUES ('OlÃ¡. Gostei do jogo. Quando "baixei" atÃ© achei que nÃ£o iria curtir muito')

SELECT *, NewColumn1 = dbo.DecodeUTF8String(Column1)
FROM Table1
WHERE Column1 <> dbo.DecodeUTF8String(Column1)

Ausgabe:

Column1
-------------------------------
OlÃ¡. Gostei do jogo. Quando "baixei" atÃ© achei que nÃ£o iria curtir muito

NewColumn1
-------------------------------
Olá. Gostei do jogo. Quando "baixei" até achei que não iria curtir muito

Code:

CREATE FUNCTION dbo.DecodeUTF8String (@value varchar(max))
RETURNS nvarchar(max)
AS
BEGIN
    -- Transforms a UTF-8 encoded varchar string into Unicode
    -- By Anthony Faull 2014-07-31
    DECLARE @result nvarchar(max);

    -- If ASCII or null there's no work to do
    IF (@value IS NULL
        OR @value NOT LIKE '%[^ -~]%' COLLATE Latin1_General_BIN
    )
        RETURN @value;

    -- Generate all integers from 1 to the length of string
    WITH e0(n) AS (SELECT TOP(POWER(2,POWER(2,0))) NULL FROM (VALUES (NULL),(NULL)) e(n))
        , e1(n) AS (SELECT TOP(POWER(2,POWER(2,1))) NULL FROM e0 CROSS JOIN e0 e)
        , e2(n) AS (SELECT TOP(POWER(2,POWER(2,2))) NULL FROM e1 CROSS JOIN e1 e)
        , e3(n) AS (SELECT TOP(POWER(2,POWER(2,3))) NULL FROM e2 CROSS JOIN e2 e)
        , e4(n) AS (SELECT TOP(POWER(2,POWER(2,4))) NULL FROM e3 CROSS JOIN e3 e)
        , e5(n) AS (SELECT TOP(POWER(2.,POWER(2,5)-1)-1) NULL FROM e4 CROSS JOIN e4 e)
    , numbers(position) AS
    (
        SELECT TOP(DATALENGTH(@value)) ROW_NUMBER() OVER (ORDER BY (SELECT NULL))
        FROM e5
    )
    -- UTF-8 Algorithm (http://en.wikipedia.org/wiki/UTF-8)
    -- For each octet, count the high-order one bits, and extract the data bits.
    , octets AS
    (
        SELECT position, highorderones, partialcodepoint
        FROM numbers a
        -- Split UTF8 string into rows of one octet each.
        CROSS APPLY (SELECT octet = ASCII(SUBSTRING(@value, position, 1))) b
        -- Count the number of leading one bits
        CROSS APPLY (SELECT highorderones = 8 - FLOOR(LOG( ~CONVERT(tinyint, octet) * 2 + 1)/LOG(2))) c
        CROSS APPLY (SELECT databits = 7 - highorderones) d
        CROSS APPLY (SELECT partialcodepoint = octet % POWER(2, databits)) e
    )
    -- Compute the Unicode codepoint for each sequence of 1 to 4 bytes
    , codepoints AS
    (
        SELECT position, codepoint
        FROM
        (
            -- Get the starting octect for each sequence (i.e. exclude the continuation bytes)
            SELECT position, highorderones, partialcodepoint
            FROM octets
            WHERE highorderones <> 1
        ) lead
        CROSS APPLY (SELECT sequencelength = CASE WHEN highorderones in (1,2,3,4) THEN highorderones ELSE 1 END) b
        CROSS APPLY (SELECT endposition = position + sequencelength - 1) c
        CROSS APPLY
        (
            -- Compute the codepoint of a single UTF-8 sequence
            SELECT codepoint = SUM(POWER(2, shiftleft) * partialcodepoint)
            FROM octets
            CROSS APPLY (SELECT shiftleft = 6 * (endposition - position)) b
            WHERE position BETWEEN lead.position AND endposition
        ) d
    )
    -- Concatenate the codepoints into a Unicode string
    SELECT @result = CONVERT(xml,
        (
            SELECT NCHAR(codepoint)
            FROM codepoints
            ORDER BY position
            FOR XML PATH('')
        )).value('.', 'nvarchar(max)');

    RETURN @result;
END
GO

Könnten Sie das erklären? Wie würde ich es verwenden, um zu transformieren meine Spalte Werte?
Wenn ich das im sql server management studio, bekomme ich folgenden Fehler: Msg 174, Ebene 15, Status 1, Prozedur DecodeUTF8String, Zeile 29 wird Die log-Funktion erfordert 1 argument(en). Msg 102, Schweregrad 15, Status 1, Prozedur DecodeUTF8String, Zeile 30 Falsche syntax in der Nähe '- e'. Msg 102, Schweregrad 15, Status 1, Prozedur DecodeUTF8String, Linie 31 Falsche syntax in der Nähe 'f'. Msg 195, Ebene 15, Status 10, Zeile 3 'DecodeUTF8String' is not a recognized built-in-Funktion Namen.
Okay, so dass Sie eine ältere version von SQL Server. Versuchen Sie, diesen Ausdruck zu FLOOR(LOG(2 * ~CONVERT(tinyint, octet) + 1)/LOG(2)) - 1)
Ich habe einige code-Kommentare, die gespeicherte Prozedur. Ich habe auch Feste die LOG Fehler in pre-2012-Versionen von SQL Server.
Cool, Es funktioniert 😀
Diese Funktion wird nicht auf Zeichen, dass die Pause xml-Codierung, und ich hatte zu finden in diesem Beitrag, um zu verhindern, dass xml-parsing-Fehler: stackoverflow.com/a/38117491/2578505
Es scheint, dass diese Funktion nicht im Griff Surrogat-Zeichen (Unicode-Zeichen außerhalb der Basic Multilingual Plane). Zum Beispiel, versuchen Sie SELECT dbo.DecodeUTF8String(N'abcÄƒÃ¢Ã®È™È›ðŸ˜€âœ”?'), die produzieren sollte abcăâîșț?✔?, aber es gibt nur abcăâîșț✔?.
Mate, nach dem gehen herum in Kreise, die versuchen, um die grundlegenden Akzente der Arbeit in einer alten, klassischen asp-app - diese storeproc hat den trick. Also ein dickes danke - habe ich gerade geändert die gespeicherte procs gezogen, dass der Datensatz die Felder enthalten können, sagte der Zeichen, und legen Sie die html-doc auf utf-8 und MAGIE PASSIERT!

InformationsquelleAutor Anthony Faull

Jason Penny hat auch geschrieben eine SQL-Funktion zum konvertieren von UTF-8 Unicode (MIT-Lizenz) arbeitete, auf ein einfaches Beispiel für mich:

CREATE FUNCTION dbo.UTF8_TO_NVARCHAR(@in VarChar(MAX))
   RETURNS NVarChar(MAX)
AS
BEGIN
   DECLARE @out NVarChar(MAX), @i int, @c int, @c2 int, @c3 int, @nc int

   SELECT @i = 1, @out = ''

   WHILE (@i <= Len(@in))
   BEGIN
      SET @c = Ascii(SubString(@in, @i, 1))

      IF (@c < 128)
      BEGIN
         SET @nc = @c
         SET @i = @i + 1
      END
      ELSE IF (@c > 191 AND @c < 224)
      BEGIN
         SET @c2 = Ascii(SubString(@in, @i + 1, 1))

         SET @nc = (((@c & 31) * 64 /* << 6 */) | (@c2 & 63))
         SET @i = @i + 2
      END
      ELSE
      BEGIN
         SET @c2 = Ascii(SubString(@in, @i + 1, 1))
         SET @c3 = Ascii(SubString(@in, @i + 2, 1))

         SET @nc = (((@c & 15) * 4096 /* << 12 */) | ((@c2 & 63) * 64 /* << 6 */) | (@c3 & 63))
         SET @i = @i + 3
      END

      SET @out = @out + NChar(@nc)
   END
   RETURN @out
END
GO

Die angekreuzt Antwort von Anthony "sieht" sich besser für mich, aber vielleicht laufen beide, wenn tun, die Konvertierung und untersuchen alle discrepencies?!

Auch wir nutzten die sehr hässlichen code unten, um zu erkennen, BMP Seite unicode-Zeichen, wurden als UTF-8 kodiert und dann in varchar in nvarchar-Felder konvertiert werden kann auf UCS-16.

LIKE (N'%[' + CONVERT(NVARCHAR,(CHAR(192))) + CONVERT(NVARCHAR,(CHAR(193))) + CONVERT(NVARCHAR,(CHAR(194))) + CONVERT(NVARCHAR,(CHAR(195))) + CONVERT(NVARCHAR,(CHAR(196))) + CONVERT(NVARCHAR,(CHAR(197))) + CONVERT(NVARCHAR,(CHAR(198))) + CONVERT(NVARCHAR,(CHAR(199))) + CONVERT(NVARCHAR,(CHAR(200))) + CONVERT(NVARCHAR,(CHAR(201))) + CONVERT(NVARCHAR,(CHAR(202))) + CONVERT(NVARCHAR,(CHAR(203))) + CONVERT(NVARCHAR,(CHAR(204))) + CONVERT(NVARCHAR,(CHAR(205))) + CONVERT(NVARCHAR,(CHAR(206))) + CONVERT(NVARCHAR,(CHAR(207))) + CONVERT(NVARCHAR,(CHAR(208))) + CONVERT(NVARCHAR,(CHAR(209))) + CONVERT(NVARCHAR,(CHAR(210))) + CONVERT(NVARCHAR,(CHAR(211))) + CONVERT(NVARCHAR,(CHAR(212))) + CONVERT(NVARCHAR,(CHAR(213))) + CONVERT(NVARCHAR,(CHAR(214))) + CONVERT(NVARCHAR,(CHAR(215))) + CONVERT(NVARCHAR,(CHAR(216))) + CONVERT(NVARCHAR,(CHAR(217))) + CONVERT(NVARCHAR,(CHAR(218))) + CONVERT(NVARCHAR,(CHAR(219))) + CONVERT(NVARCHAR,(CHAR(220))) + CONVERT(NVARCHAR,(CHAR(221))) + CONVERT(NVARCHAR,(CHAR(222))) + CONVERT(NVARCHAR,(CHAR(223))) + CONVERT(NVARCHAR,(CHAR(224))) + CONVERT(NVARCHAR,(CHAR(225))) + CONVERT(NVARCHAR,(CHAR(226))) + CONVERT(NVARCHAR,(CHAR(227))) + CONVERT(NVARCHAR,(CHAR(228))) + CONVERT(NVARCHAR,(CHAR(229))) + CONVERT(NVARCHAR,(CHAR(230))) + CONVERT(NVARCHAR,(CHAR(231))) + CONVERT(NVARCHAR,(CHAR(232))) + CONVERT(NVARCHAR,(CHAR(233))) + CONVERT(NVARCHAR,(CHAR(234))) + CONVERT(NVARCHAR,(CHAR(235))) + CONVERT(NVARCHAR,(CHAR(236))) + CONVERT(NVARCHAR,(CHAR(237))) + CONVERT(NVARCHAR,(CHAR(238))) + CONVERT(NVARCHAR,(CHAR(239)))
    + N'][' + CONVERT(NVARCHAR,(CHAR(128))) + CONVERT(NVARCHAR,(CHAR(129))) + CONVERT(NVARCHAR,(CHAR(130))) + CONVERT(NVARCHAR,(CHAR(131))) + CONVERT(NVARCHAR,(CHAR(132))) + CONVERT(NVARCHAR,(CHAR(133))) + CONVERT(NVARCHAR,(CHAR(134))) + CONVERT(NVARCHAR,(CHAR(135))) + CONVERT(NVARCHAR,(CHAR(136))) + CONVERT(NVARCHAR,(CHAR(137))) + CONVERT(NVARCHAR,(CHAR(138))) + CONVERT(NVARCHAR,(CHAR(139))) + CONVERT(NVARCHAR,(CHAR(140))) + CONVERT(NVARCHAR,(CHAR(141))) + CONVERT(NVARCHAR,(CHAR(142))) + CONVERT(NVARCHAR,(CHAR(143))) + CONVERT(NVARCHAR,(CHAR(144))) + CONVERT(NVARCHAR,(CHAR(145))) + CONVERT(NVARCHAR,(CHAR(146))) + CONVERT(NVARCHAR,(CHAR(147))) + CONVERT(NVARCHAR,(CHAR(148))) + CONVERT(NVARCHAR,(CHAR(149))) + CONVERT(NVARCHAR,(CHAR(150))) + CONVERT(NVARCHAR,(CHAR(151))) + CONVERT(NVARCHAR,(CHAR(152))) + CONVERT(NVARCHAR,(CHAR(153))) + CONVERT(NVARCHAR,(CHAR(154))) + CONVERT(NVARCHAR,(CHAR(155))) + CONVERT(NVARCHAR,(CHAR(156))) + CONVERT(NVARCHAR,(CHAR(157))) + CONVERT(NVARCHAR,(CHAR(158))) + CONVERT(NVARCHAR,(CHAR(159))) + CONVERT(NVARCHAR,(CHAR(160))) + CONVERT(NVARCHAR,(CHAR(161))) + CONVERT(NVARCHAR,(CHAR(162))) + CONVERT(NVARCHAR,(CHAR(163))) + CONVERT(NVARCHAR,(CHAR(164))) + CONVERT(NVARCHAR,(CHAR(165))) + CONVERT(NVARCHAR,(CHAR(166))) + CONVERT(NVARCHAR,(CHAR(167))) + CONVERT(NVARCHAR,(CHAR(168))) + CONVERT(NVARCHAR,(CHAR(169))) + CONVERT(NVARCHAR,(CHAR(170))) + CONVERT(NVARCHAR,(CHAR(171))) + CONVERT(NVARCHAR,(CHAR(172))) + CONVERT(NVARCHAR,(CHAR(173))) + CONVERT(NVARCHAR,(CHAR(174))) + CONVERT(NVARCHAR,(CHAR(175))) + CONVERT(NVARCHAR,(CHAR(176))) + CONVERT(NVARCHAR,(CHAR(177))) + CONVERT(NVARCHAR,(CHAR(178))) + CONVERT(NVARCHAR,(CHAR(179))) + CONVERT(NVARCHAR,(CHAR(180))) + CONVERT(NVARCHAR,(CHAR(181))) + CONVERT(NVARCHAR,(CHAR(182))) + CONVERT(NVARCHAR,(CHAR(183))) + CONVERT(NVARCHAR,(CHAR(184))) + CONVERT(NVARCHAR,(CHAR(185))) + CONVERT(NVARCHAR,(CHAR(186))) + CONVERT(NVARCHAR,(CHAR(187))) + CONVERT(NVARCHAR,(CHAR(188))) + CONVERT(NVARCHAR,(CHAR(189))) + CONVERT(NVARCHAR,(CHAR(190))) + CONVERT(NVARCHAR,(CHAR(191)))
    + N']%') COLLATE Latin1_General_BIN

Oben:

erkennt multi-byte-Sequenzen Kodierung U+0080 bis U+FFFF (U+0080 bis U+07FF codiert als 110xxxxx 10xxxxxx U+0800 bis U+FFFF codiert als 1110xxxx 10xxxxxx 10xxxxxx)
d.h. es erkennt hex-byte 0xC0 bis 0xEF gefolgt von hex-byte 0x80 bis 0xBF
ignoriert ASCII-control-Zeichen von U+0000 bis U+001F
ignoriert Zeichen, die sind schon richtig codiert unicode - >= U+0100 (also nicht UTF-8)
ignoriert unicode-Zeichen U+0080 bis U+00FF, wenn Sie nicht erscheinen, um Teil einer UTF-8-Sequenz z.B. "coöperatief".
nicht mit LIKE "%[X-Y]" für X=0 x 80, Y=0xBF wegen der möglichen Sortierung Probleme
verwendet, CONVERT(VARCHAR,CHAR(X)) anstelle von NCHAR, denn wir hatten Probleme mit NCHAR immer Umgerechnet auf den falschen Wert (für einige Werte).
ignoriert UTF-Zeichen größer als U+FFFF (4-bis 6-byte-Sequenzen, die eine erste byte der hex-0xF0 zu 0xFD)

InformationsquelleAutor robocat

-2

Fand ich die Abfrage, die ich tun müssen, nur nicht die Kodierung noch.

ALTER TABLE dbo.MyTable ALTER COLUMN CharCol
        varchar(10)COLLATE Latin1_General_CI_AS NOT NULL;

InformationsquelleAutor bobK

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.