NodeJS. Umgang mit � Zeichen-Kodierung

Ich habe Schwierigkeiten mit der Zeichenkodierung. Ich bin versucht zu kratzen die folgende url:

http://www.google.com/movies?near=Montreal&date=0

Mein code sieht wie folgt aus:

var http = require('http');
var url = require('url');
var Iconv  = require('iconv').Iconv;

var location = 'montreal';

var googleMovies = url.parse("http://www.google.com/movies?near=" + location);

var req = http.request(googleMovies, function(response) {
    var str = '';
    response.on('data', function(chunk) {
        str += chunk;
    });
    response.on('end', function() {

        var iconv = new Iconv('latin1', 'UTF-8');
        str = iconv.convert(str).toString();

        console.log(str);
    });
});
req.end()

Habe ich zuerst versucht, ohne:

    var iconv = new Iconv('latin1', 'UTF-8');
    str = iconv.convert(str).toString();

aber, was die � Zeichen.

Getestet hab ich die Quelle oben auf dieser Seite aufgeführt:

http://nlp.fi.muni.cz/projects/chared/

und es scheint ihn zu erkennen als latin1, aber Dinge falsch sein könnte.

InformationsquelleAutor Tomasz Rakowski | 2014-10-27
  1. 8

    Den � Zeichen kommen aus der Verkettung:

    response.on('data', function(chunk) {
    str += chunk;
});

    Dieser wandelt jedes chunk zu einem String mit der default encoding von utf8. Alle Sequenzen in der Buffers, die sind nicht gültig UTF-8 verloren und ersetzt durch � an dieser Stelle.

    Werden Sie wollen, lassen Sie die chunks als Buffers erst nach der convert(). Sie können abgeholt werden in eine Array und kombiniert mit Buffer.concat().

    var chunks = [];

response.on('data', function (chunk) {
    chunks.push(chunk);
});

response.on('end', function () {
    var iconv = new Iconv('latin1', 'UTF-8');
    var str = iconv.convert(Buffer.concat(chunks)).toString();
    console.log(str);
});
    • Lösung funktionierte out of the box. Danke!!!
    InformationsquelleAutor Jonathan Lonowski
  2. 2

    Wenn Sie Ihren User-Agent einem desktop-browser das meta-tag im HTML-und der Content-Type im response-Header haben die charset auf UTF-8 eingestellt, statt latin1. Beispiel:

    var dest = url.parse('http://www.google.com/movies?near=montreal');
dest.headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.104 Safari/537.36',
};

http.get(dest, function(response) {
  var str = '';

  response.on('data', function(chunk) {
    str += chunk;
  }).on('end', function() {
    console.log(str);
  }).setEncoding('utf8');
});
    • Diese Lösung funktioniert auch. Es sieht aus wie die Codierung hängt von der User-Agent (das ist das normal?). Ich bevorzuge @Jonathan Lonowski die Lösung, wie es erklärt besser die charset-Konvertierung, während Ihnen konzentriert sich auf die Behebung des source-Ausgabe von diesem speziellen service.
    • Es ist häufiger als es wahrscheinlich sein sollte, aber viele backends überprüfen Sie die User-Agent und ändern Sie Verhalten sich entsprechend (z.B. Reise-Websites ändern der Preise, basierend auf Ihr Betriebssystem, Websites, senden von nur-Ressourcen bekannt, um die Arbeit mit dem browser, etc).
    InformationsquelleAutor mscdex
  3. 1

    Einen Buffer's default encoding ist UTF-8, das ist ein variable-width-encoding-system. Zeichen nach dem ASCII-codiert sind, mit mehreren bytes. Wenn Sie empfangen von latin1-spezifische Zeichen (codepoints > 127), müssen Sie das erste bit gesetzt ist, die eine UTF-8-decoder betrachten, wie ein multi-byte-Zeichen und führte schließlich in einen nicht zugewiesenen Codepunkt (angezeigt als �).

    iconv hat eine streaming-decoder, dass können Sie leiten Sie Ihre Antwort stream.

    http.request(googleMovies, function (response) {
    var iconv = new Iconv('latin1', 'UTF-8');
    response.pipe(iconv).pipe(process.stdout);
    //or response.pipe(iconv).on('data', console.log);
}).end();
    • Ihre Lösung scheint elegant und ich denke, es sollte funktionieren, aber für einige Grund es nicht. Können Sie testen und sehen, ob es funktioniert für Sie ?
    • Ich war console.logging, die Argumente erhalten, die in end Veranstaltung und nicht die data Veranstaltung. Rohrleitungen zu process.stdout sollte auch funktionieren.
    • Vielen Dank, jetzt funktioniert es, es sichert die Daten in die Standardausgabe. Sie haben eine Art Rohr, das in einen string, der verwendet werden könnte, für die weitere manipulation ? Ich brauche einen 'str' - Variablen zu arbeiten, weiter. Alle Lösungen, die ich gefunden in Bezug auf "Rohrleitungen in string" sind ähnlich wie @Jonathan Lonowski Beispiel.
    • Sie müssen verwenden Sie die gleiche Methode, die Sie verwenden würden: hören Sie für data, concat, und verwenden Sie die Zeichenfolge auf end. Nur dieses mal haben Sie zu befestigen Zuhörer iconv.
    InformationsquelleAutor c.P.u1
Schreibe einen Kommentar