Fehler 'Embedded nul in string' beim Importieren von CSV mit fread

Ich habe eine große Datei (3,5 G), die ich versuche zu importieren mit data.table::fread.

Es wurde ursprünglich von einer rpt-Datei geöffnet wurde, die als text gespeichert und als CSV.

Das hat alles geklappt mit kleineren Dateien (der gleichen Art von Daten-Spalten und alle. Dieser ist nur für einen längeren Zeitraum und größere Reichweite).

Wenn ich versuche und ausführen 

mydata <- fread("mycsv.csv")

Bekomme ich die Fehlermeldung:

Fehler bei fread("mycsv.csv") : embedded nul in string: 'y\0e\0a\0r\0'

Was bedeutet das?

InformationsquelleAutor der Frage datahappy | 2014-03-25

  1. 13

    Können wir entfernen Sie den null-terminatoren auf der Kommandozeile mit so etwas wie:

    sed 's/\\0//g' mycsv.csv > mycsv.csv

    Oder wie vorgeschlagen von @marbel, fread können Sie übergeben die sed Aufruf innerhalb der text. Wie:

    fread("sed 's/\\0//g' mycsv.csv")

    InformationsquelleAutor der Antwort Robert Krzyzanowski

  2. 4

    In diesem Fall können Sie read.csv mit fileEncoding von UTF-16LE eher als fread.

    read.csv("mycsv.csv",fileEncoding="UTF-16LE")

    Unter Berücksichtigung der Größe der Daten, mit read.csv würde nehmen Sie ein paar Minuten, aber ich denke, es ist keine große Sache.

    InformationsquelleAutor der Antwort Fan

  3. 3

    Können Sie testen, diese kleine Funktion:

    cleanFiles<-function(file,newfile){
  writeLines(iconv(readLines(file,skipNul = TRUE)),newfile)
}

    Es ist Arbeit für mich

    InformationsquelleAutor der Antwort xrsousa

  4. 2

    Nicht-technische Möglichkeit, dies zu lösen wäre, zu

    1. Öffnen Sie die problematische .csv -

    2. Strg+A (alles Auswählen)

    3. Öffnen Sie ein neues Excel-sheet

    4. Rechten Maustaste und wählen Sie "Einfügen als Werte"

    5. Speichern und verwenden Sie diese Datei anstelle des Originals ein.

    Arbeitete für mich, und nicht viel Zeit.

    InformationsquelleAutor der Antwort Pree

Schreibe einen Kommentar