Universal newline support in Rubin, umfasst \r (CR) line endings

In eine Rails-app, die ich bin zu akzeptieren und zu Parsen von CSV-Dateien, die kommen können formatiert mit jedem der drei möglichen Beendigung der Zeile-Zeichen: \n (LF), \r\n (CR+LF), oder \r (CR). Ruby ' s File und CSV Bibliotheken scheinen mit den ersten zwei Fällen ganz gut, aber der Letzte Fall ("Mac classic" \r Zeilenenden) nicht behandelt, wie ein Zeilenumbruch. Es ist wichtig, zu verstehen, zu akzeptieren, dieses format so gut wie die anderen, da Microsoft Excel für Mac (unter OS X) scheint es zu benutzen, beim exportieren in ein "Comma Separated Values" (obwohl exportieren "Windows-Komma-Getrennt" produziert, die leichter zu handhabende \r\n).

Python hat "universal newline support" und mit jedem dieser drei Formate ohne Probleme. Gibt es etwas ähnliches in Ruby wird akzeptieren, dass alle drei, ohne zu wissen, das format im Voraus?

  • Nein, Ruby tut dies nicht. Es erkennt die OS, und auf dieser Grundlage davon ausgegangen, das richtige line-endings. Der alte Macintosh - \r ist nicht gesehen in der aktuellen Ausgabe, da die Mac-verschoben auf Mac OS X, die verwendet, *nix \n. Zeigen Sie uns, wie Sie öffnen Sie Ihre CSV-Dateien, und wir können wahrscheinlich zeigen Ihnen einige tricks, um alle die erwähnten line-endings mit einem kleinen kniff.
  • Das problem ist, dass Sie bekommen konnte, ein old-school-MacOS CSV-Datei mit \r EOLs, wenn Sie arbeiten auf Linux, erwartet wird \n EOLs. Also die Datei und das OS wird nicht unbedingt Zustimmen, was die CSV-Datensatz-Trennzeichen werden sollte.
InformationsquelleAutor jrdioko | 2013-09-23
  1. 20

    Könnten Sie :row_sep => :auto:

    :row_sep

    Die Zeichenkette angehängt, um das Ende jeder Zeile. Diese können auf die speziellen :auto Einstellung, die Anforderungen, die CSV-automatisch entdecken Sie diese aus den Daten. Auto-discovery liest vor in den Daten suchen die nächste "\r\n", "\n" oder "\r" Sequenz.

    Es gibt einige Einschränkungen natürlich finden Sie im Handbuch im Zusammenhang mit oben für details.

    Könnte man auch manuell bereinigen, die EOLs mit ein bisschen gsubing vor der übergabe der Daten im CSV-Format für die Analyse. Ich würde wahrscheinlich diesen Weg gehen und manuell konvertieren alle \r\ns und \rs single \ns, bevor Sie versuchen zu Parsen der CSV-Datei. OTOH, das funktioniert nicht gut, wenn es eingebettet ist binäre Daten in Ihrer CSV-wo \rs etwas zu bedeuten. Auf der Greif-Seite, das ist CSV, die wir zu tun haben, also wer weiß, was für verrückte gebrochen Unsinn werden Sie am Ende zu tun haben.

    • +1 sehr schönen Fang! Ich hoffe, es liest Sie vor für jede Zeile, denn ich habe festgestellt CSV-Dateien, die in der Vergangenheit enthalten eine Mischung aus line-endings, weil jemand Anhängen Windows-CSV-Format auf Mac CSV. Es war ein PITA.
    • Ich denke :auto sieht für den ersten der drei EOLs und gilt, dass an der ganzen Sache. Im realen Leben würde ich wahrscheinlich Vorverarbeiten der Daten, die Standardisierung der EOLs an \n vor etwas zu tun, CSV ist so ein schrecklich missbraucht-format, die Sie nie wissen, welche Art von vermasselt Unsinn, den Sie gehen, um mit zu tun.
    • Super Antwort, danke! Und die gsub wäre so etwas wie input.gsub(/\r\n?/, "\n")?
    InformationsquelleAutor mu is too short
Schreibe einen Kommentar