Wie machen separator pandas read_csv flexibler wrt Leerzeichen?

Brauche ich einen data frame mit Daten in einer Datei gespeichert. Für die, die ich verwenden möchten read_csv Methode. Aber der separator ist nicht sehr regelmäßig. Einige Spalten durch tabs getrennt sind (\t), andere sind durch Leerzeichen getrennt. Darüber hinaus sind einige Spalten können getrennt werden, um 2 oder 3 oder mehr Leerzeichen oder auch durch eine Kombination von Leerzeichen und Tabulatoren (zum Beispiel 3 Räume, zwei tabs und dann 1 Raum).

Gibt es eine Möglichkeit zu sagen, pandas zu behandeln, diese Dateien richtig?

By the way, ich habe nicht dieses problem auf, wenn ich die Python verwenden. Ich benutze:

for line in file(file_name):
   fld = line.split()

Und es funktioniert perfekt. Es kümmert sich nicht, wenn es 2 oder 3 Leerzeichen zwischen den Feldern. Auch Kombinationen von Leerzeichen und Tabulatoren führen nicht zu einem problem. Können pandas das gleiche tun?

InformationsquelleAutor Roman | 2013-02-22
  1. 88

    Aus der Dokumentation, können Sie entweder ein regulärer oder delim_whitespace:

    >>> import pandas as pd
>>> for line in open("whitespace.csv"):
...     print repr(line)
...     
'a\t  b\tc 1 2\n'
'd\t  e\tf 3 4\n'
>>> pd.read_csv("whitespace.csv", header=None, delimiter=r"\s+")
   0  1  2  3  4
0  a  b  c  1  2
1  d  e  f  3  4
>>> pd.read_csv("whitespace.csv", header=None, delim_whitespace=True)
   0  1  2  3  4
0  a  b  c  1  2
1  d  e  f  3  4
    • Sie können auch skipinitialspace zu überspringen ersten Raum
    • wie funktioniert es, wenn ich einen txt.file und das Format, ich habe eine Zahl, gefolgt von mindestens zwei Leerzeichen? die Formel delimiter=r"\d\d\s\s+funktioniert nicht
    InformationsquelleAutor DSM
  2. 8
    >>> pd.read_csv("whitespace.csv", header = None, sep = "\s+|\t+|\s+\t+|\t+\s+")

    würden verwenden Sie eine beliebige Kombination aus einer beliebigen Anzahl von Leerzeichen und Tabulatoren als Trennzeichen.

    InformationsquelleAutor Peaceful
  3. 0

    Können wir überlegen, dieses zu kümmern, allem die Kombination und null oder mehr vorkommen.

    pd.read_csv("whitespace.csv", header = None, sep = "[ \t]*,[ \t]*")
    InformationsquelleAutor yoonghm
  4. 0

    Pandas hat zwei csv-Leser, nur ist flexibel in Bezug auf redundante führende white-space:

    pd.read_csv("whitespace.csv", skipinitialspace=True)

    während man nicht

    pd.DataFrame.from_csv("whitespace.csv")

    Weder ist out-of-the-box flexibel bezüglich der nachgestellten Leerzeichen, die Antworten mit regulären Ausdrücken. Vermeiden delim_whitespace, als es erlaubt auch nur Leerzeichen (ohne , oder \t) als Trennzeichen.

    InformationsquelleAutor Gerben
Schreibe einen Kommentar