Einlesen der CSV-Dateien in numpy, wo Trennzeichen ist ","

Das grundlegende problem ist, dass NumPy nicht verstehen, das Konzept der Strippen Zitate (in der Erwägung, dass die csv - Modul). Wenn Sie sagen delimiter='","', du erzählst NumPy, dass das Spalten-Trennzeichen ist wörtlich zitiert Komma, d.h. die Angebote sind rund um das Komma, nicht der Wert, so dass die zusätzlichen Anführungszeichen erhalten Sie auf er ersten und letzten Spalten zu erwarten sind.

Blick auf die Funktion docs, denke ich, werden Sie brauchen, um die converters parameter strip-Zitate für Sie (die standardmäßig nicht):

import re
import numpy as np

fieldFilter = re.compile(r'^"?([^"]*)"?$')
def filterTheField(s):
    m = fieldFilter.match(s.strip())
    if m:
        return float(m.group(1))
    else:
        return 0.0 # or whatever default

#...

# Yes, sorry, you have to know the number of columns, since the NumPy docs
# don't say you can specify a default converter for all columns.
convs = dict((col, filterTheField) for col in range(numColumns))
data = np.genfromtxt(csvfile, dtype=None, delimiter=',', names=True, 
    converters=convs)

Oder aufgeben np.genfromtxt() und lassen csv.csvreader geben Sie den Inhalt der Datei eine Zeile zu einem Zeitpunkt, als Liste von strings, dann hast du einfach iterieren durch die Elemente, und erstellen Sie die matrix:

reader = csv.csvreader(csvfile)
result = np.array([[float(col) for col in row] for row in reader])
# BTW, column headings are in reader.fieldnames at this point.

EDIT: Okay, so sieht es aus wie deine Datei gar nicht schwimmt. In diesem Fall können Sie convs Bedarf genfromtxt Fall, oder erstellen Sie einen Vektor von Funktionen für die Konvertierung in die csv.csvreader Fall:

reader = csv.csvreader(csvfile)
converters = [datetime, float, int, float]
result = np.array([[conv(col) for col, conv in zip(row, converters)] 
    for row in reader])
# BTW, column headings are in reader.fieldnames at this point.

EDIT 2: Okay, variable Spalte zählen... Ihre Daten-Quelle will einfach nur das Leben schwer machen. Zum Glück, können wir nur verwenden magic...

reader = csv.csvreader(csvfile)
result = np.array([[magic(col) for col in row] for row in reader])

... wo magic() ist nur ein name, den ich aus der Spitze von meinem Kopf für eine Funktion. (Psyche!)

Im schlimmsten Fall, es könnte etwas sein wie:

def magic(s):
    if '/' in s:
        return datetime(s)
    elif '.' in s:
        return float(s)
    else:
        return int(s)

Vielleicht NumPy hat eine Funktion, die einen string und gibt ein einzelnes element mit dem richtigen Typ. numpy.fromstring() sieht nah, aber es könnte interpretieren den Raum in Ihrem Zeitstempel als Spaltentrennzeichen.

P. S. Ein Nachteil mit csvreader ich sehe, ist, dass es nicht zu verwerfen-Kommentare; real csv - Dateien keine Kommentare haben.