Lesen Sie bestimmte Spalten in csv mit python

Ich habe eine csv-Datei, die wie folgt Aussehen:

+-----+-----+-----+-----+-----+-----+-----+-----+ 
| AAA | bbb | ccc | DDD | eee | FFF | GGG | hhh | 
+-----+-----+-----+-----+-----+-----+-----+-----+ 
| 1 | 2 | 3 | 4 | 50 | 3 | 20 | 4 | 
| 2 | 1 | 3 | 5 | 24 | 2 | 23 | 5 | 
| 4 | 1 | 3 | 6 | 34 | 1 | 22 | 5 | 
| 2 | 1 | 3 | 5 | 24 | 2 | 23 | 5 | 
| 2 | 1 | 3 | 5 | 24 | 2 | 23 | 5 | 
+-----+-----+-----+-----+-----+-----+-----+-----+

...

Wie kann ich lese nur die Spalten "AAA,DDD,FFF,GGG" in python und überspringen Sie den Header?
Die Ausgabe möchte ich eine Liste von Tupeln, die wie folgt aussieht:
[(1,4,3,20),(2,5,2,23),(4,6,1,22)]. Ich denke zum schreiben dieser Daten in ein SQLdatabase später.

Ich bezog mich auf diesen post:Lesen bestimmter Spalten aus einer csv-Datei mit dem csv-Modul?.
Aber ich glaube nicht, dass es hilfreich ist, in meinem Fall. Seit meiner .csv ist ziemlich groß mit ganze Reihe von Spalten, ich hoffe, dass ich sagen kann python den Namen der Spalten, die ich will, also python Lesen kann, dass bestimmte Spalten Zeile für Zeile für mich.

Wenn Sie können andere Bibliothek, Pandas können Sie ganz einfach helfen.
Ich denke mit split (','), um eine Liste der Header und Holen Sie sich die Indexposition der Spalte, die ich will, dann Lesen Sie die csv-Datei... Aber ich Frage mich, ob es bessere Möglichkeiten gibt, dies zu tun.

InformationsquelleAutor Ni Yan | 2013-11-19

def read_csv(file, columns, type_name="Row"):
  try:
    row_type = namedtuple(type_name, columns)
  except ValueError:
    row_type = tuple
  rows = iter(csv.reader(file))
  header = rows.next()
  mapping = [header.index(x) for x in columns]
  for row in rows:
    row = row_type(*[row[i] for i in mapping])
    yield row

Beispiel:

>>> import csv
>>> from collections import namedtuple
>>> from StringIO import StringIO
>>> def read_csv(file, columns, type_name="Row"):
...   try:
...     row_type = namedtuple(type_name, columns)
...   except ValueError:
...     row_type = tuple
...   rows = iter(csv.reader(file))
...   header = rows.next()
...   mapping = [header.index(x) for x in columns]
...   for row in rows:
...     row = row_type(*[row[i] for i in mapping])
...     yield row
... 
>>> testdata = """\
... AAA,bbb,ccc,DDD,eee,FFF,GGG,hhh
... 1,2,3,4,50,3,20,4
... 2,1,3,5,24,2,23,5
... 4,1,3,6,34,1,22,5
... 2,1,3,5,24,2,23,5
... 2,1,3,5,24,2,23,5
... """
>>> testfile = StringIO(testdata)
>>> for row in read_csv(testfile, "AAA GGG DDD".split()):
...   print row
... 
Row(AAA='1', GGG='20', DDD='4')
Row(AAA='2', GGG='23', DDD='5')
Row(AAA='4', GGG='22', DDD='6')
Row(AAA='2', GGG='23', DDD='5')
Row(AAA='2', GGG='23', DDD='5')

Ich mag Ihre Lösung. Es arbeitet effizient. Aber was ist, wenn ich Lesen möchte die Spalten in einer anderen Reihenfolge, sagen: "AAA, FFF, DDD, GGG"? Jetzt das python ist das Lesen der ausgewählten Spalten in eine alphabetische Reihenfolge.
Es gibt mir eine Fehlermeldung row = row_type(row[i] for i in mapping) TypeError: __new__() takes exactly 11 arguments (2 given)
Ni Yan: Es ist spät, ich bekam Niedlich, und schlüpfte in einen der interface-Unterschiede zwischen Tupel und namedtuple. Ich habe bearbeitet den code und lieferten ein Beispiel für eine interaktive Sitzung, die es verwendet.

InformationsquelleAutor Roger Pate

Merke ich die Antwort wurde akzeptiert, aber wenn Sie wirklich wollen, zu Lesen bestimmter namens Spalten aus einer csv-Datei verwenden, sollten Sie DictReader (wenn Sie nicht mit Pandas).

import csv
from StringIO import StringIO

columns = 'AAA,DDD,FFF,GGG'.split(',')


testdata ='''\
AAA,bbb,ccc,DDD,eee,FFF,GGG,hhh
1,2,3,4,50,3,20,4
2,1,3,5,24,2,23,5
4,1,3,6,34,1,22,5
2,1,3,5,24,2,23,5
2,1,3,5,24,2,23,5
'''

reader = csv.DictReader(StringIO(testdata))

desired_cols = (tuple(row[col] for col in columns) for row in reader)

Ausgabe:

>>> list(desired_cols)
[('1', '4', '3', '20'),
 ('2', '5', '2', '23'),
 ('4', '6', '1', '22'),
 ('2', '5', '2', '23'),
 ('2', '5', '2', '23')]

InformationsquelleAutor JaminSore

import csv

DESIRED_COLUMNS = ('AAA','DDD','FFF','GGG')

f = open("myfile.csv")
reader = csv.reader(f)

headers = None
results = []
for row in reader:
    if not headers:
        headers = []
        for i, col in enumerate(row):
        if col in DESIRED_COLUMNS:
            # Store the index of the cols of interest
            headers.append(i)

    else:
        results.append(tuple([row[i] for i in headers]))

print results

Roger with besser ist, das file-handling. Ich bin noch immer verwendet, um mit Hilfe dieses

InformationsquelleAutor Brad M

1

Kontext: Für diese Art von Arbeit sollten Sie die erstaunliche python-petl-Bibliothek. Das spart Ihnen eine Menge Arbeit und mögliche frustration zu tun, die Dinge "von Hand" mit der standard-csv-Modul. AFAIK sind die einzigen Personen, die noch mit dem csv-Modul sind diejenigen, die noch nicht entdeckt haben bessere tools für die Arbeit mit tabellarischen Daten (pandas, petl, etc.), das ist in Ordnung, aber wenn Sie planen, arbeiten mit einer Menge von Daten in Ihrem Karriere-aus verschiedenen fremden Quellen, etwas zu lernen, wie petl ist eine der besten Investitionen, die Sie machen können. Um begonnen zu erhalten, sollte nur 30 Minuten dauern, nachdem Sie dies getan haben pip installieren petl. Die Dokumentation ist ausgezeichnet.

Antwort: Lassen Sie uns sagen, Sie haben die erste Tabelle in eine csv-Datei (Sie können auch laden Sie Sie direkt aus der Datenbank über die petl). Dann würden Sie einfach laden Sie es und führen Sie die folgenden.
```
from petl import fromcsv, look, cut, tocsv    

    #Load the table
    table1 = fromcsv('table1.csv')
    # Alter the colums
    table2 = cut(table1, 'Song_Name','Artist_ID')
    #have a quick look to make sure things are ok.  Prints a nicely formatted table to your console
    print look(table2)
    # Save to new file
    tocsv(table2, 'new.csv')
```
InformationsquelleAutor PeteBeat
0

Wenn Sie Ihre Dateien und Anforderungen sind relativ einfach und gesetzt, sobald Sie wissen, dass die gewünschten Spalten, ich würde wahrscheinlich benutzen Sie die split() aufzuteilen, um die einzelnen Daten-Zeile in eine Liste der Einträge in der Spalte:
```
alist = aline.split('|')
```
Ich würde verwenden Sie dann die gewünschten Spalten-Indizes, um die Einträge in der Spalte aus der Liste, Prozess, jedes mit strip() entfernen whitespace-Zeichen, wandeln es in das gewünschte format (es sieht aus wie Ihre Daten integer-Werte), und erstellen Sie den Tupeln.

Wie gesagt, ich gehe davon aus, dass Ihre Anforderungen sind relativ fest. Je komplizierter oder mehr sind Sie wahrscheinlich zu ändern, desto wahrscheinlicher ist, dass es lohnt sich Ihre Zeit zu Holen, und verwenden Sie eine Bibliothek gemacht, für die Bearbeitung dieser Art von Daten.

InformationsquelleAutor BEMarshall
0

Alle anderen Antworten sind gut, aber ich denke, es wäre besser, nicht geladen werden alle Daten in der gleichen Zeit, da die csv-Datei könnte wirklich riesig. Ich schlage vor, mit einem generator.
```
def read_csv(f, cols):
    reader = csv.reader(f)
    for row in reader:
        if len(row) == 1:
            columns = row[0].split()
            yield (columns[c] for c in cols)
```
Die verwendet werden können, für eine for-Schleife nach
```
with open('path/to/test.csv', 'rb') as f:
    for bbb, ccc in read_csv(f, [1, 2]):
        print bbb, ccc
```
Natürlich können Sie verbessern mit dieser Funktion erhalten Sie die Spalte-Namen statt des index. Dazu mischen Sie einfach die Brad-M-Antwort und meine.

InformationsquelleAutor Nil

Ich denke, es wird helfen.

CSV

1997,Ford,E350,"ac, abs, moon",3000.00
1999,Chevy,"Venture ""Extended Edition""","",4900.00
1996,Jeep,Grand Cherokee,"MUST SELL! air, moon roof, loaded",4799.00

code

import csv   

def get_csv(file_name, names=None, usecols=None, mode='r', encoding="utf8",
            quoting=csv.QUOTE_ALL,
            delimiter=',',
            as_obj=False):

    class RowObject:
        def __init__(self, **entries):
            self.__dict__.update(entries)

    with open(file_name, mode=mode, encoding=encoding) as csvfile:
        data_reader = csv.reader(csvfile, quoting=quoting, delimiter=delimiter)
        for row in data_reader:
            if usecols and names:
                q = dict(zip(names, (row[i] for i in usecols)))
                yield q if not as_obj else RowObject(**q)
            elif usecols and not names:
                yield list(row[i] for i in usecols)
            elif names and not usecols:
                q = dict(zip(names, (row[k] for k, i in enumerate(row))))
                yield q if not as_obj else RowObject(**q)
            else:
                yield row

Beispiel

filename = "/csv_exe/csv.csv"
vs = get_csv(filename, names=('f1', 'f2', 'f3', 'f4', 'f5'))
for item in vs:
    print(item)

Ergebnis

{'f1': '1997', 'f4': 'ac, abs, moon', 'f3': 'E350', 'f2': 'Ford', 'f5': '3000.00'}
{'f1': '1999', 'f4': '', 'f3': 'Venture "Extended Edition"', 'f2': 'Chevy', 'f5': '4900.00'}
{'f1': '1996', 'f4': 'MUST SELL! air, moon roof, loaded', 'f3': 'Grand Cherokee', 'f2': 'Jeep', 'f5': '4799.00'}

Beispiel2

vs = get_csv(filename, names=('f1', 'f2'), usecols=(0, 4))

result2

{'f1': '1997', 'f2': '3000.00'}
{'f1': '1999', 'f2': '4900.00'}
{'f1': '1996', 'f2': '4799.00'}

bild3

vs = get_csv(filename, names=('f1', 'f2'), usecols=(0, 2), as_obj=True)

result3

<__main__.get_csv.<locals>.RowObject object at 0x01408ED0>
<__main__.get_csv.<locals>.RowObject object at 0x01408E90>
<__main__.get_csv.<locals>.RowObject object at 0x01408F10>

for item in vs:
    print(item.f2)

E350
Venture "Extended Edition"
Grand Cheroke

InformationsquelleAutor s2nner

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.