Pythonic Möglichkeit zu importieren Daten aus mehreren Dateien in ein array

Ich bin relativ neu in Python und Frage mich, wie man am besten zum importieren von Daten aus mehreren Dateien in einem einzigen array. Ich habe schon ein paar text-Dateien mit 50 Zeilen zwei Spalten mit Daten (Spalte getrennt) wie:

Length=10.txt:     
1, 10    
2, 30    
3, 50   
#etc
END OF FILE

Length=20.txt
1, 50.7
2, 90.9
3, 10.3
#etc
END OF FILE

Sagen wir, ich habe 10 text-Dateien zu importieren und den import in eine variable namens Daten.

Ich würde gerne zu einem einzigen 3D-array mit allen Daten. So kann ich leicht Plotten und manipulieren die Daten durch Bezugnahme auf die Daten von data[:,:,n] wo n bezieht sich auf den index der text-Datei.

Ich denke, die Art und Weise, die ich tun würde, ist dies ein array der Form (50, 2, 10), aber nicht wissen, wie man am besten python verwenden, um es zu schaffen. Ich habe darüber nachgedacht, einen loop importieren Sie die text-Datei als 2D-array, und dann legen Sie ein 2D-array, zwar konnte Sie nicht finden, die entsprechende Befehle, dies zu tun (ich sah vstack und column_stack in numpy aber diese scheinen nicht zu einer zusätzlichen dimension).

So weit, dass ich geschrieben habe, der import-code:

    file_list = glob.glob(source_dir + '/*.TXT') #Get folder path containing text files

    for file_path in file_list:
      data = np.genfromtxt(file_path, delimiter=',', skip_header=3, skip_footer=18)

Aber das problem mit diesem code ist, dass ich Daten nur verarbeiten, wenn es in der for-Schleife.

Was ich wirklich will, ist ein array aller importierten Daten aus text-Dateien.

Jede Hilfe wäre sehr geschätzt, danke!

InformationsquelleAutor IanRoberts | 2012-11-29

"Aber das problem mit diesem code ist, dass ich Daten nur verarbeiten, wenn es in der for-Schleife. "

Vorausgesetzt dein code funktioniert:

# Get folder path containing text files
file_list = glob.glob(source_dir + '/*.TXT')
data = []
for file_path in file_list:
    data.append(
        np.genfromtxt(file_path, delimiter=',', skip_header=3, skip_footer=18))
# now you can access it outside the "for loop..."
for d in data:
    print d

Danke, das verbessert auf cronos ' s Antwort.

InformationsquelleAutor E.Z.

1

WENN alle Daten von der gleichen Form, dann fügen Sie einfach eine Liste.
```
all_data = [] 
```
und in der Schleife:
```
all_data.append(data)
```
schließlich haben Sie
```
asarray(all_data)
```
welcher ein array der Form (10,50,2) (transponieren, wenn Sie möchten).
Wenn die shapes nicht übereinstimmen, dann funktioniert dies nicht obwohl, numpy nicht in den Griff Reihen von verschiedenen Formen. Dann müssen Sie vielleicht eine weitere Schleife die arrays erstellt von der größten Form, und kopieren Sie Ihre Daten über.
- Danke, das ist einfach und funktioniert gut - ich habe versucht, so etwas wie dieses, verpasste aber aus der "asarray" - Befehl. Ich wusste nicht, dass es würde nicht ein array sein, ohne es.
InformationsquelleAutor cronos

grob, aber schnell

listFiles=["1.txt","2.txt", ... ,"xxx.txt"]
allData=[]
for file in listFiles:
    lines = open(file,'r').readlines()

    filedata = {}
    filedata['name'] = file
    filedata['rawLines'] = lines
    col1Vals = []
    col2Vals = []
    mapValues = {}

    for line in lines:           
       values = line.split(',')
       col1Vals.append(values[0])
       col2Vals.append(values[1])
       mapValues[values[0]] = values[1]
    filedata['col1'] = col1Vals
    filedata['col2'] = col2Vals
    filedata['map'] = mapValues
    allData.append(filedata)

wenn Sie möchten, um eine Liste von Dateien aus einem bestimmten Verzeichnis, werfen Sie einen Blick auf os.gehen

Da es nicht klar ist, wie würden Sie wollen, dass die Daten, die ich gezeigt haben, haben Sie zahlreiche Möglichkeiten, um es zu speichern

allData ist eine Liste von Wörterbüchern

um die 2. Spalte mit Daten aus der 3rd-Datei, die Sie würde in der Lage sein zu tun allData[2]['col2']

wenn Sie wollten, dass der name von der Dritten Datei alldata[2]['name']

InformationsquelleAutor g19fanatic

Sind Sie auf der Suche nach einem array [txt "column1", " txt " column2 Dateiname]?

file_list = glob.glob(source_dir + '/*.TXT') #Get folder path containing text files


for num,file_path in enumerate(file_list):
  data = np.genfromtxt(file_path, delimiter=',', skip_header=3, skip_footer=18)
  data = np.vstack((data.T,np.ones(data.shape[0])*num)).T
  if num==0: Output=data
  else: Output=np.vstack((Output,data))

Eine alternative, wenn Sie nicht wollen, zu transponieren zweimal.

  data = np.vstack((data,(np.ones(data.shape[0])*num).reshape(-1,1)))

InformationsquelleAutor Daniel

vielleicht kannst du dies so tun:

file_list = glob.glob(source_dir + '/*.TXT') # Get folder path containing text files
data = [np.genfromtxt(file_path, delimiter=',', skip_header=3, skip_footer=18)
        for file_path in file_list]

InformationsquelleAutor cloudaice

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.