Entfernen dtype am Ende der numpy-array

Schreibe ich eine Methode erstellt ein array von Daten-Datei. Die Methode sieht folgendermaßen aus:

import numpy
def readDataFile(fileName):
    try:
        with open(fileName, 'r') as inputs:
            data = None
            for line in inputs:
                line = line.strip()
                items = line.split('\t')
                if data == None:
                    data = numpy.array(items[0:len(items)]) 
                else:
                    data = numpy.vstack((data, items[0:len(items)]))
                return numpy.array(data)
    except IOError as ioerr:
        print 'IOError: ', ioerr
        return None

Meine Daten-Datei enthält Zeilen von zahlen, die jeweils voneinander getrennt durch einen Tabulator, e.g:

1 2 3
4 5 6
7 8 9

Und ich erwarten ein array wie folgt:

array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

Jedoch enthält das Ergebnis dtype am Ende:

array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]], dtype='|S9')

Weil es, ich kann nicht führen Sie einige Operationen auf das Ergebnis, wenn ich z.B. versuchen zu finden, der max-Wert für jede Zeile mit result.max(0) werde ich eine Fehlermeldung:

TypeError: cannot perform reduzieren mit flexibler Typ.

So, kann mir jemand sagen was stimmt mit meinem code und wie man es beheben? Vielen Dank.

InformationsquelleAutor Long Thai | 2012-04-23
  1. 10

    Die einfachste Korrektur ist die Verwendung von numpy ist loadtxt:

    data = numpy.loadtxt(fileName, dtype='float')

    Nur zur info, mit numpy.vstack innerhalb einer Schleife ist eine schlechte Idee. Wenn Sie sich entscheiden nicht zu verwenden loadtxt können Sie ersetzen Sie Ihre Schleife, mit der folgenden zu beheben, dtype Problem und die Beseitigung der numpy.vstack.

    data = [row.split('\t') for row in inputs]
data = np.array(data, dtype='float')

    Update

    Jedes mal vstack genannt wird, es macht ein neues array und kopiert den Inhalt des alten arrays in das neue. Dieses Exemplar ist etwa O(n), wobei n die Größe des Arrays und wenn deine Schleife läuft n-mal die ganze Sache wird O(n**2), also langsam. Wenn Sie wissen, die endgültige Größe des Arrays vor der Zeit, ist es besser, erstellen Sie das array außerhalb der Schleife und füllen Sie das vorhandene array. Wenn Sie nicht wissen, die endgültige Größe des Arrays verwenden, können Sie eine Liste der innerhalb der Schleife und rufen vstack am Ende. Zum Beispiel:

    import numpy as np
myArray = np.zeros((10,3))
for i in xrange(len(myArray)):
    myArray[i] = [i, i+1, i+2]

# or:
myArray = []
for i in xrange(10):
    myArray.append(np.array([i, i+1, i+2]))
myArray = np.vstack(myArray)
    • Vielen Dank, dein code funktioniert wirklich gut. Aber können Sie erklären, warum es eine schlechte Idee, um numpy.vstack innerhalb einer Schleife? Cheers.
    InformationsquelleAutor Bi Rico
  2. 7

    Hier ändern, gehen Sie wie Datentypen in numpy:

    >>> x
array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])
>>> x.astype('|S9')
array([['1', '2', '3'],
       ['4', '5', '6'],
       ['7', '8', '9']], 
      dtype='|S9')
>>> x.astype('Float64')
array([[ 1.,  2.,  3.],
       [ 4.,  5.,  6.],
       [ 7.,  8.,  9.]])
>>> x.astype('int')
array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])
    InformationsquelleAutor Akavall
  3. 4

    Numpy-array enthält eine Methode, um diesen job zu machen:

    import numpy as np
a = np.array(['A', 'B'])
a
# Returns: array(['A', 'B'],  dtype='|S1')

a.tolist()
# Returns ['A', 'B']

    http://docs.scipy.org/doc/numpy/reference/generated/numpy.ndarray.tolist.html#numpy.ndarray.tolist

    InformationsquelleAutor Enrique Pérez Herrero
  4. 3

    ... Haben Sie versucht, drehen Sie Sie in die Reihen zuerst?

    items = [int(x) for x in line.split('\t')]
    InformationsquelleAutor Ignacio Vazquez-Abrams
Schreibe einen Kommentar