Zählen der Anzahl von nicht-NaN-Elemente in ein ndarray numpy Python

Brauche ich zur Berechnung der Anzahl von nicht-NaN-Elemente in ein ndarray numpy matrix. Wie würde man effizient tun Sie dies in Python? Hier ist mein einfacher code für die Erreichung dieses:

import numpy as np

def numberOfNonNans(data):
    count = 0
    for i in data:
        if not np.isnan(i):
            count += 1
    return count

Gibt es eine eingebaute Funktion für diesen in numpy? Effizienz ist wichtig, weil ich mache Big-Data-Analyse.

Thnx für jede Hilfe!!!

Diese Frage scheint off-topic, weil es auf codereview.stackexchange.com
Du meinst, effiziente in Bezug auf Speicher?
+1 ich dachte an CPU-Zeit, aber ja, warum nicht Speicher. Je schneller und billiger, desto besser =)
Eine Speicher-effiziente version wil sum(not np.isnan(x) for x in a), aber in Bezug auf Geschwindigkeit, es ist langsam im Vergleich zu @M4rtini numpy-version.
Ich danke Ihnen sehr! Ich muss sehen, was einem wichtiger ist in meiner Bewerbung =)

InformationsquelleAutor jjepsuomi | 2014-02-14

109
```
np.count_nonzero(~np.isnan(data))
```
~ kehrt den booleschen matrix zurückgegeben, die von np.isnan.

np.count_nonzero zählt Werte, die nicht 0\false. .sum sollte das gleiche Ergebnis. Aber vielleicht mehr deutlich zu verwenden count_nonzero

Test-Geschwindigkeit:
```
In [23]: data = np.random.random((10000,10000))

In [24]: data[[np.random.random_integers(0,10000, 100)],:][:, [np.random.random_integers(0,99, 100)]] = np.nan

In [25]: %timeit data.size - np.count_nonzero(np.isnan(data))
1 loops, best of 3: 309 ms per loop

In [26]: %timeit np.count_nonzero(~np.isnan(data))
1 loops, best of 3: 345 ms per loop

In [27]: %timeit data.size - np.isnan(data).sum()
1 loops, best of 3: 339 ms per loop
```
data.size - np.count_nonzero(np.isnan(data)) scheint kaum der Schnellste hier. andere Daten geben könnten unterschiedliche relativ-Geschwindigkeit Ergebnisse.
- +1 @M4rtini nochmals vielen Dank! Du bist toll! ;D ich akzeptiere Ihre Antwort, sobald ich kann 🙂
- Was ist der ~?
- Vielleicht sogar numpy.isnan(array).sum()? Ich bin nicht sehr bewandert mit numpy obwohl.
- Es wird die Anzahl der NaN, während der OP wollen die Zahl der nicht-NaN-Elemente.
- +1 Thnx Jungs für Eure Hilfe =) ich kann überprüfen Sie die Laufzeit dieser alternativen =)
- href="http://stackoverflow.com/questions/8305199/the-tilde-operator-in-python" title="tilde-operator in python">stackoverflow.com/questions/8305199/... =)
- die ~ invertieren Sie die matrix. Ich denke, es ist implementiert als eine __not__ für ndarrays.
- ah natürlich! Dank
- Eine Erweiterung der @msvalkon Antwort: data.size - np.isnan(data).sum() wird etwas effizienter.
- Hinzugefügt einige speed-test, der Unterschied war ziemlich klein.
InformationsquelleAutor M4rtini

Schnell schreiben alterantive

Obwohl nicht die Schnellste Wahl, wenn die Leistung nicht ein Problem, können Sie verwenden:

sum(~np.isnan(data)).

Leistung:

In [7]: %timeit data.size - np.count_nonzero(np.isnan(data))
10 loops, best of 3: 67.5 ms per loop

In [8]: %timeit sum(~np.isnan(data))
10 loops, best of 3: 154 ms per loop

In [9]: %timeit np.sum(~np.isnan(data))
10 loops, best of 3: 140 ms per loop

InformationsquelleAutor G M

2

Alternative, aber etwas langsamere alternative ist es über die Indizierung.
```
np.isnan(data)[np.isnan(data) == False].size

In [30]: %timeit np.isnan(data)[np.isnan(data) == False].size
1 loops, best of 3: 498 ms per loop 
```
Die doppelte Verwendung von np.isnan(data) und die == Betreiber vielleicht ein bisschen zuviel des guten und so habe ich geschrieben, die Antwort nur der Vollständigkeit halber.

InformationsquelleAutor Manuel
1

Um festzustellen, ob das array ist spärlich, es kann helfen, zu erhalten ein Anteil von nan-Werte
```
np.isnan(ndarr).sum() / ndarr.size
```
Wenn das Verhältnis eine Schwelle überschreitet, dann verwenden Sie ein sparse array, z.B.
- https://sparse.pydata.org/en/latest/

InformationsquelleAutor Darren Weber

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.