Stichprobe einer Teilmenge einer dataframe in Pandas

Sagen, ich habe einen dataframe mit 100.000 Einträge und möchten es aufgeteilt in 100 Abschnitte von 1000 Einträgen.

Wie nehme ich eine zufällige Stichprobe von sagen Größe 50 nur eine der 100 Abschnitte. das Daten-set ist bereits bestellt, so dass die ersten 1000 Ergebnisse sind der erste Abschnitt den nächsten Abschnitt, das nächste und so weiter.

vielen Dank

  • df.iloc[np.random.randint(1,1000,50),:]. df1 ist eine der über 100 Sektionen.
InformationsquelleAutor WGP | 2016-06-28
  1. 27

    Können Sie die Beispiel - Methode*:

    In [11]: df = pd.DataFrame([[1, 2], [3, 4], [5, 6], [7, 8]], columns=["A", "B"])

In [12]: df.sample(2)
Out[12]:
   A  B
0  1  2
2  5  6

In [13]: df.sample(2)
Out[13]:
   A  B
3  7  8
0  1  2

    *Auf einem Abschnitt DataFrames.

    Hinweis: Wenn Sie eine größere sample-Größe, die der Größe der DataFrame das wird ein Fehler ausgelöst, es sei denn, Sie Beispiel mit Ersatz.

    In [14]: df.sample(5)
ValueError: Cannot take a larger sample than population when 'replace=False'

In [15]: df.sample(5, replace=True)
Out[15]:
   A  B
0  1  2
1  3  4
2  5  6
3  7  8
1  3  4
    • können Sie bitte erklären, was bedeutet replace tun? die Dokumentation ist mir nicht klar. Danke!!!
    • es nimmt eine "Probe mit Ersatz", also, wenn Sie ein dataset von der Größe 5 können Sie eine Stichprobe der Größe 10. Auch, wenn Sie nehmen Stichprobe von N Elementen, ohne eine Probe der Größe N haben, jedes element, mit dem Ersatz kann es nicht. E. g. siehe statisticshowto.datasciencecentral.com/...
    • tran ersetzen bedeutet, ob die Probe mit oder ohne Ersatz. Ohne Ersatz bedeutet, sobald Sie eine Linie ausgewählt wird, kann es nicht erneut ausgewählt werden (z.B. ziehe ich eine Murmel aus der Tasche und setzen Sie es nicht zurück, so kann ich nicht zeichnen Sie es wieder). Mit Ersatz kann ich eine Probe von der gleichen Linie wieder (z.B. nach Zeichnung einer Marmor ich steckte es zurück in die Tasche, bevor er die nächste Murmel so kann ich das gleiche wieder).
    InformationsquelleAutor Andy Hayden
  2. 8

    Eine Lösung ist die Verwendung der choice Funktion numpy.

    Sagen, Sie wollen 50 Einträge von 100, die Sie verwenden können:

    import numpy as np
chosen_idx = np.random.choice(1000, replace=False, size=50)
df_trimmed = df.iloc[chosen_idx]

    Dies ist natürlich nicht in Anbetracht Ihrer block-Struktur. Wenn Sie möchten, eine 50-Element-Beispiel von block i zum Beispiel, können Sie tun:

    import numpy as np
block_start_idx = 1000 * i
chosen_idx = np.random.choice(1000, replace=False, size=50)
df_trimmed_from_block_i = df.iloc[block_start_idx + chosen_idx]
    InformationsquelleAutor jpjandrade
  3. 0

    Dies ist ein schöner Ort für Rekursion. 

    def main2():
    rows = 8  # say you have 8 rows, real data will need len(rows) for int
    rands = []
    for i in range(rows):
        gen = fun(rands)
        rands.append(gen)
    print(rands)  # now range through random values


def fun(rands):
    gen = np.random.randint(0, 8)
    if gen in rands:
        a = fun(rands)
        return a
    else: return gen


if __name__ == "__main__":
    main2()

    output: [6, 0, 7, 1, 3, 5, 4, 2]

    InformationsquelleAutor GeneralCode
Schreibe einen Kommentar