Anwenden, Funktion pandas dataframe Zeile mit den Werten in anderen Zeilen

Ich habe eine situation wo ich einen dataframe Zeile, um Berechnungen mit, und ich brauche Werte verwenden, die im folgenden (potenziell vorhergehenden) Zeilen um diese Berechnungen zu tun (im Grunde eine perfekte Prognose basiert auf der realen Datensatz). Ich bekomme jede Zeile aus einer früheren df.apply Anruf, so konnte ich den pass das ganze df entlang der downstream-Objekte, aber das scheint weniger als ideal sind, auf der Grundlage der Komplexität der Objekte in meiner Analyse.

Fand ich eine eng damit verbundene Frage-und-Antwort [1], aber das problem ist eigentlich grundlegend in dem Sinne, dass ich nicht brauchen, das ganze df für meine calcs, einfach das folgende x Anzahl der Zeilen (die Angelegenheit für große dfs).

So, zum Beispiel:

df = pd.DataFrame([100, 200, 300, 400, 500, 600, 700, 800, 900, 1000], 
                  columns=['PRICE'])
horizon = 3

Ich zugreifen zu können, müssen Sie Werte in die folgenden 3 (horizon) Zeilen in meiner zeilenweise df.apply nennen. Wie bekomme ich eine naive Prognose der nächsten 3 Datenpunkte dynamisch in meinem zeilenweise gelten calcs? z.B. für Zeile die erste Zeile, wo der PRICE ist 100, ich [200, 300, 400] eine Prognose in meine calcs.

[1] anwenden einer Funktion auf ein pandas Dataframe, dessen Wert zurückgegeben wird, basierend auf anderen Zeilen

InformationsquelleAutor lukewitmer | 2016-05-10
  1. 6

    Indem man die Zeile index innerhalb der df.apply Anruf mit row.name [1], können Sie erzeugen die 'Prognose' - Daten relativ zu welcher Zeile Sie sich gerade befinden. Dies ist effektiv ein preprocessing-Schritt zu setzen die 'Prognose' auf die entsprechende Zeile, oder es könnte getan werden, als Teil der ersten df.apply nennen, wenn der df downstream zur Verfügung. 

    df = pd.DataFrame([100, 200, 300, 400, 500, 600, 700, 800, 900, 1000], columns=['PRICE'])
horizon = 3

df['FORECAST'] = df.apply(lambda x: [df['PRICE'][x.name+1:x.name+horizon+1]], axis=1)

    Ergebnisse, in:

       PRICE          FORECAST
0    100   [200, 300, 400]
1    200   [300, 400, 500]
2    300   [400, 500, 600]
3    400   [500, 600, 700]
4    500   [600, 700, 800]
5    600   [700, 800, 900]
6    700  [800, 900, 1000]
7    800       [900, 1000]
8    900            [1000]
9   1000                []

    Die verwendet werden können, in Ihren row-wise df.apply calcs.

    EDIT:
    Wenn Sie möchten, Streifen Sie den index aus dem resultierenden 'Prognose':

    df['FORECAST'] = df.apply(lambda x: [df['PRICE'][x.name+1:x.name+horizon+1].reset_index(drop=True)], axis=1)

    [1] das bekommen des index einer Zeile in einer pandas gelten-Funktion

    InformationsquelleAutor lukewitmer
  2. 1

    Können Sie diese nützlich finden, wie gut.

    keys = range(horizon + 1)
pd.concat([df.shift(-i) for i in keys], axis=1, keys=keys)

      0       1       2       3
  PRICE   PRICE   PRICE   PRICE
0   100   200.0   300.0   400.0
1   200   300.0   400.0   500.0
2   300   400.0   500.0   600.0
3   400   500.0   600.0   700.0
4   500   600.0   700.0   800.0
5   600   700.0   800.0   900.0
6   700   800.0   900.0  1000.0
7   800   900.0  1000.0     NaN
8   900  1000.0     NaN     NaN
9  1000     NaN     NaN     NaN

    ordnen Sie die concat zu df_c

    keys = range(horizon + 1)
df_c = pd.concat([df.shift(-i) for i in keys], axis=1, keys=keys)

df_c.apply(lambda x: pd.Series([x[0].values, x[1:].values]), axis=1)

          0                       1
0   [100.0]   [200.0, 300.0, 400.0]
1   [200.0]   [300.0, 400.0, 500.0]
2   [300.0]   [400.0, 500.0, 600.0]
3   [400.0]   [500.0, 600.0, 700.0]
4   [500.0]   [600.0, 700.0, 800.0]
5   [600.0]   [700.0, 800.0, 900.0]
6   [700.0]  [800.0, 900.0, 1000.0]
7   [800.0]    [900.0, 1000.0, nan]
8   [900.0]      [1000.0, nan, nan]
9  [1000.0]         [nan, nan, nan]
    • Glaubst du, es ist eine Leistung die eine oder andere Weise, und unter welchen Umständen?
    • Nein, ich lief einfach %%timeit und Ihr wat ist 5+ - mal schneller. Ich mag meine Art, denn ich finde es mehr elegante. Aber ich würde mit dir gehen Weg, weil seine viel intuitiver und seine schneller.
    InformationsquelleAutor piRSquared
Schreibe einen Kommentar