Warum Keras LSTM batch-Größe für die Vorhersage verwendet werden, die gleichen wie passend batch-Größe?

Leider, was Sie tun möchten ist unmöglich mit Keras ... ich habe auch Probleme eine Menge Zeit auf diese Probleme und der einzige Weg ist, Tauchen Sie in das Kaninchen-Loch und arbeiten mit Tensorflow direkt zu tun LSTM rolling Vorhersage.

Ersten, klar, Terminologie, batch_size bedeutet in der Regel die Anzahl der Sequenzen, die ausgebildet sind, zusammen, und num_steps bedeutet, wie viele Zeitschritte trainiert sind, zusammen. Wenn du meinst batch_size=1 und "nur die Vorhersage des nächsten Wertes", ich denke, du meintest, um vorauszusagen, mit num_steps=1.

Ansonsten sollte es möglich sein, zu trainieren und zu prognostizieren batch_size=50 Bedeutung sind Sie mit dem training auf der 50-Sequenzen und machen 50 Vorhersagen jedes mal, wenn Schritt, für jede sequence (d.h. Ausbildung/Vorhersage num_steps=1).

Aber ich denke, das was du meinst ist, das Sie verwenden möchten stateful LSTM, mit dem Zug num_steps=50 tun und die Vorhersage mit num_steps=1. Dies theoretisch machen, Sinne und sollte möglich sein, und es ist möglich, mit Tensorflow, nur nicht Keras.

Das problem: Keras erfordert eine explizite batch-Größe für stateful RNN. Sie müssen angeben, batch_input_shape (batch_size, num_steps, Funktionen).

Der Grund: Keras verteilen müssen eine Feste Größe-versteckte zustandsvektors in der computation-graph mit Form (batch_size, num_units) um das fortbestehen der Werte zwischen Trainings-Chargen. Auf der anderen Seite, wenn stateful=False die ausgeblendeten Zustand kann der Vektor initialisiert werden dynamisch mit Nullen am Anfang jeder batch, so dass Sie nicht brauchen, eine Feste Größe zu werden. Mehr details hier: http://philipperemy.github.io/keras-stateful-lstm/

Möglich umgehen: Zug und Vorhersagen mit num_steps=1. Beispiel: https://github.com/keras-team/keras/blob/master/examples/lstm_stateful.py. Dies möglicherweise oder möglicherweise nicht arbeiten für Ihr problem, da die Steigung für back-propagation berechnet wird nur auf einem Zeitschritt. Siehe: https://github.com/fchollet/keras/issues/3669

Meine Lösung: verwenden Sie Tensorflow: In Tensorflow können Sie trainieren mit batch_size=50, num_steps=100, dann tun Sie Vorhersagen mit batch_size=1, num_steps=1. Dies ist möglich durch die Erstellung eines anderen Modells Diagramm für die Ausbildung und die Vorhersage, welche die gleiche RNN Gewicht Matrizen. Siehe das Beispiel für die next-Charakter Vorhersage: https://github.com/sherjilozair/char-rnn-tensorflow/blob/master/model.py#L11 und blog-post http://karpathy.github.io/2015/05/21/rnn-effectiveness/. Beachten Sie, dass ein graph kann immer noch nur mit einer angegebenen batch_size, aber einstellen können Sie mehrere Modell-Graphen-sharing-GEWICHTE in Tensorflow.

Anderen einfachen workaround:

def create_model(batch_size):
    model = Sequential()
    model.add(LSTM(1, batch_input_shape=(batch_size, 1, sl), stateful=True))
    model.add(Dense(1))
    return model

model_train = create_model(batch_size=50)

model_train.compile(loss='mean_squared_error', optimizer='adam')
model_train.fit(trainX, trainY, epochs=epochs, batch_size=batch_size)

model_predict = create_model(batch_size=1)

weights = model_train.get_weights()
model_predict.set_weights(weights)

Fand ich unter hilfreich (und völlig inline mit oben). Der Abschnitt "Lösung 3: Copy-GEWICHTE" für mich gearbeitet:

Die Verwendung Verschiedener Losgrößen, wenn die Ausbildung und die Vorhersage mit LSTMs, von Jason Brownlee

n_neurons = 10
# design network
model = Sequential()
model.add(LSTM(n_neurons, batch_input_shape=(n_batch, X.shape[1], X.shape[2]), stateful=True))
model.add(Dense(1))
model.compile(loss='mean_squared_error', optimizer='adam')
# fit network
for i in range(n_epoch):
    model.fit(X, y, epochs=1, batch_size=n_batch, verbose=1, shuffle=False)
    model.reset_states()
# re-define the batch size
n_batch = 1
# re-define model
new_model = Sequential()
new_model.add(LSTM(n_neurons, batch_input_shape=(n_batch, X.shape[1], X.shape[2]), stateful=True))
new_model.add(Dense(1))
# copy weights
old_weights = model.get_weights()
new_model.set_weights(old_weights)
# compile model
new_model.compile(loss='mean_squared_error', optimizer='adam')