Tensorflow: Wie man alle Variablen aus rnn_cell.BasicLSTM & rnn_cell.MultiRNNCell

Ich ein setup haben wo ich zu initialisieren eines LSTM nach der eigentlichen Initialisierung verwendet tf.initialize_all_variables(). I. e. Ich will rufen tf.initialize_variables([var_list])

Ist es Weg sammeln Sie alle internen trainierbar Variablen für beide:

  • rnn_cell.BasicLSTM
  • rnn_cell.MultiRNNCell

so, dass ich initialisieren kann NUR diese Parameter?

Der Hauptgrund, warum ich wollen, das ist, weil ich nicht wollen, zu re-initialisieren, einige trainierten Werte von früher.

InformationsquelleAutor bge0 | 2016-01-26
  1. 17

    Der einfachste Weg, um Ihr problem zu lösen ist mit einem Variablen Umfang. Die Namen der Variablen innerhalb eines Bereichs wird als Präfix mit seinem Namen. Hier ein kurzes snippet:

    cell = rnn_cell.BasicLSTMCell(num_nodes)

with tf.variable_scope("LSTM") as vs:
  # Execute the LSTM cell here in any way, for example:
  for i in range(num_steps):
    output[i], state = cell(input_data[i], state)

  # Retrieve just the LSTM variables.
  lstm_variables = [v for v in tf.all_variables()
                    if v.name.startswith(vs.name)]

# [..]
# Initialize the LSTM variables.
tf.initialize_variables(lstm_variables)

    Es würde funktionieren auf die gleiche Weise mit MultiRNNCell.

    EDIT: geändert tf.trainable_variables zu tf.all_variables()

    • Dies ist perfekt, danke. Wusste gar nicht, dass tf.trainable_variables() Hinsicht Umfang, aber ich denke, im Nachhinein macht es Sinn!
    • Möchte noch hinzufügen, dass tf.all_variables() statt tf.trainable_variables() wäre eine bessere Wahl. Vor allem, weil es gibt Dinge, wie Optimierer, die nicht trainierbar Variablen, die würde jedoch noch initialisiert werden müssen.
    • Danke, du hast Recht. Ich aktualisierte den code.
    • Sie vielleicht überprüfen sollte, für v.name.startswith(vs.name + "/") da könnte sich ein weiterer Bereich mit dem gleichen Präfix, z.B. "LSTM2".
    • es funktioniert, aber manchmal Wünsche ich mir, der LSTM ist anders eingerichtet zu sein, im Einklang mit allen anderen Arten von Variablen in tensorflow
    InformationsquelleAutor Rafał Józefowicz
  2. 11

    Können Sie auch tf.get_collection():

    cell = rnn_cell.BasicLSTMCell(num_nodes)
with tf.variable_scope("LSTM") as vs:
  # Execute the LSTM cell here in any way, for example:
  for i in range(num_steps):
    output[i], state = cell(input_data[i], state)

  lstm_variables = tf.get_collection(tf.GraphKeys.VARIABLES, scope=vs.name)

    (teilweise kopiert von Rafal Antwort)

    Beachten Sie, dass die Letzte Zeile entspricht der list-comprehension in Rafal code.

    Grundsätzlich tensorflow speichert eine Globale Sammlung von Variablen, die abgerufen werden können, indem Sie entweder tf.all_variables() oder tf.get_collection(tf.GraphKeys.VARIABLES). Wenn Sie angeben scope (scope name) in tf.get_collection() - Funktion, dann hast du nur fetch-Tensoren (Variablen in diesem Fall) in der Sammlung, deren Bereiche sind unter dem angegebenen Geltungsbereich.

    BEARBEITEN:
    Sie können auch tf.GraphKeys.TRAINABLE_VARIABLES zu bekommen trainierbar, nur Variablen. Aber da Vanille BasicLSTMCell nicht initialisiert wird, alle nicht-trainierbare variable, die sowohl funktional äquivalent. Für eine vollständige Liste der Standard-Grafik-Sammlungen, überprüfen diese aus.

    • Das ist so der bessere Weg, als Rafal Lösung 🙂
    • Wie ich sagte oben, Sie vielleicht besser genutzt werden sollten tf.get_collection(..., scope=vs.name + "/") da könnte sich ein weiterer Bereich mit dem Namen "LSTM2" oder so.
    InformationsquelleAutor Minjoon Seo
Schreibe einen Kommentar