Überprüfen Sie die Gesamtanzahl der Parameter in einem Modell PyTorch

Wie zählen Sie die Gesamtzahl der Parameter in a PyTorch Modell? Etwas ähnliches model.count_params() in Keras.

InformationsquelleAutor Fábio Perez | 2018-03-09
  1. 65

    PyTorch nicht über eine Funktion zum berechnen der Gesamtzahl der Parameter, wie Keras hat, aber es ist möglich, um die Summe der Anzahl der Elemente für jede parameter-Gruppe:

    pytorch_total_params = sum(p.numel() for p in model.parameters())

    Wenn Sie berechnen wollen, wird nur die trainierbar Parameter:

    pytorch_total_params = sum(p.numel() for p in model.parameters() if p.requires_grad)

    Antwort inspiriert von diesem Antwort auf PyTorch Foren.

    Hinweis: ich bin die Beantwortung meiner eigenen Frage. Wenn jemand eine bessere Lösung haben, bitte mit uns teilen.

    • Können Sie nicht einfach tun params = list(model.parameters), und dann tun len(params)?
    • Ah, ich sehe, dass nicht die Anzahl der Schichten, nicht Summe # der Parameter
    InformationsquelleAutor Fábio Perez
  2. 4

    Wenn Sie möchten, berechnen Sie die Anzahl der GEWICHTE und biases in jeder Schicht ohne Instanziierung des Modells, können Sie einfach laden Sie die raw-Datei aus und Durchlaufen das resultierende collections.OrderedDict etwa so:

    import torch


tensor_dict = torch.load('model.dat', map_location='cpu') # OrderedDict
tensor_list = list(tensor_dict.items())
for layer_tensor_name, tensor in tensor_list:
    print('Layer {}: {} elements'.format(layer_tensor_name, torch.numel(tensor)))

    Erhalten Sie so etwas wie

    conv1.weight: 312
conv1.bias: 26
batch_norm1.weight: 26
batch_norm1.bias: 26
batch_norm1.running_mean: 26
batch_norm1.running_var: 26
conv2.weight: 2340
conv2.bias: 10
batch_norm2.weight: 10
batch_norm2.bias: 10
batch_norm2.running_mean: 10
batch_norm2.running_var: 10
fcs.layers.0.weight: 135200
fcs.layers.0.bias: 260
fcs.layers.1.weight: 33800
fcs.layers.1.bias: 130
fcs.batch_norm_layers.0.weight: 260
fcs.batch_norm_layers.0.bias: 260
fcs.batch_norm_layers.0.running_mean: 260
fcs.batch_norm_layers.0.running_var: 260
    InformationsquelleAutor Zhanwen Chen
Schreibe einen Kommentar