Caffe | Check fehlgeschlagen: Fehler == cudaSuccess (2 vs. 0) out of memory

Ich versuche zu trainieren, ein Netzwerk auf Caffe. Ich habe die Größe des Bildes, 512x640. Batch-Größe ist 1. Ich bin versucht zu implementieren FCN-8s.

Ich bin derzeit mit diesem auf einer Amazon EC2-Instanz (g2.2xlarge) mit 4 GB GPU-Speicher. Aber wenn ich den solver, der es sofort wirft einen Fehler raus

Check failed: error == cudaSuccess (2 vs. 0)  out of memory
*** Check failure stack trace: ***
Aborted (core dumped)

Kann mir jemand helfen, gehen Sie von hier aus?

  • Verwandte: stackoverflow.com/q/36526959/1714410
  • zwei Lösung:ein, können Sie versuchen, verringern Sie Ihre batch-Größe, aber Ihre batch-Größe=1, und nutzlos, dann können Sie die Größe ändern auf dein Bild, verringern Sie Ihre Größe kann nützlich sein;zwei, die Sie kaufen können, eine bessere GPU.
InformationsquelleAutor Abhilash Panigrahi | 2015-11-18
  1. 15

    Die Fehlermeldung, die Sie erhalten, ist in der Tat aus der Erinnerung, aber es ist nicht der RAM, sondern die GPU-Speicher (beachten Sie, dass der Fehler kommt, CUDA).

    In der Regel, wenn caffe ist aus der Erinnerung - das erste, was zu tun ist, reduzieren Sie die batch-Größe (auf Kosten der gradientengenauigkeit), aber da Sie schon auf batch-Größe = 1...

    Sind Sie sicher, dass die batch-Größe ist 1 für beide ZUG-und TEST-Phasen?

    • Ich so gedacht. Und ja, beide Zug-und test-Phasen' batch-Größe ist 1. Ich glaube, ich habe die Größe der Trainings-Bilder, die etwas kleiner und probieren Sie es aus. Aber warum ist 4 GB GPU-Speicher entpuppt sich weniger Speicherplatz? Es sagt The total number of bytes read was 537399810 die viel kleiner sind als 4 GB.
    • ist es möglich, einige andere Prozesse mit GPU gleichzeitig? versuchen Befehlszeile nvidia-smi um zu sehen, was Los ist auf Ihrer GPU.
    • Ich habe. Kein anderer Prozess ausgeführt wird, abgesehen von diesem (welche automatisch beendet nach wenigen Sekunden aufgrund des Fehlers).
    • Ich habe gerade reduziert, das Bild und die Beschriftung Größe bis etwa 256x320. Es läuft erfolgreich. Ich sah es mit rund 3,75 GB GPU-Speicher. Vielen Dank für die Hilfe.
    • Ist es hilfreich, dropout-Ebene, wenn die batch_size ist schon bei 1? @Shai
    • es ist nicht verwandt ist. Sie können hinzufügen, dropout, auch wenn batch_size ist einer, der dropout nicht fallen gesamte Muster, sondern beschneiden einige der output-Neuronen. Sie können eine tatsächliche batch-Größe, die größer als eine mit iter_size. siehe diesen thread.
    • Ok und was ist der übliche Wert für iter_size * batch_size? wie, was sollte der Wert das Ergebnis sein? Gibt es eine Faustregel? @Shai
    • ändern der Größe des Bild half in meinem Fall auch. eine andere Sache, die ich Tat, war, sich zu bewegen, um amazon-p2-gpu-Instanz, die ist teurer, aber kommt mit einem gpu-memory-limit von 12 GB, die sollte gut genug für den fcn.
    • Dies war unabhängig von meiner Frage, aber Ihre Antwort gab mir einen Hinweis, warum war ich running out of memory. Meine test-batch-Größe war größer als meine Ausbildung batch-Größe, so dass die test-batch-Größe kleinere fixed, mein Fehler. Danke Shai!
    • mein Vergnügen!
    • Es gibt zwei Orte, um passen Sie die batch-Größe. Für mich die Anpassung die batch-Größe in der prototxt würde überschrieben werden jedes mal, wenn ich ran examples/ssd/ssd_pascal.py. Es gibt eine Zeile unter die gpus Einleitung ~337 definiert zwei Variablen (batch_size und accum_batch_size). Die Einstellung, die Sie sowohl an den drei fixen mein Problem. Ich war gebunden zu einen max batch_size 4.
    • außerdem läuft auf einer NVIDIA Quadro K620, die 2 GB Speicher.
    • mit SSD ist es ein bisschen anders, da alle prototxt generiert werden, die von python, müssen Sie die python-code.

    InformationsquelleAutor Shai
  2. 2

    Caffe verwenden Sie mehrere GPU ' s. Dies wird nur unterstützt in die C++ - Schnittstelle, nicht in die python ein. Sie könnte auch ermöglichen, cuDNN für einen geringeren memory-footprint.

    https://github.com/BVLC/caffe/blob/master/docs/multigpu.md

    InformationsquelleAutor Simon
Schreibe einen Kommentar