Google Colaboratory: irreführende Informationen über seine GPU (nur 5% RAM verfügbar für einige Benutzer)

Lesen mehrere aufgeregt Ankündigungen über Google Colaboratory die Kostenlose Tesla K80 GPU, ich habe versucht zu laufen, schnell.ai Lektion, die es für ihn nie abgeschlossen werden - schnell der Speicherplatz aus. Ich begann zu untersuchen, warum.

Die Quintessenz ist, dass "freie Tesla K80" ist nicht "frei" für alle - für manche nur ein kleines Stück von ihm ist "frei".

Ich eine Verbindung zu Google Colab von der Westküste Kanadas, und ich bekomme nur 0,5 GB, was soll ein 24 GB GPU-RAM. Andere Benutzer erhalten Sie Zugang zu 11 GB GPU-RAM.

Klar 0,5 GB GPU-RAM reicht für die meisten ML/DL Arbeit.

Wenn Sie nicht sicher sind, was Sie erhalten, hier ist die kleine debug-Funktion, die ich zusammengekratzt:

# memory footprint support libraries/code
!ln -sf /opt/bin/nvidia-smi /usr/bin/nvidia-smi
!pip install gputil
!pip install psutil
!pip install humanize
import psutil
import humanize
import os
import GPUtil as GPU
GPUs = GPU.getGPUs()
# XXX: only one GPU on Colab and isn’t guaranteed
gpu = GPUs[0]
def printm():
 process = psutil.Process(os.getpid())
 print("Gen RAM Free: " + humanize.naturalsize( psutil.virtual_memory().available ), " | Proc size: " + humanize.naturalsize( process.memory_info().rss))
 print("GPU RAM Free: {0:.0f}MB | Used: {1:.0f}MB | Util {2:3.0f}% | Total {3:.0f}MB".format(gpu.memoryFree, gpu.memoryUsed, gpu.memoryUtil*100, gpu.memoryTotal))
printm()

Ausführung in einem jupyter notebook vor dem ausführen von anderem code gibt mir:

Gen RAM Free: 11.6 GB  | Proc size: 666.0 MB
GPU RAM Free: 566MB | Used: 10873MB | Util  95% | Total 11439MB

Den glücklichen Benutzer, die Zugriff auf die vollständige Karte sehen:

Gen RAM Free: 11.6 GB  | Proc size: 666.0 MB
GPU RAM Free: 11439MB | Used: 0MB | Util  0% | Total 11439MB

Sehen Sie irgendwelche Fehler in meiner Berechnung von der GPU-RAM-Verfügbarkeit, geliehen von GPUtil?

Können Sie bestätigen, dass Sie ähnliche Ergebnisse erhalten, wenn Sie diesen code ausführen auf Google Colab notebook?

Wenn meine Berechnungen richtig sind, gibt es eine Möglichkeit, um mehr GPU-RAM auf dem freien Feld?

update: ich bin mir nicht sicher, warum einige von uns bekommen 1/20 von dem, was andere Benutzer erhalten. z.B. die person, die mir half, mich zu Debuggen, das ist aus Indien, und er bekommt die ganze Sache!

Hinweis: bitte don ' T senden Sie weitere Vorschläge, wie zu töten, der potentiell stuck/runaway/parallel-notebooks, die möglicherweise verbrauchen Teile der GPU. Egal wie Sie Scheibe es, wenn Sie im gleichen Boot wie ich und waren, die zum ausführen der debug-code, den Sie würde sehen, dass Sie immer noch eine Summe von 5% des GPU-RAM (als dieser noch aktualisiert werden).

InformationsquelleAutor der Frage stason | 2018-02-12

Schreibe einen Kommentar