Wie zum Hochladen von Vielen Dateien auf Google Colab?
Arbeite ich an Bild-Segmentierung machine-learning-Projekt und ich möchte es zu testen auf Google Colab.
Für die Trainings-dataset, ich habe 700 Bilder, meist 256x256
, dass ich den upload in ein python-numpy-array für mein Projekt. Ich habe auch Tausende von entsprechenden Maske-Dateien hochladen. Sie existieren derzeit in einer Vielzahl von Unterordnern, die auf Google drive, aber nicht in der Lage gewesen, um das hochladen zu Google Colab für die Verwendung in meinem Projekt.
Bisher habe ich versucht über die Google-Sicherung, die scheint, haben einen sehr langsamen upload-Geschwindigkeiten und PyDrive, die hat mir gegeben, eine Vielzahl von Authentifizierungs-Fehler. Ich habe mit dem Google Colab-I/O-Beispiel-code für die meisten Teil.
Wie sollte ich dies angehen? Würde PyDrive der Weg zu gehen? Gibt es code irgendwo hochladen einer Ordnerstruktur oder viele Dateien auf einmal?
Du musst angemeldet sein, um einen Kommentar abzugeben.
Können Sie alle Ihre Daten in Ihrem google-Laufwerk und anschließend Laufwerk. Dies ist, wie ich es getan haben. Lassen Sie mich erklären, in Schritten.
Schritt 1:
Übertragen Sie Ihre Daten in Ihrem google drive.
Schritt 2:
Führen Sie den folgenden code zu montieren, die Sie in google drive.
Schritt 3:
Führen Sie die folgende Zeile zu überprüfen, ob Sie können sehen Sie Ihre gewünschten Daten in die bereitgestellte Laufwerk.
Schritt 4:
Laden Sie jetzt Ihre Daten in numpy-array wie folgt. Ich hatte meine exel-Dateien mit meinen Zug-und cv-und test-Daten.
Ich hoffe, Sie können helfen.
Bearbeiten
Zum herunterladen der Daten in das Laufwerk ein, von der colab notebook-Umgebung, können Sie den folgenden code ausführen.
AD5F235DF639B041
oder so etwas wie dieser Schlüssel erscheint in der Dritten Zeile, wenn man den ersten Teil des Codes habe ich bereits erwähnt.Hier sind einige Schritte zum hochladen von großen Datensatz, um Google Colab
1.Laden Sie Ihre datasets für kostenlosen cloud-Speicher wie dropbox, openload, etc.(Ich habe dropbox)
2.Erstellen Sie ein shareable link zu Ihrer hochgeladenen Datei, und kopieren Sie es.
3.Öffnen Sie Ihr notebook in Google Colab und führen Sie diesen Befehl in einer Zelle:
Das ist es!
Sie können komprimieren Sie Ihre datasets in zip-oder rar-Datei und später unizp es nach dem Download in Google Colab mit diesem Befehl:
git clone [YOUR_REPO]
Zip-Datei zuerst, dann laden Sie Sie auf Google Drive.
Sehen Sie einfach den folgenden Befehl entpacken:
Beispiel:
Möchten Sie vielleicht, um zu versuchen, die
kaggle-cli
Modul, wie bereits hier