Google Colab: gewusst wie: Lesen von Daten aus meinem google-Laufwerk?

Gute Nachricht, PyDrive bietet erstklassige Unterstützung auf CoLab! PyDrive ist ein wrapper für die Google Drive-python-client. Hier ist ein Beispiel, wie würden Sie download ALLE Dateien aus einem Ordner, ähnlich der Verwendung glob + *:

!pip install -U -q PyDrive
import os
from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials

# 1. Authenticate and create the PyDrive client.
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)

# choose a local (colab) directory to store the data.
local_download_path = os.path.expanduser('~/data')
try:
  os.makedirs(local_download_path)
except: pass

# 2. Auto-iterate using the query syntax
#    https://developers.google.com/drive/v2/web/search-parameters
file_list = drive.ListFile(
    {'q': "'1SooKSw8M4ACbznKjnNrYvJ5wxuqJ-YCk' in parents"}).GetList()

for f in file_list:
  # 3. Create & download by id.
  print('title: %s, id: %s' % (f['title'], f['id']))
  fname = os.path.join(local_download_path, f['title'])
  print('downloading to {}'.format(fname))
  f_ = drive.CreateFile({'id': f['id']})
  f_.GetContentFile(fname)


with open(fname, 'r') as f:
  print(f.read())

Beachten Sie, dass die Argumente für drive.ListFile ist ein Wörterbuch, das deckt sich mit dem Parameter, die von Google Drive HTTP-API (Sie können die q parameter optimiert werden, um Ihre use-case).

Wissen, dass in allen Fällen, Dateien/Ordner, die codiert sind durch id ' s (peep die 1SooKSw8M4ACbznKjnNrYvJ5wxuqJ-YCk) auf Google Drive. Dies erfordert, dass Sie Google-Suche Laufwerk für die spezifische id entspricht dem Ordner, den Sie möchten, um Ihre Wurzel suchen.

Beispielsweise, navigieren Sie zu dem Ordner "/projects/my_project/my_data" dass
befindet sich in Ihrem Google Drive.

Sehen, dass es enthält einige Dateien, die wir herunterladen möchten, CoLab. Um die id des Ordners, um es zu verwenden, indem PyDrive, achten Sie auf die url und extrahiert die id-parameter. In diesem Fall wird die entsprechende url zu dem Ordner war:

Wo die id ist der Letzte Teil der url: 1SooKSw8M4ACbznKjnNrYvJ5wxuqJ-YCk.

InformationsquelleAutor wenkesj

Können Sie nicht dauerhaft speichern eine Datei auf colab. Aber Sie können importieren Sie Dateien von Ihrem Laufwerk und jedes mal, wenn Sie fertig sind mit der Datei können Sie speichern Sie es zurück.

Montieren Sie die google drive, um Ihre Colab Sitzung

from google.colab import drive
drive.mount('/content/gdrive')

können Sie einfach schreiben, um google-Laufwerk als würden Sie zu einer lokalen Datei-system
Nun, wenn Sie sehen, Sie Ihr google drive geladen werden, die in der Registerkarte "Dateien". Sie haben nun Zugriff auf eine Datei von Ihrem colab, Sie können schreiben, wie auch Lesen zu können. Die änderungen erfolgen in Echtzeit auf der Festplatte, und jemand, der über den link Zugriff auf Ihre Datei anzeigen, können Sie die änderungen, indem Sie von Ihrem colab.

Beispiel

with open('/content/gdrive/My Drive/filename.txt', 'w') as f:
   f.write('values')

InformationsquelleAutor Himanshu Poddar

Können Sie machen Sie einfach Gebrauch von den code-snippets auf der linken Seite des Bildschirms.
geben Sie eine Bild-Beschreibung hier

Einfügen "Montage von Google Drive in Ihrem VM"

führen Sie den code, und kopieren&fügen Sie den code in der URL

und dann verwenden !ls, überprüfen Sie die Verzeichnisse

!ls /gdrive

den meisten Fällen finden Sie, was Sie wollen, in das Verzeichnis "/gdrive/My drive"

dann können Sie tragen es aus wie diese:

from google.colab import drive
drive.mount('/gdrive')
import glob

file_path = glob.glob("/gdrive/My Drive/***.txt")
for file in file_path:
    do_something(file)

InformationsquelleAutor VGA Lee

@wenkesj

Ich spreche kopieren Sie das Verzeichnis und allen Unterverzeichnissen.

Für mich, ich habe eine Lösung gefunden, die wie folgt aussieht:

def copy_directory(source_id, local_target):
  try:
    os.makedirs(local_target)
  except: 
    pass
  file_list = drive.ListFile(
    {'q': "'{source_id}' in parents".format(source_id=source_id)}).GetList()
  for f in file_list:
    key in ['title', 'id', 'mimeType']]))
    if f["title"].startswith("."):
      continue
    fname = os.path.join(local_target, f['title'])
    if f['mimeType'] == 'application/vnd.google-apps.folder':
      copy_directory(f['id'], fname)
    else:
      f_ = drive.CreateFile({'id': f['id']})
      f_.GetContentFile(fname)

Trotzdem, ich sieht aus wie gDrive nicht gefällt, zu kopieren, zu viel Dateien.

InformationsquelleAutor Scitator