Python-GAE - Wie um zu überprüfen, ob Datei existiert im Google cloud-Speicher

Ich habe ein Skript, wo ich will, um zu überprüfen, ob eine Datei existiert, in einen Eimer und wenn nicht dann erstellen.

Versuchte ich mit os.path.exists(file_path) wo file_path = "/gs/testbucket". Aber ich bekomme ein file not found error.

Ich weiß, dass ich das files.listdir() - API-Funktion, um eine Liste der Dateien, die sich auf einem Pfad und dann prüfen, ob die Datei, die ich will, ist einer von Ihnen. Aber ich Frage mich, ob es einen anderen Weg, um zu überprüfen, ob die Datei vorhanden ist.

+1 lief in dieser selbst. Wir schließlich aufgewickelt tun einem HTTP-KOPF auf die öffentliche Adresse der Datei, aber das ist nicht eine Allgemeine Lösung.

InformationsquelleAutor Tanvir Shaikh | 2012-11-23

11

Dieser Beitrag ist alt, Sie kann jetzt eigentlich überprüfen, ob eine Datei vorhanden ist GCP mit der blob-Klasse, aber weil es dauerte eine Weile, um eine Antwort zu finden, hinzufügen hier für die anderen, die auf der Suche nach einer Lösung
```
from google.cloud import storage

name = 'file_i_want_to_check.txt'   
storage_client = storage.Client()
bucket_name = 'my_bucket_name'
bucket = storage_client.bucket(bucket_name)
stats = storage.Blob(bucket=bucket, name=name).exists(storage_client)
```
Dokumentation ist hier

Hoffe, das hilft!
- Obige Lösung funktioniert nicht, wenn Datei existiert in einem Ordner im google cloud-Speicher und nicht im root-Verzeichnis des cloud-Speichers, dies anstelle stats = storage.Blob(bucket=bucket, name="folder_1/another_folder_2/your_file.txt").exists(storage_client)
InformationsquelleAutor nickthefreak

Es ist so einfach wie das verwenden der exists-Methode in ein blob-Objekt:

from google.cloud import storage

def blob_exists(projectname, credentials, bucket_name, filename):
   client = storage.Client(projectname, credentials=credentials)
   bucket = client.get_bucket(bucket_name)
   blob = bucket.blob(filename)
   return blob.exists()

InformationsquelleAutor javinievas

Können Sie die stat-Funktion, um eine Datei-info. Dies wird in der Praxis machen einen HEAD-request an die google-cloud-Speicher statt einer BEKOMMEN, der ein bisschen weniger ressourcenintensiv.

import cloudstorage as gcs
# return stat if there is one, else None or false. A stat record should be truthy
def is_file_available(filepath):

  try:
    return gcs.stat(filepath)
  except gcs_errors.NotFoundError as e:
    return False

InformationsquelleAutor Mark

Leichte variation auf Amit die Antwort von vor ein paar Jahren, aktualisiert werden, damit der cloudstorage-api.

import cloudstorage as gcs

def GCSExists(gcs_file):
    '''
    True if file exists; pass complete /bucket/file
    '''
    try:
        file = gcs.open(gcs_file,'r')
        file.close()
        status = True
    except:
        status = False
    return status

InformationsquelleAutor Matthew Dunn

0

Ich denke, es gibt keine Funktion prüfen Sie direkt, ob die Datei vorhanden ist, gegeben, seinen Pfad.

Habe ich eine Funktion verwendet, die die files.listdir() - API-Funktion, um eine Liste aller Dateien im Eimer und das match gegen den Namen der Datei, die wir wollen. Es gibt true zurück, wenn gefunden, und false, wenn nicht.

InformationsquelleAutor Tanvir Shaikh
0

Können Sie benutzerdefinierte Funktion (siehe unten), um zu überprüfen Datei vorhanden ist oder nicht
```
def is_file_available(filepath):
 #check if the file is available
 fileavability = 'yes';
 try: 
  fp = files.open(filepath, 'r')
  fp.close()
 except Exception,e:
  fileavability = 'no'
 return fileavability 
```
die oben genannten Funktion in folgender Weise
```
 filepath = '/gs/test/testme.txt'
 fileavability = is_file_available(filepath)
```
Hinweis: in der oben genannten Funktion erhalten Sie möglicherweise auch die Folge als 'Nein', wenn die Berechtigung "Lesen" nicht gegeben, um die Anwendung, die versucht, die Datei zu Lesen.

InformationsquelleAutor Amit Vikram

Ja! Es posible! aus diesem

Und das ist mein code:

def get_by_signed_url(self, object_name, bucket_name=GCLOUD_BUCKET_NAME):
    bucket = self.client_storage.bucket(bucket_name)
    blob = bucket.blob(object_name)

    #this is check if file exist or not
    stats = blob.exists(self.client_storage)
    if not stats:
        raise NotFound(messages.ERROR_NOT_FOUND)

    url_lifetime = self.expiration  # Seconds in an hour
    serving_url = blob.generate_signed_url(url_lifetime)
    return self.session.get(serving_url)

Wenn es eine Datei in den Eimer, das gibt immer 'False' für mich.
mir nicht. Wenn die Datei vorhanden gcs wird die return url der Datei. Vielleicht deine url ist falsch?

InformationsquelleAutor Ardi Nusawan

Die Datei, die ich Suche, die auf google cloud-Speicher: init.sh

Vollständiger Pfad: gs://cw-data/spark_app_code/init.sh

>>> from google.cloud import storage

>>> def is_exist(bucket_name,object):
...     client = storage.Client()
...     bucket = client.bucket(bucket_name)
...     blob = bucket.get_blob(object)
...     try:
...             return blob.exists(client)
...     except:
...             return False
...
>>> is_exist('cw-data','spark_app_code')
    False
>>> is_exist('cw-data','spark_app_code/')
    True
>>> is_exist('cw-data','init.sh')
    False
>>> is_exist('cw-data','spark_app_code/init.sh')
    True
>>> is_exist('cw-data','/init.sh')
    False
>>>

Hier, die Dateien werden nicht gespeichert, in der Sie gespeichert sind, auf lokale Dateisysteme, sondern Sie gespeichert sind, als Schlüssel. Also, während der Suche die Datei auf google-storage absoluten Pfad anstatt nur den Dateinamen.

InformationsquelleAutor Ajit K'sagar

0

Wenn Sie arbeiten mit gcs-Dateien auf einem Dienst wie ml-engine, verwenden Sie tensorflow um zu überprüfen, ob eine Datei vorhanden ist oder nicht:
```
import tensorflow as tf
file_exists = tf.gfile.Exists('gs://your-bucket-name/your-file.txt')
```
InformationsquelleAutor Tobias Ernst

Wenn Sie auf der Suche nach einer Lösung in NodeJS, dann hier ist es:

var storage = require('@google-cloud/storage')();
var myBucket = storage.bucket('my-bucket');

var file = myBucket.file('my-file');

file.exists(function(err, exists) {});

// If the callback is omitted, then this function return a Promise.
file.exists().then(function(data) {
  var exists = data[0];
});

Wenn Sie weitere Hilfe benötigen, finden Sie in diesem Dokument:
https://cloud.google.com/nodejs/docs/reference/storage/1.5.x/File#exists

InformationsquelleAutor Akash Kaushik

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.