BigQuery exportieren der Daten in CSV ohne Verwendung von Google Cloud Storage

Ich bin derzeit am schreiben einer software zu exportieren große Mengen von BigQuery-Daten und speichern der abgefragten Ergebnisse lokal als CSV-Dateien. Früher habe ich Python 3 und den client von google. Ich habe die Konfiguration und Authentifizierung, aber das problem ist, dass ich kann nicht speichern Sie die Daten lokal. Jedesmal, wenn ich ausführen, bekomme ich folgende Fehlermeldung:

googleapiclient.Fehler.HttpError: https://www.googleapis.com/bigquery/v2/projects/round-office-769/jobs?alt=json zurückgegeben "Ungültige Ziel-URI extrahieren 'Antwort/Datei-name-*.csv'. Muss ein gültiges Google-Speicher-Pfad.">

Das ist mein Job-Konfiguration:

def export_table(service, cloud_storage_path,
             projectId, datasetId, tableId, sqlQuery,
             export_format="CSV",
             num_retries=5):

# Generate a unique job_id so retries
# don't accidentally duplicate export
job_data = {
    'jobReference': {
        'projectId': projectId,
        'jobId': str(uuid.uuid4())
    },
    'configuration': {
        'extract': {
            'sourceTable': {
                'projectId': projectId,
                'datasetId': datasetId,
                'tableId': tableId,
            },
            'destinationUris': ['response/file-name-*.csv'],
            'destinationFormat': export_format
        },
        'query': {
            'query': sqlQuery,
        }
    }
}
return service.jobs().insert(
    projectId=projectId,
    body=job_data).execute(num_retries=num_retries)

Ich hoffte, ich könnte einfach einen lokalen Pfad statt einem cloud-Speicher, um Daten zu speichern, aber ich war falsch.

Also meine Frage ist:

Kann ich laden Sie die abgefragten Daten lokal(oder auf eine lokale Datenbank) oder muss ich für die Nutzung von Google Cloud Storage?

InformationsquelleAutor mkjoerg | 2015-07-27
  1. 9

    Müssen Sie die Verwendung von Google Cloud Storage für Ihr export-job. Exportieren von Daten aus BigQuery erklärt hier, überprüfen Sie auch die Varianten für die verschiedenen Pfad-Syntaxen.

    Dann können Sie die Dateien herunterzuladen, die von GCS zu Ihrem lokalen Speicher.

    Gsutil - tool hilft Ihnen weiter, um die Datei herunterzuladen von GCS auf der lokalen Maschine.

    Können Sie Sie herunterladen mit einem lokal bewegen, müssen Sie zuerst einen export zu GCS, als zur übertragung zu lokalen Maschine.

    • Es gibt also keinen anderen Weg, um die Daten herunterzuladen? Ich Frage, weil ich im moment nicht verwenden des cloud-Speicher, weil die nicht aktiv und ich habe nicht die Erlaubnis, Sie zu aktivieren.
    • Nein gibt es nicht.
    • Ok danke für die schnellen replys.
    InformationsquelleAutor Pentium10
  2. 5

    Können Sie alle Daten direkt (ohne routing durch Google Cloud Storage) mit der paging-Mechanismus. Im Grunde benötigen Sie zum generieren einer page-token für jede Seite, download der Daten in die Seite und wiederholen Sie dies, bis alle Daten heruntergeladen wurden, d.h. keine weitere tokens verfügbar sind. Hier ist ein Beispiel code in Java, die hoffentlich verdeutlicht die Idee:

    import com.google.api.client.googleapis.auth.oauth2.GoogleCredential;
import com.google.api.client.googleapis.javanet.GoogleNetHttpTransport;
import com.google.api.client.http.HttpTransport;
import com.google.api.client.json.JsonFactory;
import com.google.api.client.json.JsonFactory;
import com.google.api.client.json.jackson2.JacksonFactory;
import com.google.api.services.bigquery.Bigquery;
import com.google.api.services.bigquery.BigqueryScopes;
import com.google.api.client.util.Data;
import com.google.api.services.bigquery.model.*;

/* your class starts here */

private String projectId = ""; /* fill in the project id here */
private String query = ""; /* enter your query here */
private Bigquery bigQuery;
private Job insert;
private TableDataList tableDataList;
private Iterator<TableRow> rowsIterator;
private List<TableRow> rows;
private long maxResults = 100000L; /* max number of rows in a page */

/* run query */
public void open() throws Exception {
    HttpTransport transport = GoogleNetHttpTransport.newTrustedTransport();
    JsonFactory jsonFactory = new JacksonFactory();
    GoogleCredential credential = GoogleCredential.getApplicationDefault(transport, jsonFactory);
    if (credential.createScopedRequired())
        credential = credential.createScoped(BigqueryScopes.all());
    bigQuery = new Bigquery.Builder(transport, jsonFactory, credential).setApplicationName("my app").build();

    JobConfigurationQuery queryConfig = new JobConfigurationQuery().setQuery(query);
    JobConfiguration jobConfig = new JobConfiguration().setQuery(queryConfig);
    Job job = new Job().setConfiguration(jobConfig);
    insert = bigQuery.jobs().insert(projectId, job).execute();
    JobReference jobReference = insert.getJobReference();

    while (true) {
        Job poll = bigQuery.jobs().get(projectId, jobReference.getJobId()).execute();
        String state = poll.getStatus().getState();
        if ("DONE".equals(state)) {
            ErrorProto errorResult = poll.getStatus().getErrorResult();
            if (errorResult != null)
                throw new Exception("Error running job: " + poll.getStatus().getErrors().get(0));
            break;
        }
        Thread.sleep(10000);
    }

    tableDataList = getPage();
    rows = tableDataList.getRows();
    rowsIterator = rows != null ? rows.iterator() : null;
}

/* read data row by row */
public /* your data object here */ read() throws Exception {
    if (rowsIterator == null) return null;

    if (!rowsIterator.hasNext()) {
        String pageToken = tableDataList.getPageToken();
        if (pageToken == null) return null;
        tableDataList = getPage(pageToken);
        rows = tableDataList.getRows();
        if (rows == null) return null;
        rowsIterator = rows.iterator();
    }

    TableRow row = rowsIterator.next();
    for (TableCell cell : row.getF()) {
        Object value = cell.getV();
        /* extract the data here */
    }

    /* return the data */
}

private TableDataList getPage() throws IOException {
    return getPage(null);
}

private TableDataList getPage(String pageToken) throws IOException {
    TableReference sourceTable = insert
            .getConfiguration()
            .getQuery()
            .getDestinationTable();
    if (sourceTable == null)
        throw new IllegalArgumentException("Source table not available. Please check the query syntax.");
    return bigQuery.tabledata()
            .list(projectId, sourceTable.getDatasetId(), sourceTable.getTableId())
            .setPageToken(pageToken)
            .setMaxResults(maxResults)
            .execute();
}
    • Beachten Sie, dass beim Export über diesen Mechanismus ist ziemlich langsam - 1M Zeilen pro minute! Meine Netzwerk-download-Geschwindigkeit wurde über 120 Mbps und es waren nur eine Handvoll der Spalten pro Zeile.
    InformationsquelleAutor jvj
  3. 2

    Können Sie ein tabledata.list () - operation auf der Tabelle, und legen Sie "alt=csv", die zurückkehren wird der Anfang der Tabelle als CSV-Datei.

    InformationsquelleAutor yiru
  4. 0

    Einen anderen Weg, dies zu tun ist von der Benutzeroberfläche, nachdem die Ergebnisse der Abfrage zurückgegeben haben, können Sie die Option "Download as CSV" - Taste.BigQuery exportieren der Daten in CSV ohne Verwendung von Google Cloud Storage

    InformationsquelleAutor Victor Mota
  5. 0

    Wenn Sie installieren Sie Google BigQuery API und pandas und pandas.io, die Sie ausführen können, Python innerhalb eines Jupyter Notizbuch, die Abfrage der BQ-Tabelle und die Daten in eine lokale dataframe. Von dort aus können Sie es schreiben in CSV.

    InformationsquelleAutor Mark Ginsburg
Schreibe einen Kommentar