Wie man MSCK-REPARATUR-TABELLE ausführen, die automatisch in der AWS-Athena

Ich habe eine spark-batch-job ausgeführt wird, von Stunde zu Stunde. Jeder Lauf erzeugt und speichert neue Daten in S3 mit dem directory naming pattern DATA/YEAR=?/MONTH=?/DATE=?/datafile.

Nach dem hochladen der Daten zu S3, ich möchte Sie untersuchen mithilfe Athena. Mehr möchte ich visualisieren Sie in QuickSight durch die Verbindung zu Athena als Datenquelle.

Das problem ist, dass nach jedem Lauf meine Funke batch, die neu generierten Daten gespeichert S3 nicht erkannt werden, werden von Athena, wenn ich manuell die Abfrage ausführen MSCK REPARI TABLE.

Ist es ein Weg, um Athena zu aktualisieren, die Daten automatisch, so dass ich eine Vollautomatische Daten-Visualisierungs-pipeline?

InformationsquelleAutor YangZhao | 2017-11-29

Schreibe einen Kommentar