Ich habe eine spark-batch-job ausgeführt wird, von Stunde zu Stunde. Jeder Lauf erzeugt und speichert neue Daten in S3 mit dem directory naming pattern DATA/YEAR=?/MONTH=?/DATE=?/datafile. Nach dem hochladen der Daten zu S3, ich möchte Sie untersuchen mithilfe