Tag: airflow
Airflow ist ein workflow-management-Plattform, um programmgesteuert Autor, planen und überwachen der workflows als gerichtete azyklische Graphen (DAGs) von Aufgaben.
Luftstrom bekommen Ergebnis nach der Ausführung eines operators
1 Antworten
Habe ich konfiguriert Luftstrom erstellt und einige Dags und subDags, die rufen mehrere Operatoren. Mein Problem ist, dass, wenn ein Betreiber läuft und beendet den job, ich würde gerne die Ergebnisse wieder in einigen python-Struktur. Zum Beispiel:
Welches man wählen, Apache-oder Apache Oozie Luftstrom? Brauche einen Vergleich
1 Antworten
Ich bin neu in job Scheduler und war auf der Suche nach einem für die Ausführung von Aufträgen, die auf big-data-cluster. Ich war ziemlich verwirrt mit den verfügbaren Optionen. Gefunden Oozie zu viele Einschränkungen haben im Vergleich
Planen einer DAG im Luftstrom zu laufen, alle 5 Minuten
2 Antworten
Habe ich ein DAG im Luftstrom und nun läuft es jede Stunde (@stündlich). Ist es möglich, es laufen alle 5 Minuten ? InformationsquelleAutor bsd | 2017-08-15
Luftstrom: dag_id konnte nicht gefunden werden
3 Antworten
Ich bin mit einem Luftstrom-server und-Arbeiter, die auf verschiedenen AWS-Maschinen. Ich habe synchronisiert, dass dags Ordner zwischen Ihnen lief airflow initdb auf beide, und überprüft, dass die dag_id sind die gleichen bei mir laufen airflow list_tasks <dag_id>
DAG nicht sichtbar im Web-UI
3 Antworten
Ich bin neu Airflow. Ich bin nach einem tutorial und folgenden code geschrieben. from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime, timedelta from models.correctness_prediction import CorrectnessPrediction default_args = { 'owner': 'abc', 'depends_on_past': False,
Luftstrom DAG “zu sein scheint, existieren nur lokal. Der master scheduler scheint nicht bewusst zu sein, seine Existenz"
1 Antworten
Ich benutzte Luftstrom für den workflow der Funken Arbeitsplätze. Nach der installation kopiere ich die DAG-Dateien in DAGs Ordner festgelegt, in den Luftstrom.cfg. Ich kann Hinterfüllung der DAG zu führen BashOperators erfolgreich. Aber es gibt immer eine
Status von Luftstrom Aufgabe innerhalb der dag
4 Antworten
Ich brauche den status der Aufgabe, wie wenn es in Betrieb ist oder upforretry oder nicht innerhalb der gleichen dag. So habe ich versucht, bekomme es mit dem code unten, aber ich habe keine Ausgabe... Auto =
airflow pass-parameter von cli
2 Antworten
Gibt es eine Möglichkeit, übergeben Sie einen parameter: airflow trigger_dag dag_name {param} ? Ich habe ein script, das überwacht ein Verzeichnis für Dateien, wenn eine Datei bekommt, verschiebt in das Zielverzeichnis an, ich will zum auslösen der
Wie zu stoppen/töten Luftstrom scheduler gestartet im daemon-Modus
2 Antworten
Ich und neue Luftstrom, und versehentlich gestartet Luftstrom scheduler daemon-mode. Nun, ich möchte töten, der Planer und ggf. neu starten. Ich habe versucht zu tun, sudo kill -9 <list of pids> pkill <name> nichts ist passiert. Wenn
Apache Luftstrom DAG nicht importieren lokale Modul
2 Antworten
Scheine ich nicht zu verstehen, wie Sie import-Module in apache Luftstrom DAG-definition-Datei. Ich würde mir wünschen, dies tun zu können, erstellen Sie eine Bibliothek, die macht das deklarieren von Aufgaben mit ähnlichen Einstellungen weniger ausführlich, zum Beispiel.
Airbnb Airflow system mit allen Ressourcen
4 Antworten
Wir haben Airbnb/Apache Luftstrom für unser ETL-mit LocalExecutor, und als wir begannen, den Bau komplexer DAGs, wir haben bemerkt, dass der Luftstrom hat beginnend mit unglaubliche Mengen von system-Ressourcen. Das ist überraschend für uns, denn wir verwenden
Luftstrom ist fehlgeschlagen slack-Nachricht
3 Antworten
Wie kann ich konfigurieren Sie den Luftstrom so, dass alle Fehler in der DAG wird (sofort) zu einer slack-Nachricht? In diesem moment Schaffe ich es durch die Schaffung eines slack_failed_task: slack_failed_task = SlackAPIPostOperator( task_id='slack_failed', channel="#datalabs", trigger_rule='one_failed', token="...",
Airflow pass-Parameter für abhängige Aufgabe
1 Antworten
Was ist der Weg zum pass parameter zur abhängigen Aufgaben im Luftstrom? Ich habe eine Menge von Klopp Dateien, und ich bin versucht zu migrieren dieser Ansatz Luftstrom, aber ich weiß nicht, wie einige Eigenschaften zwischen den
So installieren Sie den Luftstrom?
10 Antworten
Scheine ich zu tun sth. falsch. https://pythonhosted.org/airflow/start.html $ export AIRFLOW_HOME=~/airflow $ pip install apache-airflow Requirement already satisfied $ airflow initdb airflow: Command not found python --version 2.7.10 Python Es ist seltsam - die installation schien auch geklappt
Luftstrom Parallelität
2 Antworten
den Lokalen Executor erzeugt neue Prozesse und scheduling-Aufgaben. Gibt es eine Begrenzung für die Anzahl der Prozesse, die Sie erstellt. Ich brauchte, um es zu ändern. Ich muss wissen, was ist der Unterschied zwischen scheduler ' s
Dass ein Luftstrom DAG vom terminal nicht funktioniert
4 Antworten
Ich versuche, den Luftstrom zu definieren, die einen bestimmten workflow, ich will manuell auslösen, von der Befehlszeile aus. Ich das erstellen der DAG und das hinzufügen von ein paar Aufgaben. dag = airflow.DAG( "DAG_NAME", start_date=datetime(2015, 1, 1),
Wie legen Sie die Abhängigkeiten zwischen DAGs im Luftstrom?
2 Antworten
Ich bin mit Luftstrom, um batch-jobs planen. Ich habe ein DAG (A), ausgeführt wird und jede Nacht ein anderes DAG (B), der läuft einmal pro Monat. B hängt mit erfolgreich abgeschlossen. Aber B nimmt eine lange Zeit
Wie um zu verhindern, dass den Luftstrom von der Verfüllung dag läuft?
3 Antworten
Sagen, Sie haben ein Luftstrom DAG, das macht keinen Sinn Hinterfüllung, was bedeutet, dass, nachdem es einmal ausgeführt, läuft es spätere Zeiten schnell wäre völlig sinnlos. Zum Beispiel, wenn Sie das laden von Daten von einer Quelle,
Auf die 'ds' - variable airflow
2 Antworten
Ich bin in der Lage, den Zugriff auf die Makros in python-code wie unten: partition_dt = macros.ds_add(ds, 1) Aber ich bin nicht in der Lage, herauszufinden, wie man halt den ds variable selbst, die scheinbar nur zugegriffen
Wie laufen Luftstrom auf Windows
5 Antworten
Den üblichen Anweisungen für die Ausführung des Luftstrom nicht anwenden auf eine Windows-Umgebung: # airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional) export AIRFLOW_HOME=~/airflow
Wie erstellen Sie eine bedingte Aufgabe im Luftstrom
2 Antworten
Ich würde gerne eine bedingte Aufgabe im Luftstrom, wie beschrieben in dem schema unten. Das erwartete Szenario ist das folgende: Aufgabe 1 führt Wenn Task 1 erfolgreich, dann führen Sie Aufgabe 2a Else If Aufgabe 1 ausfällt,
Wie zu verwenden Luftstrom zu führen einen Ordner mit den python-Dateien?
3 Antworten
Habe ich eine Reihe von Python-Aufgaben in einen Ordner von python-Dateien: file1.py, file2.py, ... Lese ich den Luftstrom docs, aber ich sehe nicht, wie man den Ordner angeben und mit dem Namen des python-Dateien in der DAG?
Python-Skript-scheduling im Luftstrom
4 Antworten
Hallo allerseits, Muss ich einen Termin für meine python - Dateien(die Daten-Extraktion aus der sql und einige Verknüpfungen) mittels Luftstrom. Ich habe erfolgreich installiert, die den Luftstrom in meinem linux-server und webserver der Luftstrom ist mit mir.
Wie richte ich den Luftstrom, der E-Mail Konfiguration zum versenden einer E-Mail auf Fehler?
1 Antworten
Ich versuche, mich ein Luftstrom Aufgabe absichtlich scheitern und Fehler aus, indem in einer Bash-Zeile ( thisshouldnotrun ), das funktioniert nicht. Luftstrom ist die Ausgabe folgende: [2017-06-15 17:44:17,869] {bash_operator.py:94} INFO - /tmp/airflowtmpLFTMX7/run_bashm2MEsS: line 7: thisshouldnotrun: command not
Luftstrom nicht scheduling Korrekt Python
2 Antworten
Code: Python-version 2.7.x und Luftstrom version 1.5.1 mein dag-Skript ist dies from airflow import DAG from airflow.operators import BashOperator from datetime import datetime, timedelta default_args = { 'owner': 'xyz', 'depends_on_past': False, 'start_date': datetime(2015,10,13), 'email': ['[email protected]'], 'schedule_interval':timedelta(minutes=5), 'email_on_failure':
So entfernen Sie Standard-Beispiel dags im Luftstrom
1 Antworten
Ich bin ein neuer user von Airbnb open-source-workflow - /datapipeline software Luftstrom. Es gibt Dutzende von Standard-Beispiel dags nach der web-Benutzeroberfläche gestartet wird. Ich habe versucht, viele Möglichkeiten, diese zu entfernen, dags, aber ich habe nicht zu
Einstellung bis s3 für die Protokolle in den Luftstrom
6 Antworten
Ich bin mit docker-verfassen einrichten einer skalierbaren Luftstrom cluster. Ich basiert mein Ansatz, die außerhalb dieser Dockerfile https://hub.docker.com/r/puckel/docker-airflow/ Mein problem ist immer die Protokolle einrichten zu schreiben/Lesen von s3. Wenn einer dag abgeschlossen hat, bekomme ich eine
Fehler beim installieren Förderleistung: standardmäßig eine Luftzirkulation, die Abhängigkeiten installiert eine GPL
8 Antworten
Immer folgende Fehlermeldung nach dem ausführen pip installieren Luftstrom[postgres] Befehl: erhöhen Absturz mit Laufzeitfehler("standardmäßig ein Luftstrom Abhängigkeiten installiert eine GPL " Absturz mit Laufzeitfehler: standardmäßig wird ein Luftstrom Abhängigkeiten installiert eine GPL Abhängigkeit (unidecode). Zur Vermeidung dieser
Luftstrom Aufgaben stecken an in der "Warteschleife" - status und wird nie laufen
4 Antworten
Ich bin mit der Airflow-v1.8.1 und führen Sie alle Komponenten (Arbeiter -, web -, Blumen -, scheduler) auf kubernetes & Andockfenster. Ich verwende Sellerie Testamentsvollstrecker mit Redis und meine Aufgaben sind wie folgt aussieht: (start) -> (do_work_for_product1)
Erfrischend dags ohne web-server apache neu starten Luftstrom
3 Antworten
Gibt es eine Möglichkeit zum erneuten laden des jobs, ohne den server neu starten? InformationsquelleAutor ryudice | 2017-04-25
Ausführung paralleler tasks in Apache Luftstrom
2 Antworten
Ich bin in der Lage zu konfigurieren airflow.cfg - Datei zum ausführen von Aufgaben eine nach der anderen. Was ich will zu tun ist, die Ausführung von Aufgaben in parallel, z.B. 2 gleichzeitig und erreichen das Ende
Wie, um korrekt zu arbeiten Luftstrom schedule_interval
3 Antworten
Möchte ich versuchen, den Luftstrom anstelle von Cron. Aber schedule_interval nicht funktioniert, als ich erwartet hatte. Schrieb ich den python-code wie unten gezeigt. Und in meinem Verständnis, Airflow haben sollte, lief auf "2016/03/30 8:15:00" aber es hat
Luftstrom - Wie gehen xcom-variable in Python-Funktion
3 Antworten
Brauche ich zum Verweis auf eine variable, die zurückgegeben wird, indem ein BashOperator. Ich kann tun, falsch ist, so bitte vergib mir. In meinem task_archive_s3_file, die ich brauche, um die mit dem Namen von get_s3_file. Die Aufgabe
Luftstrom - Python-Datei NICHT in der gleichen DAG-Ordner
4 Antworten
Ich versuche, mit Luftstrom, der die Ausführung einer einfachen Aufgabe python. from __future__ import print_function from airflow.operators.python_operator import PythonOperator from airflow.models import DAG from datetime import datetime, timedelta from pprint import pprint seven_days_ago = datetime.combine(datetime.today() - timedelta(7),
Wie zu verwenden Luftstrom ausführen, um eine Liste der python-Aufgaben?
3 Antworten
Habe ich eine Reihe von Python-Aufgaben innerhalb einer serie von python-Dateien: file1.py,..... setzen Sie in einen Ordner. Las ich den doc von Luftstrom und nicht sehen, wie Sie den Ordner angeben und mit dem Namen des python-Dateien
Wie Führen Sie eine Einfache Luftstrom DAG
2 Antworten
Bin ich Total neu auf den Luftstrom. Ich würde gerne einen einfachen DAG an einem bestimmten Datum. Ich bin kämpfen, um den Unterschied zwischen dem Startdatum, das Ausführungsdatum, und Verfüllung. Und was ist der Befehl zum ausführen
Luftstrom 1.9.0 ist queuing aber nicht starten Aufgaben
2 Antworten
Luftstrom ist nicht zufällig läuft in der Warteschlange-Aufgaben einige Aufgaben gar nicht bekommen in der Warteschlange Stand. Ich sehe immer unten in der scheduler-logs [2018-02-28 02:24:58,780] {jobs.py:1077} INFO - No tasks to consider for execution. Sehe ich
Luftstrom Hinterfüllung Klärung
3 Antworten
Ich fange gerade mit Airbnb ist Luftstrom, und ich bin mir immer noch nicht klar, wie/Wann die Verfüllung erfolgt. Konkret gibt es 2 Anwendungsfälle, die verwirren mich: Wenn ich airflow scheduler für ein paar Minuten, es zu
konfigurieren der Luftstrom, der die Arbeit mit CeleryExecutor
3 Antworten
Ich versuche zu konfigurieren Airbnb Luftstrom zu verwenden, die CeleryExecutor wie diese: Änderte ich die executer im Luftstrom.cfg von SequentialExecutor zu CeleryExecutor: # The executor class that airflow should use. Choices include # SequentialExecutor, LocalExecutor, CeleryExecutor executor
Wie zum ausführen von bash-Skript-Datei im Luftstrom
1 Antworten
Habe ich ein bash-script, das eine Datei erstellt (wenn es nicht vorhanden ist), die ich ausführen möchten, in den Luftstrom, aber wenn ich versuche, es scheitert. Wie mache ich das? #!/bin/bash #create_file.sh file=filename.txt if [ ! -e
Luftstrom mit Hilfe von template-Dateien für PythonOperator
4 Antworten
Die Methode des Erhaltens eine BashOperator oder SqlOperator zu Holen, eine externe Datei für die Vorlage wird etwas klar dokumentiert, aber ein Blick auf die PythonOperator meinem test, was ich verstehe, aus der Dokumentation funktioniert nicht. Ich
Wie laufen Spark-code in den Luftstrom?
3 Antworten
Hallo Menschen auf der Erde! Ich bin mit Luftstrom, planen und ausführen von Spark Aufgaben. Alle fand ich durch diese Zeit ist python-DAGs, die den Luftstrom verwalten kann. DAG Beispiel: spark_count_lines.py import logging from airflow import DAG
Luftstrom s3 Verbindung mit dem UI
7 Antworten
Ich versucht habe zu verwenden, den Luftstrom zu planen, DAG. Einer der DAG beinhaltet eine Aufgabe, die lädt die Daten aus dem s3-bucket. Für den Zweck über, die ich brauche, um das setup-s3-Verbindung. Aber UI-zur Verfügung gestellt
Airbnb Luftstrom vs Apache Nifi
1 Antworten
Sind Luftstrom und Nifi die die gleiche Arbeit verrichten, die workflows? Was sind die pro/con für jeden? Ich brauche zum Lesen von json-Dateien, fügen Sie benutzerdefinierte Metadaten zu es und steckte es in einen Kafka-Warteschlange verarbeitet werden.
Luftstrom dynamische DAG und Task-Ids
2 Antworten
Ich meist sehen Luftstrom verwendet wird, der für ETL - /Angebotsdaten die damit verbundenen Arbeitsplätze. Ich bin versucht, es zu benutzen für business-workflows, wobei eine Benutzeraktion löst eine Reihe von abhängigen Aufgaben in der Zukunft. Einige dieser
Wie kann ich neu starten Luftstrom webserver?
6 Antworten
Ich bin mit Luftzirkulation für meine Daten-pipeline-Projekt. Ich so konfiguriert haben, dass mein Projekt im Luftstrom und starten Sie den Luftstrom server als backend-Prozess mit dem folgenden Befehl aiflow webserver -p 8080 -D True Server läuft erfolgreich
Airflow: Wie lösche ich eine DAG?
10 Antworten
Habe ich begonnen, den Luftstrom webserver und geplant einige dags. Ich kann sehen, das die dags, die auf web-GUI. Wie lösche ich eine bestimmte DAG ausgeführt und gezeigt, in der web-GUI? Gibt es einen Luftstrom CLI-Befehl zu
Ausführungsdatum im Luftstrom: müssen als Variable zugreifen
5 Antworten
Ich bin wirklich ein Neuling in diesem forum. Aber ich Spiele mit Luftstrom, für irgendwann, für unser Unternehmen. Sorry, wenn diese Frage klingt echt blöd. Ich Schreibe eine Rohrleitung mit Bund BashOperators. Grundsätzlich wird für jede Aufgabe,