Wie richte ich den Luftstrom, der E-Mail Konfiguration zum versenden einer E-Mail auf Fehler?

Ich versuche, mich ein Luftstrom Aufgabe absichtlich scheitern und Fehler aus, indem in einer Bash-Zeile ( thisshouldnotrun ), das funktioniert nicht. Luftstrom ist die Ausgabe folgende:

[2017-06-15 17:44:17,869] {bash_operator.py:94} INFO - /tmp/airflowtmpLFTMX7/run_bashm2MEsS: line 7: thisshouldnotrun: command not found
[2017-06-15 17:44:17,869] {bash_operator.py:97} INFO - Command exited with return code 127
[2017-06-15 17:44:17,869] {models.py:1417} ERROR - Bash command failed
Traceback (most recent call last):
  File "/home/ubuntu/.local/lib/python2.7/site-packages/airflow/models.py", line 1374, in run
    result = task_copy.execute(context=context)
  File "/home/ubuntu/.local/lib/python2.7/site-packages/airflow/operators/bash_operator.py", line 100, in execute
    raise AirflowException("Bash command failed")
AirflowException: Bash command failed
[2017-06-15 17:44:17,871] {models.py:1433} INFO - Marking task as UP_FOR_RETRY
[2017-06-15 17:44:17,878] {models.py:1462} ERROR - Bash command failed
Traceback (most recent call last):
  File "/home/ubuntu/.local/bin/airflow", line 28, in <module>
    args.func(args)
  File "/home/ubuntu/.local/lib/python2.7/site-packages/airflow/bin/cli.py", line 585, in test
    ti.run(ignore_task_deps=True, ignore_ti_state=True, test_mode=True)
  File "/home/ubuntu/.local/lib/python2.7/site-packages/airflow/utils/db.py", line 53, in wrapper
    result = func(*args, **kwargs)
  File "/home/ubuntu/.local/lib/python2.7/site-packages/airflow/models.py", line 1374, in run
    result = task_copy.execute(context=context)
  File "/home/ubuntu/.local/lib/python2.7/site-packages/airflow/operators/bash_operator.py", line 100, in execute
    raise AirflowException("Bash command failed")
airflow.exceptions.AirflowException: Bash command failed

Wird der Luftstrom senden Sie eine E-Mail für diese Art von Fehler? Wenn nicht, was wäre der beste Weg, um senden Sie eine E-Mail für diese Fehler?

Ich bin mir auch nicht sicher, ob airflow.cfg setup korrekt ist... Da das ultimative Ziel ist der test der E-Mail-Benachrichtigungen Benachrichtigung, möchte ich sicherstellen, dass Luftzirkulation.cfg-setup korrekt ist. Hier ist das setup:

[email]
email_backend = airflow.utils.email.send_email_smtp


[smtp]
# If you want airflow to send emails on retries, failure, and you want to use
# the airflow.utils.email.send_email_smtp function, you have to configure an
# smtp server here
smtp_host = emailsmtpserver.region.amazonaws.com 
smtp_starttls = True
smtp_ssl = False
# Uncomment and set the user/pass settings if you want to use SMTP AUTH
# smtp_user = airflow_data_user
# smtp_password = password
smtp_port = 587 
smtp_mail_from = airflow_data_user@domain.com

Was ist smtp_starttls? Ich finde keine info für Sie in der Dokumentation oder der online. Wenn wir 2-Faktor-Authentifizierung benötigt, um E-Mails anzeigen, wird das auch ein Problem sein, hier für Luftzirkulation?

Hier ist mein Bash-Befehl:

task1_bash_command = """
export PATH=/home/ubuntu/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin
export rundate=`TZ='America/Los_Angeles' date +%F -d "yesterday"`
export AWS_CONFIG_FILE="/home/ubuntu/.aws/config"

/home/ubuntu/bin/snowsql -f //home/ubuntu/sql/script.sql 1> /home/ubuntu/logs/"$rundate"_dev.log 2> /home/ubuntu/logs/"$rundate"_error_dev.log

if [ -e /home/ubuntu/logs/"$rundate"_error_dev.log ]
then
    exit 64
fi

Und meine Aufgabe:

task1 = BashOperator(
    task_id = 'run_bash',
    bash_command = task1_bash_command,
    dag = dag,
    retries = 2,
    email_on_failure = True,
    email = '[email protected]')
InformationsquelleAutor simplycoding | 2017-06-15
  1. 6

    smtp_starttls im Grunde bedeutet, dass die Verwendung TLS

    Setzen Sie diese auf False - und set - smtp_ssl zu True wenn Sie SSL benutzen wollen, statt. Sie müssen wahrscheinlich smtp_user und smtp_password für entweder.

    Luftstrom wird nicht mit 2 Schritt-Authentifizierung. Allerdings ist Sie AWS verwenden, die Sie wahrscheinlich nicht brauchen es als Ihre SMTP (SES) - Anmeldeinformationen unterscheiden sich von Ihrer AWS-Anmeldeinformationen.

    Sehen hier.

    BEARBEITEN:
    Für den Luftstrom eine E-Mail senden bei Fehler, es gibt ein paar Dinge, die eingestellt werden müssen, um sich auf Ihre Aufgabe, email_on_failure und email.

    Siehe hier zum Beispiel:

    def throw_error(**context):
    raise ValueError('Intentionally throwing an error to send an email.')



t1 = PythonOperator(task_id='throw_error_and_email',
                    python_callable=throw_error,
                    provide_context=True,
                    email_on_failure=True,
                    email='[email protected]',
                    dag=dag)
    • Vielen Dank für die Klarstellung. Ich bin immer noch versuchen zu verstehen, welche Arten von Fehlern Luftstrom wird oder nicht fangen - ist mein Beispiel aus dem Luftstrom in den Anwendungsbereich?
    • Sollte es zu fangen jede Aufgabe zu scheitern, aber Sie haben, um zu definieren, Ihre Aufgabe in einer bestimmten Art und Weise. Bitte siehe mein edit meine Antwort für ein Beispiel.
    • Ja, ich denke mein problem ist der Versuch zu machen Bash einen Fehler auslösen, so dass nichts den Luftstrom Verwandte
    • wissen Sie, was den Luftstrom hält die Bash Fehler? Wenn ich rufe, dass thisshouldnotrun Befehl, gibt das system eine 127 Fehler, wie erwartet, die aber den Luftstrom nicht scheint, nehmen Sie es als ein Fehler. Es schadet auch nicht, wiederholen Sie die Aufgabe. Jede Idee, wie Sie werfen eine voll Fehler???
    • Was ist der status der Aufgabe, wenn es abgeschlossen ist? Ein bash-Befehl, der soll das tun, was Sie wollen würde: exit 1
    • Recht, ist es normal für die Bash weiter durch die Befehle trotz Fehlern? Es scheint zu erkennen, dass thisshouldnotrun ist kein Gültiger Befehl, aber es geht weiter in die nächste Zeile, also kein Fehler zu sein scheint, geworfen. Zwischenfrage - wäre die E-Mail-Benachrichtigungen gehen heraus beim laufen airflow test?
    • Ich glaube, ich habe meine E-Mail-Einstellungen und die airflow.cfg setup falsch, oder airflow test keine E-Mail bei Fehler
    • Es sollte halt auf einen Fehler und nicht die Aufgabe, in der der Fehler aufgetreten ist. Vielleicht posten einige Ihre dag-definitions-Datei für die Klarheit, aber es sollte scheitern, BashOperator mindestens die bei der Ausführung der dag. Nicht sicher über den Luftstrom.test. Wenn eine Aufgabe fehlschlägt und Sie es einrichten, um E-Mail, es sollte sich ein Fehler in die log-Datei, wenn es versucht zu senden eine E-mail-und scheiterte.
    • Ich habe meine bash-code, da bin ich noch Probleme, und ich denke, unsere E-Mail-smtp-Konfigurationen der Installation als gut. Wenn ich den dag, ich sehe Luftstrom Starting attempt 1 of 3, fangen die exit 64, und Fehler bei der Ausgabe, die Ende mit Bash command failed. Gedanken?
    • Es ist noch kein Versand der E-Mail eigentlich? Es sollte sich ein Fehler in das gleiche Protokoll darüber, warum es konnte nicht senden Sie die E-Mail, wenn Sie es versuchte.
    • Du meinst die log-Dateien, wo ich bin, umleiten von stderr und stdout? Ich schaute auf die Dateien und nicht sehen, alles, was mit E-Mails und so weiter. Ich habe versucht, unter /home/ubuntu/airflow/logs aber sehe keine logs gibt es für diese dag entweder. Ich sollte auch erwähnen, dass dies alles durch laufen airflow test wenn das macht keinen Unterschied
    • Ich meine in der Benutzeroberfläche, klicken Sie auf "Protokoll anzeigen", sollten Sie Ihre smtp-Fehler in das Protokoll für diese Besondere Aufgabe scheitern.
    • Ok, ich sah unter localhost:8080/admin/log und sehen die dag_id aber keine Ereignisse im Zusammenhang mit E-Mail oder smtp. Wenn es das ist, was du redest, ich sehe nicht alles, sondern nur ein Haufen von anderen UI-bezogene Ereignisse
    • In der Benutzeroberfläche angezeigt werden, gehen Sie auf die Diagramm-Ansicht der dag laufen. (Klicken Sie auf die dag-ID, und klicken Sie dann im drop-down wählen Sie die spezifische ausführen) Klicken Sie auf die Aufgabe, sollte die E-Mail senden, und klicken Sie dann auf "Protokoll Anzeigen". Sollte es in diesem Protokoll
    • Ich habe nicht Lesen Sie alle diese Kommentare, aber nur einen Vorschlag, den Sie nicht verwenden die BashOperator zum ausführen von bash-Kommandos. Was ich benutze, ist ein PythonOperator und ich alles in Python. Sie können subprocess.run(...) oder eine der Variationen, die Python-Bibliothek zur Ausführung von linux-Befehlen. Dann können Sie bewerten den Rückgabewert selbst und manuell auslösen, eine AirflowException wenn der Wert ist nicht, was Sie erwartet. Wenn ein AirflowException geworfen wird, es wird immer markieren Sie die Aufgabe als fehlgeschlagen. Denken Sie also nicht zurückhaltend, um die Betreiber kreativ werden 🙂

    InformationsquelleAutor jhnclvr
Schreibe einen Kommentar