Start hintergrund-Prozess/daemon CGI-Skript

Ich versuche, starten Sie einen Hintergrundprozess, der von einem CGI-Skripte. Im Grunde, wenn ein Formular vorgelegt wird, das CGI-Skript werden, um dem Benutzer anzuzeigen, dass seine oder Ihre Anforderung verarbeitet wird, während der hintergrund-Skript führt die eigentliche Verarbeitung (weil die Verarbeitung neigt dazu, eine lange Zeit dauern.) Das problem, das ich bin vor ist, dass Apache nicht senden Sie die Ausgabe des übergeordneten CGI-Skript an den browser, bis das Kind Skript beendet wird.

Mir wurde gesagt von einem Kollegen, dass das, was ich tun möchte, ist unmöglich, weil es keine Möglichkeit gibt, um zu verhindern, dass der Apache vom warten auf den gesamten Prozess-Baum von einem CGI-Skript, um zu sterben. Allerdings habe ich auch gesehen, zahlreiche Referenzen rund um das web zu einem "Doppel-Gabel" - trick soll den job machen. Der trick beschrieben wird kurz und bündig in dieser Stack Overflow-Antwort, aber ich habe gesehen, ähnliche Codes an anderen stellen.

Hier eine kurze Skript, das ich schrieb, um zu testen, die Doppel-Gabel-trick in Python:

import os
import sys

if os.fork():
    print 'Content-type: text/html\n\n Done'
    sys.exit(0)

if os.fork():
    os.setsid()
    sys.exit(0)

# Second child
os.chdir("/")
sys.stdout.close()
sys.stderr.close()
sys.stdin.close()

f = open('/tmp/lol.txt', 'w')

while 1:
     f.write('test\n')

Wenn ich von der shell aus, es tut genau das, was ich erwarten würde: das original-Skript und die ersten Nachkommen sterben, und der zweite Nachkomme läuft weiter bis er getötet manuell. Aber wenn ich auf Sie durch CGI, die Seite wird nicht geladen, bis ich töten, der zweite Nachkomme oder Apache tötet, weil es von der CGI-timeout. Ich habe auch versucht, anstelle des zweiten sys.exit(0) mit os._exit(0), aber es gibt keinen Unterschied.

Was mache ich falsch?

InformationsquelleAutor Mitch Lindgren | 2011-05-16
  1. 12

    Nicht Gabel - führen Sie batch separat

    Double-forking-Konzept ist eine Art "hack" für mich ist die Angabe, es nicht getan werden sollte :). Für CGI sowieso. Unter dem Allgemeinen Grundsatz, dass, wenn etwas zu schwer zu erreichen, Sie sind wahrscheinlich näher es der falsche Weg.

    Zum Glück geben Sie die hintergrund-info, was Sie brauchen - ein CGI-Aufruf zu starten Verarbeitung erfolgt unabhängig und Rückgabe an den Aufrufer zurück. Na sicher - es gibt auch unix-Befehle, die genau das tun - Zeitplan-Befehl ausführen zu einer bestimmten Zeit (at) oder immer dann, wenn die CPU frei ist (batch). Also statt:

    import os

os.system("batch <<< '/home/some_user/do_the_due.py'")
# or if you don't want to wait for system idle, 
#   os.system("at now <<< '/home/some_user/do_the_due.py'")

print 'Content-type: text/html\n'
print 'Done!'

    Und dort haben Sie es. Bedenken Sie, dass, wenn es irgendeine Ausgabe auf stdout/stderr, werden an den Benutzer gemailt (das ist gut für debugging, aber ansonsten Skript wohl ruhig sein sollte).

    PS. ich erinnerte mich gerade, dass Windows auch die version von at, so dass mit geringfügigen änderungen von der Anrufung, die Sie haben können, dass die Arbeit unter apache auf windows zu (vs Gabel trick, der funktioniert nicht auf windows).

    PPS. stellen Sie sicher, dass der Prozess ausgeführt wird, der CGI ist nicht ausgeschlossen /etc/at.deny von scheduling von batch-jobs

    • vielen Dank für die gute Antwort, aber @drsnyder empfohlen beanstalk-tool aussieht, flexibler und potenziell eine bessere Passform für noch mehr Anwendungen. Ich wünschte, ich könnte das aufteilen der bounty zwischen Euch beiden.
    • danke @sarnold, dein Kommentar ist lohnend genug. bezüglich beanstalkd obwohl, ich denke, es wird schwer übertrieben. es bietet Erzeuger/Verbraucher-Entkopplung (wie at/batch tun, mit Hilfe von cron-hinter den kulissen), aber es wird nicht starten, Verbraucher-Prozess, um die Arbeit zu tun, müssen Sie es selbst zu tun - aber wie? Wenn Sie ein Verbraucher, der immer ausgeführt wird, und die hängenden für die Arbeit in der Warteschlange, Sie haben einen Engpass, der nur eine Aufgabe auf einmal ausgeführt. Und was ist, wenn Sie mehrere parallel, dann hast du N Prozesse, die gestartet wurden, zu allen Zeiten und wartet auf die Warteschlange, unbehaglich.
    • auch, was ist, wenn die beanstalk daemon nicht ausgeführt wird, und hören auf einem sockel? die python-library-Aufruf fehl, müssen Sie damit umgehen können. für den einfachen Fall beschrieben, in Frage, die Verwendung von message queue (was beanstalkd ist - genau wie die IBM-MQS, MSMQ, JMS und tibco randevous) schafft mehr Probleme, als es löst.
    • Sie sind richtig, wenn das Ziel ist, immer nur zu starten, ein Prozess, Ihre Antwort ist sehr sauber (und batch(1) ist ein guter Weg, um dorthin zu gelangen :), aber beanstalk oder ähnliche tools ermöglichen den Aufenthalt "drinnen" die Programmiersprache für die latenten Aufgaben, die nicht brauchen, gehen durch fork()+exec() jedes mal, usw. Verschiedene Werkzeuge für verschiedene Aufgaben.
    • aber die Fragen, die Sie FRAGT, zu starten Arbeitsprozess, ist es in den Titel! beanstalk ist keine Antwort auf die OP-Bedürfnisse, es ist "look! glänzend!!" Ablenkung, aber wenn Sie aufhören, sich freuend, Sie wissen, Sie sind immer noch auf Ihrem eigenen Ausgangspunkt worker-Prozesse...
    • und ich bin immer noch in den Wahnsinn getrieben Fragen, warum der Apache verhält wie es das tut. 🙂
    • erleben Sie irgendwelche Probleme mit apache-CGI-Aufruf os.system()? 😀
    • heh, lustig genug, sogar ein einfaches print "Content-type: text/plain\r\n\r\n"; os.system("/bin/cat /etc/motd") gibt eine 500 Fehler: malformed header from script. Bad header=Ubuntu 10.10. Warum wird es versuchen, zu interpretieren, etwas nach der \r\n\r\n als Header noch?
    • sarnold, ich könnte falsch sein, aber nicht der header muss am Ende mit \n,\n, nicht \r\n\r\n?
    • By the way, habe ich beschlossen, nicht zu akzeptieren diese Antwort zunächst, weil ich wollte, lassen die Frage offen, für den Fall, jemand anderes hatte eine andere Lösung: dies ist zwar eine elegante Lösung für mein problem, es beantwortet nicht die Frage, ob oder nicht, es ist tatsächlich Gabel ein CGI-script und nicht über den Apache warten auf die Kinder, auf die ich neugierig war. Da niemand geantwortet hat, dies in einem Monat, ich denke, ich kann getrost sagen, dass die Antwort Nein ist, und somit bin ich jetzt akzeptieren diese Antwort.
    • Wenn ich das at now <<< /path/to/script.py von bash, es läuft wunderbar. Aber Wenn ich das python-Skript ruft die os.system(at now <<< /path/to/script.py) ich bekomme diese Fehlermeldung sh: 1: Syntax error: redirection unexpected
    • Diese Lösung hat ein paar drewbacks: mit atd die Standard-Konfiguration, wird es zu verschieben einen Prozess ausführen, wenn es einem bereits auf dem Rechner ausgeführt werden, und es wird warten Sie 60 Sekunden zwischen den aufrufen.

    InformationsquelleAutor Nas Banov
  2. 6

    Ich denke, es gibt zwei Probleme: setsid ist an der falschen Stelle und tun gepufferte E /a-Operationen in einem der Transienten Kinder:

    if os.fork():
  print "success"
  sys.exit(0)

if os.fork():
  os.setsid()
  sys.exit()

    Hast du den original-Prozess (Großeltern, Drucke "Erfolg"), die mittlere Elternteil, und der Enkel ("lol.txt").

    Den os.setsid() Anruf durchgeführt wird, in der Mitte übergeordneten nach dem Enkel wurde gespawnt. Der Mitte haben die Eltern keinen Einfluss auf die Enkel der Sitzung, nachdem die Enkel angelegt wurde. Versuchen Sie dies:

    print "success"
sys.stdout.flush()
if os.fork():
    sys.exit(0)
os.setsid()
if os.fork():
    sys.exit(0)

    Dieser erzeugt eine neue session vor dem laichen der Enkel. Dann in der Mitte ein Elternteil stirbt, verlässt die Sitzung, ohne eine Prozess-Gruppenleiter, sicherzustellen, dass alle Anrufe öffnen Sie ein terminal wird scheitern, so dass Sie sicher, es gibt nie irgendeine Sperrung auf terminal-input-oder-output, oder senden unerwartete Signale an das Kind.

    Beachten Sie, dass ich auch dazu bewegt, die success zu den Großeltern, es gibt keine Garantie die Kind wird zunächst nach dem Aufruf fork(2), und Sie laufen Gefahr, das Kind würde hervorgebracht werden, und möglicherweise versuchen, zu schreiben Ausgabe auf standard-out oder standard-Fehler, bevor Sie die Mitte übergeordneten hätte eine chance gehabt, zu schreiben success auf den remote-client.

    In diesem Fall die streams sind schnell geschlossen, aber immer noch das mischen von standard-IO-streams von mehreren Prozessen gebunden ist, zu geben, Schwierigkeitsgrad: halten Sie es alle in einem Prozess, wenn Sie können.

    Bearbeiten ich habe ein seltsames Verhalten das ich nicht erklären kann:

    #!/usr/bin/python

import os
import sys
import time

print "Content-type: text/plain\r\n\r\npid: " + str(os.getpid()) + "\nppid: " + str(os.getppid())
sys.stdout.flush()

if os.fork():
    print "\nfirst fork pid: " + str(os.getpid()) + "\nppid: " + str(os.getppid())
    sys.exit(0)

os.setsid()

print "\nafter setsid pid: " + str(os.getpid()) + "\nppid: " + str(os.getppid())

sys.stdout.flush()

if os.fork():
    print "\nsecond fork pid: " + str(os.getpid()) + "\nppid: " + str(os.getppid())
    sys.exit(0)

#os.sleep(1) # comment me out, uncomment me, notice following line appear and dissapear
print "\nafter second fork pid: " + str(os.getpid()) + "\nppid: " + str(os.getppid())

    Die Letzte Zeile, die after second fork pid nur angezeigt, wenn die os.sleep(1) Aufruf ist auskommentiert. Wenn der Anruf an Ort und Stelle bleiben, die Letzte Zeile nie im browser angezeigt wird. (Aber sonst ist alles der Inhalt wird an den browser.)

    • Vielen Dank für die Ratschläge, aber ich fürchte, dass dies noch nicht mein problem gelöst; Apache immer noch nicht senden Sie alles an den client bis die Enkel stirbt. Hier ist der genaue code, den ich bin jetzt mit, verändert aus dem ursprünglichen code, basierend auf Ihrer Antwort: pastebin.com/LzeSzpgt (in Zeile 4 habe ich versucht zu werfen, eine EOF-in, um zu sehen, ob das einen Unterschied gemacht, hat es aber nicht.)
    • Ich bin ziemlich verwirrt, ich habe eine halbe Stunde damit verbracht zu versuchen zu hantieren, um mit diesem, kann aber nicht das Verhalten, erwarten oder das Verhalten, das Sie wollen. Verwirrt und frustriert.
    • Ich weiß wie du dich fühlst! Viele Leute haben mir gesagt das funktioniert auch, aber ich habe kein Glück so weit. Thanks a bunch für den Versuch, aber. Ich bin jetzt auf der Schiefen Richtung, die nur mit einem daemon, der prüft, für die anstehenden Aufgaben alle 10 Sekunden oder so, anstatt zu versuchen, starten Sie es aus dem CGI-Skript.
    • wenn Sie können, verwenden Sie die inotify(7) (vielleicht durch die incron Paket, vielleicht durch python-pyinotify oder python-inotifyx Bindungen), können Sie wahrscheinlich am Ende mit einer Lösung auf besser, als diese route -- aber ich bin zu neugierig, um herauszufinden, wie der Apache weiß, Wann Enkelkinder sterben, es scheint nicht, wie (a) sollte es möglich sein, (b) es ist vernünftig. So jetzt ist persönlichen. 🙂
    • Ich bin eigentlich auf der Suche für die anstehenden Aufgaben in einem remote-MySQL-Datenbank statt im Dateisystem, aber inotify sieht Recht ordentlich - ich bin mir sicher ich werde eine Verwendung für Sie finden, irgendwann. Vielen Dank für das hinzufügen von ein Kopfgeld, wie gut. Ich bin auch neugierig, wie und warum der Apache tut was er tut.
    • ich weiß nicht einmal verstehen, was der Zweck der multi-Verzweigung, aber nicht alle Gabeln Erben die gleichen stdout? ich nehme an, alle apache tut, ist Lesen aus dem stdin bis eof/Rohr ist gebrochen <- getroffen werden können als Indikator Kind getan wird. auch, wenn es sich (async?) Lesen mit timeout, das könnte sein, wie Ihr sleep(1) macht es Geduld?
    • die multi-Verzweigung ist einfach typisch daemonize() code, vielleicht unnötig, da der Apache normalerweise nicht ein kontrollierendes terminal sowieso (-X verhindern können, trennen). Ich hatte nicht gedacht, zu warten, bis das Rohr gebrochen ist, klingt ziemlich plausibel. 🙂 Vielen Dank!
    • das scheint im Zusammenhang zu einer anderen Frage (die vielleicht nützlich sein können): stackoverflow.com/questions/6033780/...
    • der Schlaf, in den Kommentar oder nicht, macht die zeitliche Differenz notwendig, um übergeordnete Prozess endet. Sie sollten einen Wert in der print os.getppid(), wenn Sie lassen Sie die parallele Aufgabe in der "wenn" fork()" erreichen sys.verlassen, verliert er die Verbindung zwischen Eltern und Kind und os.getppid() gibt 1 zurück.

    InformationsquelleAutor sarnold
  3. 6

    Ich würde nicht besagt gehen, über das problem auf diese Weise. Wenn Sie ausführen müssen einige Aufgaben asynchron, warum nicht verwenden eine Warteschlange wie beanstalkd anstatt zu versuchen, die Gabel aus der Aufgaben von der Anfrage? Es sind client-Bibliotheken für beanstalkd verfügbar für python.

    • Wie wird dieser den Fall zu lösen in der Frage beschriebenen? Ein Aufruf an den webserver kommt, neuer task gestartet werden muss. Wer wird es tun? Beanstalkd nicht tun.
    • Beanstalkd können Sie Druckaufträge an eine Warteschlange. Mit dem Modell habe ich vorgeschlagen, Sie würde die übergabe von jobs an die Warteschlange (wodurch die Notwendigkeit der Gabel und ermöglicht Ihnen, weiter mit der Anfrage) und Ihre Verbraucher nehmen würde jobs aus der Warteschlange und "die Arbeit tun". Dies ist eine ziemlich weithin akzeptierte Muster für "Zeug" in den hintergrund.
    InformationsquelleAutor drsnyder
  4. 4

    Musste ich brechen die stdout als auch stderr wie diese:

    sys.stdout.flush()
os.close(sys.stdout.fileno()) # Break web pipe
sys.sterr.flush()
os.close(sys.stderr.fileno()) # Break web pipe
if os.fork(): # Get out parent process
   sys.exit()
#background processing follows here
    • einfachste Lösung hier
    InformationsquelleAutor cbienmueller
  5. 1

    Als in anderen Antworten angemerkt haben, ist es schwierig zu starten einen beständigen Prozess aus Ihrem CGI script, weil der Prozess muss sauber distanzieren sich von dem CGI-Programm. Ich habe festgestellt, dass ein großer Allzweck-Programm für diese ist daemon. Es kümmert sich um die chaotisch details mit geöffneten Datei-handles, Prozess-Gruppen, root-Verzeichnis, etc etc für Sie. Also das Muster wie ein CGI-Programm ist:

    #!/bin/sh
foo-service-ping || daemon --restart foo-service

# ... followed below by some CGI handler that uses the "foo" service

    Den original-Beitrag beschreibt den Fall, wo Sie möchten, dass Ihre CGI-Programm schnell zurück, während der Laichzeit aus einem hintergrund-Prozess zu beenden, Umgang mit, dass eine Anfrage. Aber es ist auch der Fall, wenn Ihre web-Anwendung hängt von einer Laufenden Dienstleistung, die muss am Leben gehalten werden. (Andere Leute haben darüber gesprochen, über die Verwendung von beanstalkd zu handhaben Arbeitsplätze. Aber wie stellen Sie sicher, dass beanstalkd selbst aktiv ist?) Ein Weg dies zu tun ist, um den Dienst neu zu starten (wenn es unten ist) in das CGI-Skript. Dieser Ansatz macht Sinn in einer Umgebung, wo Sie haben nur begrenzte Kontrolle über den server und können sich nicht darauf verlassen, dass Dinge wie cron oder ein init.d-Mechanismus.

    InformationsquelleAutor gcbenison
  6. 1

    Ok, ich werde hinzufügen eine einfachere Lösung, wenn Sie nicht brauchen, um starten Sie ein anderes Skript aber weiterhin das gleiche zu tun, den langen Prozess in den hintergrund. Dies wird Ihnen geben eine wartende Nachricht sofort gesehen durch den AUFTRAGGEBER, und fahren Sie den server-Verarbeitung, selbst wenn der Kunde töten der browser-Sitzung:

    #!/usr/bin/env python
# -*- coding: utf-8 -*-
import os
import sys
import time
import datetime

print "Content-Type: text/html;charset=ISO-8859-1\n\n"
print "<html>Please wait...<html>\n"
sys.stdout.flush()
os.close(sys.stdout.fileno()) # Break web pipe
if os.fork(): # Get out parent process
   sys.exit()

# Continue with new child process
time.sleep(1)  # Be sure the parent process reach exit command.
os.setsid() # Become process group leader

# From here I cannot print to Webserver.
# But I can write in other files or do any long process.
f=open('long_process.log', 'a+')
f.write( "Starting {0} ...\n".format(datetime.datetime.now()) )
f.flush()
time.sleep(15)
f.write( "Still working {0} ...\n".format(datetime.datetime.now()) )
f.flush()
time.sleep(300)
f.write( "Still alive - Apache didn't scalped me!\n" )
f.flush()
time.sleep(150)
f.write( "Finishing {0} ...\n".format(datetime.datetime.now()) )
f.flush()
f.close()

    Ich gelesen habe das halbe Internet nach einer Woche ohne Erfolg auf diese, schließlich habe ich versucht zu testen, ob es einen Unterschied zwischen sys.stdout.close() und os.close(sys.stdout.fileno()) und es ist ein riesige: Die erste hat nicht alles tun, während das zweite geschlossen, das Rohr aus dem web-server und komplett getrennt von den Kunden. Die Gabel ist nur notwendig, weil der webserver zu töten, seine Prozesse nach einer Weile und Ihr langer Prozess, der vermutlich mehr Zeit braucht, um abzuschließen.

    InformationsquelleAutor Le Droid
  7. 1

    Gibt es Situationen, wo die Weitergabe der Arbeit aus, um einen daemon oder cron ist nicht angemessen. Manchmal Sie wirklich brauchen, Gabel, lassen Sie die Eltern verlassen (halten Apache glücklich) und lassen Sie etwas langsam geschehen in das Kind.

    Was für mich gearbeitet: Wenn fertig Generierung der web-Ausgabe, und vor der Gabel:

    fflush(stdout) und schließen(0), enge(1), enge(2); //in den Prozess, BEVOR SIE GABEL

    Dann fork() und haben die Eltern sofort exit(0);

    Das Kind dann WIEDER nicht
    close(0), enge(1), enge(2);
    und auch ein
    setsid();
    ...und bekommt dann mit, was es braucht, um zu tun.

    Warum Sie benötigen, um Sie zu schließen, in der das Kind, obwohl Sie geschlossen wurden, in der ursprünglichen Prozess im Voraus ist verwirrend für mich, aber das ist, was funktioniert. Es nicht ohne den 2. Satz schließt. Dieser wurde unter Linux (auf einem raspberry pi).

    InformationsquelleAutor user15001
  8. 0

    Ich habe nicht versucht, mit fork aber ich habe erreicht, was Sie Fragen bei der Ausführung einer sys.stdout.flush() nach der original-Nachricht, bevor Sie den Prozess im hintergrund.

    d.h.

    print "Please wait..."
sys.stdout.flush()

output = some_processing() # put what you want to accomplish here
print output               # in my case output was a redirect to a results page
    • Wenn die some_processing() dauert eine Stunde, wird Ihr web-Servers wird Sie schnell aus der open-Prozesse (Apache prefork MaxClients variable), um eingehende Anfragen. Seien Sie vorsichtig. 🙂
    InformationsquelleAutor Wern
  9. 0

    Mein Kopf tut immer noch weh, dass man auf. Ich habe versucht, alle Möglichkeiten zu nutzen, Ihren code mit Gabel und stdout schließen, nulling-oder nichts, aber nichts funktionierte. Der unvollendete Prozess-Ausgangsdaten die Anzeige hängt davon ab, webserver (Apache oder andere) - Konfiguration, und in meinem Fall war es nicht eine option, es zu ändern, also versucht mit "Transfer-Encoding: chunked;chunk=CRLF" und "sys.stdout.flush()" hat nicht funktioniert entweder. Hier ist die Lösung, die schließlich gearbeitet.

    Kurz gesagt, verwenden Sie so etwas wie:

    if len(sys.argv) == 1:  # I'm in the parent process
   childProcess = subprocess.Popen('./myScript.py X', bufsize=0, stdin=open("/dev/null", "r"), stdout=open("/dev/null", "w"), stderr=open("/dev/null", "w"), shell=True)
   print "My HTML message that says to wait a long time"
else: # Here comes the child and his long process
   # From here I cannot print to Webserver, but I can write in files that will be refreshed in my web page.
   time.sleep(15)  # To verify the parent completes rapidly.

    Ich benutze den "X" - parameter, um die Unterscheidung zwischen Elternteil und Kind, weil ich call das gleiche Skript für beide, aber Sie tun können, es einfacher durch den Aufruf von einem anderen script. Wenn ein vollständiges Beispiel nützlich sein, Fragen Sie bitte nach.

    InformationsquelleAutor Le Droid
  10. 0

    Für thous, die "sh: 1: Syntax error: redirection unexpected" mit den auf/charge Lösung versuchen Sie es mit etwas wie dieses:

    Stellen Sie sicher, dass der at-Befehl installiert ist und der Benutzer die Anwendung ausführen, ins-nicht in /etc/at.verweigern

    os.system("echo sudo /srv/scripts/myapp.py | /usr/bin/at now")
    InformationsquelleAutor Alejandro Teijeiro
Schreibe einen Kommentar