Vermeiden müssen Teilprozess Deadlocks ohne Kommunikation

Ich brauche einen Befehl ausführen, die eine größere Ausgabe erzeugt und nimmt eine Menge Zeit zum ausführen (> 30 Minuten). Ich war denken mit subprocess.Popen, es zu tun. Ich muss erfassen Sie die Ausgabe des Befehls, so passiere ich die PIPE auf stdout und stderr.

Einer deadlock-problem bei der Verwendung Popen.wait() ist gut dokumentiert, die auf eine Menge von Foren, so Popen.kommunizieren() ist der vorgeschlagene Weg, um die deadlock. Das problem bei dieser Lösung ist, dass die Kommunikation() blockiert, bis der Befehl abgeschlossen ist. Ich brauche, um zu drucken, alles, was ankommt, auf stdout aus, während der Befehl ausgeführt wird. Wenn es gibt keine Ausgabe nach 20 Minuten, die Skript-Ausführung wird getötet werden.

Hier sind einige Einschränkungen, die ich beachten müssen:

  • Meine Python-version ist 2.4.2 und ich kann nicht aktualisieren.
  • Wenn die Lösung noch verwenden Teilprozess, muss ich weiterleiten Teilprozess.ROHR für alle std-Griffe zu vermeiden, diese Fehler: http://bugs.python.org/issue1124861

Gibt es einen Weg, es zu tun?

  • (Von google?) alle Rohre werden deadlock, wenn eines der Rohre Puffer gefüllt wird, und nicht gelesen. z.B. stdout deadlock, wenn stderr gefüllt ist. Nie ein ROHR, Sie wollen nicht Lesen.
InformationsquelleAutor GDICommander | 2011-04-07
  1. 12
    import os
from subprocess import PIPE, STDOUT, Popen

lines = []
p = Popen(cmd, bufsize=1, stdin=open(os.devnull), stdout=PIPE, stderr=STDOUT)
for line in iter(p.stdout.readline, ''):
      print line,          # print to stdout immediately
      lines.append(line)   # capture for later
p.stdout.close()
p.wait()
    • Das war, was ich brauchte. Vielen Dank! Sie löste ein problem, das hat mich einen kompletten Arbeitstag zu untersuchen!
    • aufgepasst, der code kann drop stderr unter Wein. Es funktioniert gut auf Ubuntu. Stellen Sie sicher, testen Sie es auf Windows.
    • wenn ich will senden ein ? Beispiel : p.stdin.write("JA")
    • setzen Sie einfach stdin=PIPE. Obwohl im Allgemeinen, wenn Sie möchten, senden Eingang und zu erhalten, Ausgang parallel, dann sollten Sie sehr vorsichtig sein, um einen deadlock zu vermeiden aufgrund der OS-pipe-Puffer Auffüllen: stellen Sie sicher, dass die andere Seite liest, wenn Sie schreiben, und Umgekehrt: threads, asyncio lösen dieses problem im Allgemeinen. Darüber hinaus pexpect löst einen block-buffering-Problem-und-Eingang/ - Ausgang außerhalb stdin/stdout-Ausgabe.
    InformationsquelleAutor jfs
  2. 6

    Haben Sie versucht,pexpect?

    • Leider pexpect funktioniert nur auf Unix-ähnlichen Systemen. Ich brauche eine Lösung, die cross-Plattform.
    InformationsquelleAutor Zaur Nasibov
  3. 3

    Es klingt wie Sie tun müssen, um eine non-blocking read auf die filehandles auf den Rohren angebracht.

    Dieser Frage geht es um einige Möglichkeiten, das zu tun, für windows & linux: Non-blocking read auf einen Teilprozess.ROHR in python

    InformationsquelleAutor Eli Collins
  4. 1

    Zur Vermeidung der pipe-Puffer Auffüllen, starten Sie einfach einen hintergrund-thread in der parent-Prozess. Das Gewinde kann entweder einfach kontinuierlich Lesen von stdout (und stderr) zum halten der pipe-Puffer aufgefüllt wird, oder Sie rufen communicate() aus. So oder so, der main-thread ist frei, auch weiterhin mit der gewöhnlichen Verarbeitung und der Kind-Prozess wird nicht blockiert, die auf eine output-operation.

    Konvertierung synchroner IO-Betrieb in einen asynchronen man (aus der Sicht der Haupt-thread) ist eines der besten Anwendungsfälle für die threads. Auch asynchrone frameworks wie Twisted manchmal verwenden Sie es als letzten Ausweg Lösung, wenn keine native asynchrone Schnittstelle ist für einen bestimmten Vorgang.

    InformationsquelleAutor ncoghlan
  5. 0

    Könnten Sie erwägen, die Verwendung von mehreren threads. Zuweisen eines thread zu Lesen von stdout, eine von stderr, und verwenden Sie eine Dritte thread zu erkennen, die timeout:

    while time.time() - last_output_time < 20 * 60:
    time.sleep( 20 * 60 - (time.time() - last_output_time) )
print 'No output detected in the last 20 minutes. Terminating execution'
sys.exit(1)
    InformationsquelleAutor Rakis
Schreibe einen Kommentar