Unterprozeß stdout zeilenweise lesen

Mein python-Skript verwendet Teilprozess zu nennen, ein linux-Dienstprogramm, das ist sehr laut. Ich möchte speichern Sie die Ausgabe in eine log-Datei und zeigen einige der Benutzer. Ich dachte, die folgenden funktionieren würde, aber die Leistung nicht zeigen, bis in meine Anwendung, bis das Dienstprogramm hat produziert eine signifikante Menge an Ausgaben.

#fake_utility.py, just generates lots of output over time
import time
i = 0
while True:
   print hex(i)*512
   i += 1
   time.sleep(0.5)

#filters output
import subprocess
proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)
for line in proc.stdout:
   #the real code does filtering here
   print "test:", line.rstrip()

Dem Verhalten, das ich wirklich will, ist für das filter-Skript zu drucken jeder Zeile, wie es empfangen wird, aus dem Teilprozess. Sorta wie, was tee hat, sondern mit python-code.

Was bin ich? Ist das überhaupt möglich?

Update:

Wenn ein sys.stdout.flush() Hinzugefügt fake_utility.py hat der code das gewünschte Verhalten in python 3.1. Ich bin mit python 2.6. Sie würden denken, dass mit proc.stdout.xreadlines() würde die gleiche Arbeit, wie py3k, aber es funktioniert nicht.

Update 2:

Ist hier der minimale code arbeiten.

#fake_utility.py, just generates lots of output over time
import sys, time
for i in range(10):
   print i
   sys.stdout.flush()
   time.sleep(0.5)

#display out put line by line
import subprocess
proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)
#works in python 3.0+
#for line in proc.stdout:
for line in iter(proc.stdout.readline,''):
   print line.rstrip()

Kommentar zu dem Problem - Öffnen

Sie könnte verwenden Sie print line statt print line.rstrip() (beachten Sie: das Komma am Ende). Kommentarautor: jfs

Verwandte: Python: Lesen-streaming-Eingabe von Unterprozess.kommunizieren() Kommentarautor: jfs

Update 2 heißt es, dass es funktioniert mit python 3.0+ benutzt aber die alte print-Anweisung, so funktioniert das nicht mit python 3.0+. Kommentarautor: Rooky

InformationsquelleAutor der Frage deft_code | 2010-05-10

python subprocess

126

Es ist schon eine lange Zeit, seit ich zuletzt gearbeitet mit Python, aber ich denke, das problem ist mit der Aussage for line in proc.stdout liest die gesamte Eingabe vor Durchlaufen. Die Lösung ist die Verwendung readline() statt:
```
#filters output
import subprocess
proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)
while True:
  line = proc.stdout.readline()
  if line != '':
    #the real code does filtering here
    print "test:", line.rstrip()
  else:
    break
```
Natürlich ist Sie noch zu tun haben mit dem Teilprozess' Pufferung.

Hinweis: laut der Dokumentation die Lösung mit einem iterator sollte gleichwertig sein mit readline(), mit Ausnahme der read-ahead-Puffer, aber (oder genau deshalb) die vorgeschlagene änderung hat zu unterschiedlichen Ergebnissen führen, für mich (Python 2.5 auf Windows XP).

InformationsquelleAutor der Antwort Rômulo Ceccon

Bisschen spät zur party, aber war überrascht, nicht zu sehen, was ich denke ist die einfachste Lösung hier:

import io
import subprocess

proc = subprocess.Popen(["prog", "arg"], stdout=subprocess.PIPE)
for line in io.TextIOWrapper(proc.stdout, encoding="utf-8"):  # or another encoding
    # do something with line

InformationsquelleAutor der Antwort jbg

15

In der Tat, wenn Sie sortiert den iterator dann die Pufferung könnte jetzt das problem sein. Man könnte sagen, die python in der sub-Prozess nicht auf Puffer, dessen Ausgang.
```
proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)
```
wird
```
proc = subprocess.Popen(['python','-u', 'fake_utility.py'],stdout=subprocess.PIPE)
```
Habe ich gebraucht dieser beim Aufruf von python in python.

InformationsquelleAutor der Antwort Steve Carter
9

Übergeben werden sollen diese zusätzlichen Parameter zu subprocess.Popen:
```
bufsize=1, universal_newlines=True
```
Dann kann man iterieren, wie in Ihrem Beispiel. (Getestet mit Python 3.5)

InformationsquelleAutor der Antwort user1747134

Folgende änderung von Rômulo Antwort funktioniert bei mir auf Python 2 und 3 (2.7.12 und 3.6.1):

import os
import subprocess

process = subprocess.Popen(command, stdout=subprocess.PIPE)
while True:
  line = process.stdout.readline()
  if line != b'':
    os.write(1, line)
  else:
    break

InformationsquelleAutor der Antwort mdh

Habe ich versucht, diese mit Python ist3, und es funktionierte, Quelle

def output_reader(proc):
    for line in iter(proc.stdout.readline, b''):
        print('got line: {0}'.format(line.decode('utf-8')), end='')


def main():
    proc = subprocess.Popen(['python', 'fake_utility.py'],
                            stdout=subprocess.PIPE,
                            stderr=subprocess.STDOUT)

    t = threading.Thread(target=output_reader, args=(proc,))
    t.start()

    try:
        time.sleep(0.2)
        import time
        i = 0

        while True:
        print (hex(i)*512)
        i += 1
        time.sleep(0.5)
    finally:
        proc.terminate()
        try:
            proc.wait(timeout=0.2)
            print('== subprocess exited with rc =', proc.returncode)
        except subprocess.TimeoutExpired:
            print('subprocess did not terminate in time')
    t.join()

InformationsquelleAutor der Antwort shakram02

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.