newbie-python-subprocess: "write error: Broken pipe"

Dank der hilfreichen Anregungen unter:

So, es scheint behoben zu sein, wenn ich

  1. separate Befehle in einzelne Anrufe zu Popen
  2. stderr=subprocess.ROHR als argument zu jeder Popen Kette.

Den Neuen code:

import subprocess
import shlex
import logging

def run_shell_commands(cmds):
    """ Run commands and return output from last call to subprocess.Popen.
        For usage see the test below.
    """
    # split the commands
    cmds = cmds.split("|")
    cmds = list(map(shlex.split,cmds))

    logging.info('%s' % (cmds,))

    # run the commands
    stdout_old = None
    stderr_old = None
    p = []
    for cmd in cmds:
        logging.info('%s' % (cmd,))
        p.append(subprocess.Popen(cmd,stdin=stdout_old,stdout=subprocess.PIPE,stderr=subprocess.PIPE))
        stdout_old = p[-1].stdout
        stderr_old = p[-1].stderr
    return p[-1]


pattern = '"^85567      "'
file = "j"

cmd1 = 'grep %s %s | sort -g -k3 | head -10 | cut -d" " -f2,3' % (pattern, file)
p = run_shell_commands(cmd1)
out = p.communicate()
print(out)

Original Post:

Ich habe zu lange versucht, ein problem zu lösen, Rohrleitungen einen einfachen Teilprozess.Popen.

Code:

import subprocess
cmd = 'cat file | sort -g -k3 | head -20 | cut -f2,3' % (pattern,file)
p = subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE)
for line in p.stdout:
    print(line.decode().strip())

Ausgabe für die Datei ~1000 Zeilen Länge:

...
sort: write failed: standard output: Broken pipe
sort: write error

Ausgabe für Datei >241 Linien in der Länge:

...
sort: fflush failed: standard output: Broken pipe
sort: write error

Ausgabe für die Datei <241 Linien in der Länge ist in Ordnung.

Habe ich gewesen das Lesen der Dokumentation und googlen wie verrückt, aber es ist etwas grundlegendes über den subprocess-Modul, das mir fehlt ... vielleicht zu tun mit Puffer. Ich habe versucht p.stdout.flush() und spielt mit dem Puffer der Größe p und.wait(). Ich habe versucht, zu reproduzieren diese mit Befehlen wie "sleep 20; cat moderatefile", aber diese scheint ohne Fehler ausgeführt.

... und p2.kommunizieren() auch funktioniert, aber ich denke, es kann Probleme verursachen, wenn der output groß ist.
'Neuer code' sehr hilfreich. Die Liebe, die ich verwenden kann, die genau die gleiche befehlspipeline verwendet, wenn ich das testen in der shell. Zwei Vorschläge: 1) stellen Sie plural: run_shell_commands 2) entweder entfernen, auskommentieren oder hinzufügen debug=false um print-Anweisungen innerhalb der Funktion
Danke. Lief in der gleichen broken pipe Problem mit Dateien über einer bestimmten Größe. Ihren code benutzt und es funktioniert wie ein Charme.
nicht setzen die Antwort in deiner Frage, poste es als Antwort statt. btw, der code kann deadlock, wenn jeder der Befehle, die genug produzieren Ausgabe auf stderr. Sie sollte in der Nähe stdout_old in das den Eltern nach der übergabe an Popen zu ermöglichen SIGPIPE upstream (sollte es töten sort anstatt EPIPE). Siehe auch 'ja' reporting-Fehler mit dem Teilprozess Kommunikation()
können Sie den Fehler reproduzieren zu aktuellen Python-Versionen: 2.7 und 3.3?

InformationsquelleAutor mathtick | 2010-11-05

  1. 12

    Aus der Rezepte auf Teilprozess docs:

    # To replace shell pipeline like output=`dmesg | grep hda`
p1 = Popen(["dmesg"], stdout=PIPE)
p2 = Popen(["grep", "hda"], stdin=p1.stdout, stdout=PIPE)
output = p2.communicate()[0]
    Ich dachte kommunizieren vermieden werden für die große Ausgabe?
    Die Schale war nicht das problem verursacht, aber für einige Grund die Aufteilung der Befehle in der "richtigen" Stelle scheint es zu beheben. Danke!
    Sie sollten in der Tat Durchlaufen ROHR statt der Zuordnung eines großen Ausgang, um einige string-Instanz, andernfalls riskieren Sie eine out-of-memory-Ausnahme.

    InformationsquelleAutor Paulo Scardine

  2. 5

    Dies ist, weil Sie sollten nicht verwenden "shell pipes" in die Befehlszeile übergeben subprocess.Popen verwenden, sollten Sie die subprocess.PIPE wie diese:

    from subprocess import Popen, PIPE

p1 = Popen('cat file', stdout=PIPE)
p2 = Popen('sort -g -k 3', stdin=p1.stdout, stdout=PIPE)
p3 = Popen('head -20', stdin=p2.stdout, stdout=PIPE)
p4 = Popen('cut -f2,3', stdin=p3.stdout)
final_output = p4.stdout.read()

    Aber ich muss sagen, dass das, was Sie versuchen zu tun, getan werden könnte, in reinem python anstelle von aufrufen eine Reihe von shell-Befehlen.

    Ich bin grepping 13+ Millionen Zeilen zurück 100k Zeilen übereinstimmt, Sortieren, schneiden und unter einen "Kopf". Das dauert Sekunden in der Schale. Es war Ewigkeiten in python. Ich habe versucht, read() und ich dachte, ich habe versucht, die Spaltung Befehle, aber ich denke, es ist das gleiche problem. Post zurück nach dem Test mehr ...
    Die Aufteilung der Befehle scheint es angebracht, auch wenn ich das noch verwenden, shell=True.

    InformationsquelleAutor mdeous

  3. 1

    Ich habe den gleichen Fehler. Sogar die pipe in einer bash-Skript und ausgeführt, dass anstelle des Rohres in Python. Unter Python würde die broken pipe-Fehler, von bash nicht.

    Scheint es mir, dass vielleicht der Letzte Befehl vor den Kopf wirft, ein Fehler wie es ist (die Art) die STANDARDAUSGABE wird geschlossen. Python muss sein Kommissionierung bis auf diese in der Erwägung, dass mit der Schale die Fehler silent. Ich habe mich verändert, meinen code zu konsumieren die gesamte Eingabe und der Fehler ging Weg.

    Sinn machen würde-auch mit kleineren Dateien zu arbeiten, da das Rohr wahrscheinlich puffert die gesamte Ausgabe vor dem Kopf beendet. Dies würde erklären, bricht bei größeren Dateien.

    z.B. statt einem "head -1' (in meinem Fall war ich wollte nur die erste Zeile), habe ich ein awk 'NR == 1'

    Wahrscheinlich gibt es bessere Wege, dies zu tun, je nachdem, wo die 'Kopf -X' tritt in das Rohr.

    InformationsquelleAutor Chris Beecroft

  4. 0

    Brauchen Sie nicht shell=True. Nicht aufrufen die shell. Dies ist, wie ich es tun würde:

    p = subprocess.Popen(cmd, stdout=subprocess.PIPE)
stdout_value = p.communicate()[0] 
stdout_value   # the output

    Sehen, wenn Sie vor dem problem, über die Puffer nach Verwendung dieser?

    Die Schale nicht zu sein scheinen, die das problem verursacht. Die Aufteilung der Befehle in der richtigen Stelle zu haben scheint es behoben (siehe update). Danke!

    InformationsquelleAutor user225312

  5. 0

    versuchen Sie es mit Kommunikation(), sondern als das Lesen direkt vom stdout.

    die python docs sagen:

    "Warnung Verwenden Sie zum kommunizieren() anstatt
    .stdin.schreiben, .stdout.Lesen oder
    .stderr.Lesen, um deadlocks zu vermeiden wegen
    alle anderen OS-pipe-Puffer
    die Füllung und die Blockierung der Kind
    Prozess".

    http://docs.python.org/library/subprocess.html#subprocess.Popen.stdout

    p = subprocess.Popen(cmd, stdout=subprocess.PIPE)
output =  p.communicate[0]
for line in output:
    # do stuff
    Ich habe versucht, p.kommunizieren()[0] aber das hat das problem nicht beheben. Die Aufteilung der Befehle entsprechend (siehe oben). Ich weiß immer noch nicht wirklich verstehen, warum das die Dinge fixiert.

    InformationsquelleAutor Corey Goldberg

Schreibe einen Kommentar