Python-warten Sie, bis die Daten im sys.stdin

Folgenden soll nur funktionieren.

import sys
for line in sys.stdin:
    # whatever

Begründung:

Den code iteriert durch Zeilen in der Standardeingabe, wie Sie kommen in. Wenn der stream noch offen ist, aber es ist nicht eine komplette Zeile dann die Schleife hängen, bis entweder ein newline-Zeichen gefunden wird (und der gesamten Zeile zurückgegeben) oder der stream geschlossen wird (und das was auch immer ist Links im Puffer zurückgegeben wird).

Nachdem der stream geschlossen wurde, keine Daten mehr geschrieben werden können oder von stdin Lesen. Zeitraum.

Dem Grund, dass Ihr code war eine überlastung deiner cpu ist, dass wenn stdin geschlossen wurde, alle nachfolgenden versuche zur Iteration über stdin sofort zurück, ohne etwas zu tun. In Essenz, dein code entspricht der folgenden.

for line in sys.stdin:
    # do something

while 1:
    pass # infinite loop, very CPU intensive

Vielleicht wäre es hilfreich, wenn Sie geschrieben, wie Sie schreiben Daten auf stdin.

EDIT:

Python wird (für die Zwecke von for-Schleifen, Iteratoren und readlines() betrachten Sie nun ein stream geschlossen wird, wenn es auf ein EOF-Zeichen. Sie können Fragen, python mehr Lesen Daten nach dieser, aber Sie können nicht verwenden eine der vorigen Methoden. Der python-Mann-Seite empfiehlt die Verwendung

import sys
while True:
    line = sys.stdin.readline()
    # do something with line

Wenn ein EOF-Zeichen gefunden wird, wird readline wird ein leerer string zurückgegeben. Der nächste Aufruf von readline wird wie üblich funktionieren, wenn der stream noch offen ist. Sie können dies testen Sie sich selbst, indem Sie den Befehl in einem terminal. Drücken Sie Strg+D bewirkt, dass ein terminal zu schreiben, das EOF-Zeichen von stdin. Dadurch wird das erste Programm in diesem Beitrag zu beenden, aber das Letzte Programm wird fortgesetzt, um Daten zu Lesen, bis der Strom tatsächlich geschlossen. Das Letzte Programm, sollten Sie nicht 100% Ihrer CPU, da readline wartet, bis Daten vorhanden sind, die Rückkehr anstelle der Rückgabe ein leerer string.

Ich habe nur das problem einer busy-loop, wenn ich versuche readline aus einer Datei selbst. Aber beim Lesen von der Standardeingabe (stdin readline glücklich Blöcke.

InformationsquelleAutor Dunes

Gut stecke ich nun diese Zeilen von code.

#!/usr/bin/python
import sys
import time
while 1:
    time.sleep(0.01)
    for line in sys.stdin:
        pass # do something useful

Wenn ich nicht die Zeit verwendet werden.schlafen, das Skript erstellen Sie eine zu hohe Last auf cpu-Auslastung.

Wenn ich:

for line in sys.stdin.readline():

Wird es nur Parsen einer Zeile in Schritten von 0,01 Sekunden und die Leistung des apache2 ist wirklich schlecht
Vielen Dank für Eure Antworten.

beste Grüße
Abalus

InformationsquelleAutor Abalus

Ich weiß, ich bringe alten Sachen zu Leben, aber dies scheint einer der top-hits auf das Thema. Die Lösung Abalus hat sich behoben hat Zeit.Schlaf pro Zyklus, unabhängig, ob die stdin ist tatsächlich leer und das Programm sollte im Leerlauf, oder es gibt eine Menge von Linien, die darauf warten bearbeitet zu werden. Eine kleine änderung macht das Programm verarbeitet alle Nachrichten, die schnell und warten nur, wenn die queue eigentlich leer. Also nur eine Linie, der ankommt, während der sleep-Periode können warten, die anderen werden verarbeitet, ohne jede Verzögerung.

Diesem Beispiel ist einfach die Umkehrung des input-lines, wenn Sie uns nur eine Zeile, reagiert er in einer zweiten (oder was immer Ihren Schlaf Zeitraum festgelegt ist), kann aber auch etwas wie "ls -l | reverse.py" wirklich schnell. Die CPU-Last für einen solchen Ansatz ist minimal, auch auf embedded-Systeme wie OpenWRT.

import sys
import time

while True:
  line=sys.stdin.readline().rstrip()
  if line:       
    sys.stdout.write(line[::-1]+'\n')
  else:
    sys.stdout.flush()
    time.sleep(1)

InformationsquelleAutor Robert Špendl

Habe ich kommen Sie zurück zum problem, nach einer langen Zeit. Das Problem scheint zu sein, dass Apache behandelt einen CustomLog-wie eine Datei-etwas, kann es öffnen, schreiben, schließen, und öffnen Sie dann zu einem späteren Zeitpunkt. Dies bewirkt, dass der empfangende Prozess gesagt werden, dass es den input-stream geschlossen wurde. Jedoch, das bedeutet nicht, dass die Prozesse input-stream kann nicht geschrieben werden, wieder, nur, dass je nachdem, welcher Prozess war das schreiben auf der Eingabe-stream wird nicht schriftlich an Sie wieder.

Die beste Möglichkeit, damit umzugehen, ist die Einrichtung eines handler und lassen Sie das OS kennen, rufen die handler, wenn Eingangs geschrieben, um die standard-Eingabe. Normalerweise sollten Sie vermeiden, schwer sich auf OS-signal event-handling, da Sie relativ teuer sind. Aber das kopieren von einem megabyte text folgenden nur produziert zwei SIGIO Ereignisse, so ist es in Ordnung in diesem Fall.

fancyecho.py

import sys
import os
import signal
import fcntl
import threading

io_event = threading.Event()

# Event handlers should generally be as compact as possible.
# Here all we do is notify the main thread that input has been received.
def handle_io(signal, frame):
    io_event.set()

# invoke handle_io on a SIGIO event
signal.signal(signal.SIGIO, handle_io)
# send io events on stdin (fd 0) to our process 
assert fcntl.fcntl(0, fcntl.F_SETOWN, os.getpid()) == 0
# tell the os to produce SIGIO events when data is written to stdin
assert fcntl.fcntl(0, fcntl.F_SETFL, os.O_ASYNC) == 0

print("pid is:", os.getpid())
while True:
    data = sys.stdin.read()
    io_event.clear()
    print("got:", repr(data))
    io_event.wait()

Wie können Sie dieses Spielzeug-Programm. Ausgangs-aufgeräumt wurde aufgrund der Verschränkung von input und output.

$ echo test | python3 fancyecho.py &
[1] 25487
pid is: 25487
got: 'test\n'
$ echo data > /proc/25487/fd/0
got: 'data\n'
$

InformationsquelleAutor Dunes

Dies funktioniert für mich, den code of /tmp/alog.py:

#! /usr/bin/python

import sys

fout = open("/tmp/alog.log", "a")

while True:
    dat = sys.stdin.readline()
    fout.write(dat)
    fout.flush()

in http.conf:

CustomLog "|/tmp/alog.py" combined

Den Schlüssel nicht verwenden

for dat in sys.stdin:

Werden Sie warten, dort bekommen Sie nichts. Und für die Prüfung, denken Sie daran fout.flush(), sonst können Sie nicht sehen-Ausgang. Ich Teste auf fedora 15, python 2.7.1, Apache 2.2, nicht die cpu-Last, alog.py wird im Speicher vorhanden, wenn man ps man kann es sehen.

InformationsquelleAutor PasteBT