Ist es sicher, leiten Sie die Ausgabe von mehreren parallelen Prozessen, die zu einer Datei mit >>?

Ich bin Schaben Daten aus dem web, und ich habe mehrere Prozesse von meinen Spachtel parallel laufen.

Möchte ich die Leistung von jeder dieser Prozesse, um am Ende in der gleichen Datei. Solange der Linien des Textes erhalten bleiben und nicht vermischt mit einander, die Reihenfolge der Zeilen spielt keine Rolle. In UNIX kann ich nur leiten Sie die Ausgabe von jedem Prozess auf die gleiche Datei mit dem >> operator?

  • InRe: in der Nähe Stimmen. So wie ich es sehe "Ist der Betrieb Foo sicher für die gleichzeitige Verwendung in der Sprache Bar?" ist ein Programmier-Fragen jedes mal. In diesem Fall Foo Rohrleitungen Eingabe für std[in,err] und die Bar sind einige unix-shell. Muss sagen, ich denke, es sollte bleiben.
InformationsquelleAutor conradlee | 2010-03-14
  1. 28

    Nicht. Es ist nicht garantiert, dass die Linien erhalten bleiben. Sie können sich vermischt.

    Vom suchen basierend auf liori ' s Antwort fand ich diese:

    Schreiben, Anfragen von {PIPE_BUF} bytes oder weniger ist nicht interleaved mit Daten aus anderen Prozessen zu tun, schreibt auf der gleichen Leitung. Schreibt, die größer als {PIPE_BUF} bytes Daten interleaved, auf die willkürlichen Grenzziehungen, mit schreibt, die von anderen Prozessen, ob oder nicht das O_NONBLOCK-flag der Datei-status-flags gesetzt ist.

    Also Zeilen, die länger als {PIPE_BUF} bytes sind nicht unbedingt intakt bleiben.

    • +1 Ha, ich konnte Sie nicht finden, ein richtiges zitieren 🙂
    • Nur um es klar -- dieser Fall ist für Rohre nur einschließlich named pipes (auch FIFO-Dateien). Es gilt nicht für andere Arten von Dateien, in denen die situation ist wahrscheinlich viel weniger garantiert nicht vermischt schreibt.
    InformationsquelleAutor Mark Byers
  2. 12

    Einer evtl. interessante Sache, die Sie tun können, ist gnu parallel: http://www.gnu.org/s/parallel/ Zum Beispiel, wenn Sie wurden Sie spidering den Standorten:

    stackoverflow.com, stackexchange.com, fogcreek.com

    konnten Sie so etwas tun

    (echo stackoverflow.com; echo stackexchange.com; echo fogcreek.com) | parallel -k your_spider_script

    und der Ausgang ist gepuffert und parallel, weil die -k-option zurückgegeben, um Sie in der Reihenfolge der site-Liste oben. Ein echtes Beispiel (im Grunde kopiert aus dem 2. parallel screencast):

     ~ $ (echo stackoverflow.com; echo stackexchange.com; echo fogcreek.com) | parallel -k ping -c 1 {}


PING stackoverflow.com (64.34.119.12): 56 data bytes

--- stackoverflow.com ping statistics ---
1 packets transmitted, 0 packets received, 100.0% packet loss
PING stackexchange.com (64.34.119.12): 56 data bytes

--- stackexchange.com ping statistics ---
1 packets transmitted, 0 packets received, 100.0% packet loss
PING fogcreek.com (64.34.80.170): 56 data bytes
64 bytes from 64.34.80.170: icmp_seq=0 ttl=250 time=23.961 ms

--- fogcreek.com ping statistics ---
1 packets transmitted, 1 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 23.961/23.961/23.961/0.000 ms

    Sowieso, ymmv

    InformationsquelleAutor rainkinz
  3. 7

    In der Regel, Nein.

    Auf Linux möglich sein könnte, solange zwei Bedingungen erfüllt sind: jede Zeile ist geschrieben in einem Betrieb, und die Linie ist nicht mehr als PIPE_SIZE (in der Regel die gleichen wie PAGE_SIZE, in der Regel 4096). Aber... ich würde mich nicht drauf verlassen; dieses Verhalten könnte sich ändern.

    Ist es besser, eine Art von real-logging-Mechanismus, wie syslog.

    InformationsquelleAutor liori
  4. 4

    Temporäre Dateien verwenden und verketten Sie zusammen. Es ist die einzige sichere Weise, das zu tun, was Sie tun möchten, und es wird (vermutlich) vernachlässigbar sein performance-Verlust, der Weg. Wenn die performance ist wirklich ein problem, versuchen Sie sicherstellen, dass Ihr /tmp-Verzeichnis ist ein RAM-basiertes Dateisystem und setzen Ihre temporären Dateien dort. So werden die temporären Dateien im RAM gespeichert und nicht auf der Festplatte, so dass das Lesen/schreiben ist nahezu sofortige.

    • Temp-Dateien ist eine gute Idee.
    InformationsquelleAutor Max E.
  5. 3

    Sie benötigen, um sicherzustellen, dass Sie schreiben ganze Zeilen in eine einzige schreib-Operationen (also, wenn Sie mit irgendeiner form der stdio, die Sie brauchen, um es für die Linie, die Pufferung für mindestens die Länge der längsten Zeile, die Sie ausgeben können.) Da die shell verwendet O_APPEND für die >> Umleitung dann alle Ihr schreibt dann automatisch "anfügen", um die Datei ohne weitere Aktion auf Ihrem Teil.

    InformationsquelleAutor Neil
  6. 3

    Definitiv Nein, ich hatte eine log-management-Skript, wo ich davon ausgegangen, gearbeitet, und es hat funktioniert, bis ich es verschoben, um eine unter-Last-Produktion-server. Kein guter Tag... Aber im Grunde ist Sie am Ende mit manchmal völlig Durcheinander von Linien.

    Wenn ich versuche zu erfassen, aus mehreren Quellen, es ist viel einfacher (und leichter zu Debuggen), mit einem multiple-Datei "paper trails" und wenn ich eine über-all log-Datei, verketten, basierend auf Zeitstempel (Sie sind mit Zeit-Stempel, oder?) oder wie liori sagte, syslog.

    InformationsquelleAutor Bolster
  7. 1

    Kurz, Nein. >> nicht respektiert, mehrere Prozesse.

    InformationsquelleAutor Brian Agnew
  8. 0

    Neben der Idee der Verwendung von temporären Dateien, Sie können auch eine Art von Aggregation, wenn auch Sie würden noch brauchen, um sicherzustellen, dass Ihr schreibt, sind atomar.

    Denke Apache2 mit dem Pipe-Protokollierung (mit etwas, das wie die sich auf dem anderen Ende der Leitung, wenn Sie das Gefühl ehrgeizig). Das ist der Ansatz, den es braucht, mehrere threads/Prozesse teilen sich eine einzige Login-Prozess.

    InformationsquelleAutor Duncan
  9. 0

    Wie oben erwähnt, es ist eigentlich ein hack, aber funktioniert ziemlich gut =)

    ( ping stackoverflow.com & ping stackexchange.com & ping fogcreek.com ) | cat

    gleiche mit '>>' :

    ( ping stackoverflow.com & ping stackexchange.com & ping fogcreek.com ) >> log

    und mit exec auf dem letzten speichern Sie einen Prozess:

    ( ping stackoverflow.com & ping stackexchange.com & exec ping fogcreek.com ) | cat
    • In der ursprünglichen Frage, ich angeben, dass die Zeilen des Textes in der Ausgabe muss erhalten bleiben (d.h., Sie sollte nicht verwechselt werden mit jedem anderen). Wenn zwei ping-Anfragen immer wieder an genau der gleichen Zeit, nicht die Zeilen in deinem Beispiel "interleaved" (Vermischung mit jeder anderen)? Einige der anderen Antwort suggerieren, Sie wird...
    • Ich vermute, dieses Werk die meisten der Zeit, da die Ausgabe der einzelnen ping geht in ein Rohr, das Linux garantiert kein interleaving, solange jeder schreiben ist unter dem PIPE_BUF Größe (oft 4 KB). Es ist grundsätzlich nicht sicher, aber da gibt es keine Garantie, jedes schreiben per ping weniger als PIPE_BUF.
    InformationsquelleAutor lemonsqueeze
Schreibe einen Kommentar