Wie verwenden Sie grep mit großen (Millionen) Anzahl der Dateien, die Suche nach einer Zeichenkette und erhalten das Ergebnis in wenigen Minuten

Diese Frage ist in Bezug auf
Wie Sie mit grep effiziente?

Ich versuche, die Suche nach einem "string" in einem Ordner mit 8-10 Millionen kleine (~2-3kb) nur-text-Dateien. Ich muss wissen, Sie alle Dateien, die die "string".

Zuerst habe ich dieses

grep "string"

War super langsam.

Dann habe ich versucht

grep * "string" {} \; -print

Basierend auf verknüpfte Frage, ich habe dieses 

 find . | xargs -0 -n1 -P8 grep -H "string"

Bekomme ich diesen Fehler:

xargs: argument line too long

Kennt jemand eine Möglichkeit, diese Aufgabe relativ schneller?

Ich betreibe diese Suche auf einer server-Maschine, die mehr als 50 GB an RAM zur Verfügung steht, und 14 Kernen der CPU. Ich wünschte irgendwie ich könnte mit allen, die Verarbeitungsleistung zum ausführen dieser Suche schneller.

  • Sie müssen wissen, in welcher Datei der string ist in? Oder ist es genug, um zu wissen, die Zeichenfolge in eine oder mehrere Dateien in das Verzeichnis?
  • Ich muss wissen, alle die mit dem Namen, wo die Zeichenfolge gefunden wurde.
InformationsquelleAutor Watt | 2013-10-30
  1. 13

    Sollten Sie entfernen -0 argument xargs und bis -n parameter statt:

    ... | xargs -n16 ...
    • +1 vielen Dank! es arbeitete. Ich werde warten, für ein paar andere Antworten, die vor der Annahme dieser als Antwort.
    • -n64 oder -n128 könnte eine realistischere Zahl.
    • ist n die Anzahl von Prozessen gleichzeitig verwendet werden?
    • man xargs zeigt [-n max-args] - und max-Prozesse ist -flag P: [-P max-procs]
    InformationsquelleAutor Alexander L. Belikoff
  2. 11

    Es nicht, dass große Stapel von Dateien (kudos to 10⁷-Dateien - eine messys Traum), aber ich erstellt 100k Dateien (400 MB in der Gesamtwertung) mit 

    for i in {1..100000}; do head -c 10 /dev/urandom > dummy_$i; done

    gemacht und einige tests für die Reine Neugier (das Schlüsselwort 10 war ich auf der Suche ist nach dem Zufallsprinzip ausgewählt):

    > time find . | xargs -n1 -P8 grep -H "10"
real 0m22.626s
user 0m0.572s
sys  0m5.800s

    > time find . | xargs -n8 -P8 grep -H "10"
real 0m3.195s
user 0m0.180s
sys  0m0.748s

    > time grep "10" *
real 0m0.879s
user 0m0.512s
sys  0m0.328s

    > time awk '/10/' *
real 0m1.123s
user 0m0.760s
sys  0m0.348s

    > time sed -n '/10/p' *
real 0m1.531s
user 0m0.896s
sys  0m0.616s

    > time perl -ne 'print if /10/' *
real 0m1.428s
user 0m1.004s
sys  0m0.408s

    Btw. es gibt nicht einen großen Unterschied in der Laufzeit, wenn ich das unterdrücken der Ausgabe mit Rohrleitungen STDOUT zu /dev/null. Ich bin mit Ubuntu 12.04 auf einem nicht so leistungsstarken laptop 😉
    Meine CPU ist Intel(R) Core(TM) i3-3110M CPU @ 2.40 GHz.

    Mehr Neugier:

    > time find . | xargs -n1 -P8 grep -H "10" 1>/dev/null

real 0m22.590s
user 0m0.616s
sys  0m5.876s

> time find . | xargs -n4 -P8 grep -H "10" 1>/dev/null

real m5.604s
user 0m0.196s
sys  0m1.488s

> time find . | xargs -n8 -P8 grep -H "10" 1>/dev/null

real 0m2.939s
user 0m0.140s
sys  0m0.784s

> time find . | xargs -n16 -P8 grep -H "10" 1>/dev/null

real 0m1.574s
user 0m0.108s
sys  0m0.428s

> time find . | xargs -n32 -P8 grep -H "10" 1>/dev/null

real 0m0.907s
user 0m0.084s
sys  0m0.264s

> time find . | xargs -n1024 -P8 grep -H "10" 1>/dev/null

real 0m0.245s
user 0m0.136s
sys  0m0.404s

> time find . | xargs -n100000 -P8 grep -H "10" 1>/dev/null

real 0m0.224s
user 0m0.100s
sys  0m0.520s
    • +1 Für das benchmarking und wichtige info
    InformationsquelleAutor EverythingRightPlace
  3. 0

    8 Millionen Dateien ist eine Menge in einem Verzeichnis! Aber 8 Millionen mal 2kb ist 16GB, und Sie haben 50 GB RAM. Ich bin am überlegen von einer RAMdisk...

    • Ja, es sind zu viele Dateien in einem Ordner. Können Sie bitte erläutern Sie Ihre Lösung auf, wie die Suche nach der "string" schneller?
    • Leider habe ich nicht doch eine Lösung... ich bin immer noch versuchen zu verstehen, die Parameter für die Frage. Welches OS verwenden Sie? Welches Dateisystem benutzt du? Haben Sie versucht mit der "find" - Befehl auf seine eigenen und timing? Zeit zu finden . | wc -l
    • OS: Ubuntu (neueste version) . Finden zurückgegebene Ergebnis innerhalb von 2 Sekunden
    InformationsquelleAutor Mark Setchell
  4. -3

    Hast du so viel RAM, warum nicht Lesen es alle in den Speicher, und verwenden Sie einen regulären Ausdruck-Bibliothek zu suchen? Es ist ein einfaches C-Programm:

        #include <fcntl.h>
    #include <regex.h>
    ...
    InformationsquelleAutor Anonymous
Schreibe einen Kommentar