Gewusst wie: Erfassen von Netzwerk-Pakete zu MySQL

Ich werde das design ein network Analyzer für WLAN (802.11)
Derzeit nutze ich tshark zu erfassen und zu analysieren, die WiFi-frames und leiten Sie die Ausgabe an ein perl-Skript zum speichern der analysierten Daten auf die Mysql-Datenbank.

Ich habe gerade erfahren, dass ich vermisse eine Menge von frames in diesem Prozess. Ich überprüft, und die Rahmen scheinen verloren zu gehen, während das Rohr (wenn der Ausgang geliefert wird, um perl zu bekommen srored in Mysql)
Hier steht wie es geht

(Tshark) ------- frames verloren gegangen sind----> (Perl) --------> (MySQL)
dies ist, wie ich, leiten Sie die Ausgabe von tshark Skript:

sudo tshark -i mon0 -t ad -T fields -e frame.time -e frame.len -e frame.cap_len -e radiotap.length | perl tshark-sql-capture.pl

dies ist einfache template-perl-Skript, das ich benutze (tshark-sql-capture.pl)

# preparing the MySQL
my $dns = "DBI:mysql:capture;localhost";
my $dbh = DBI->connect($dns,user,pass);
my $db = "captured";

while (<STDIN>) {
    chomp($data = <STDIN>);
    ($time, $frame_len, $cap_len, $radiotap_len) = split "  ", $data;
    my $sth = $dbh-> prepare("INSERT INTO $db VALUES (str_to_date('$time','%M %d, %Y %H:%i:%s.%f'), '$frame_len', '$cap_len', '$radiotap_len'\n)" );
    $sth->execute;
}

#Terminate MySQL
$dbh->disconnect;

Jede Idee, die helfen können, um die Leistung besser gewürdigt wird.Oder vielleicht gibt es einen Alternativen Mechanismus, der es besser kann.
Jetzt meine Leistung ist 50% bedeutet, ich kann speichern in mysql etwa die Hälfte der Pakete, die ich ' V erfasst.

Deaktivieren Sie alle Tasten, die Sie haben auf der capture-Tabelle. Jedes einzelne update verursachen wird der Schlüssel aktualisiert werden, das kann ein großer Verlangsamung, wenn Sie eine insert-Sturm. Schalten Sie Schlüssel, dann neu erstellen/aktivieren Sie den index, nachdem Sie fertig sind das einfügen.

InformationsquelleAutor hra | 2011-09-13

  1. 1

    Dinge geschrieben, die in einem Rohr nicht verloren gehen, was wahrscheinlich wirklich passiert ist, dass tshark versucht zum schreiben in die pipe, aber perl+mysql ist zu langsam bei der Eingabe, so die pipeb voll ist, schreiben Sie blockieren würden, so tshark einfach verwirft die Pakete.

    Engpass könnte sein, entweder MySQL oder Perl selbst, sondern vermutlich die DB. Überprüfen Sie die CPU-Auslastung Messen insert-rate. Dann wählen Sie eine schnellere DB oder schreiben auf mehrere DBs. Sie können auch versuchen, batch-Einsätze und die Erhöhung der Größe des pipe-Puffers.

    Update

    while (<STDIN>)

    dieser liest eine Zeile in $_, dann ignorieren Sie es.

    Ich meine gefiltert tshark erfassen, damit ich decresed die Bildrate der Aufnahme zu e ist.x 10 pro min. Das problem wurde sogar noch schlimmer. Ich sehe kein Bild in der DB!!! Es scheint, dass ich möglicherweise ein problem mit meinen perl. Ich Frage mich, wie kann ich in einer Textdatei die als Puffer zwischen Tshark und Perl. also ich kann Sie asynchronize!! thsrak--->Textdatei als Puffer--->Perl - ---->MySQL Das problem ist, dass ich nicht weiß, wie kann ich damit die Datei öffnen und weiter zu Lesen die Datei, sobald neue frames in die Datei geschrieben wird??! Haben Sie eine Idee?
    ahhh. siehe update.
    yey. Danke!! Das löste mein erstes problem jetzt in heavy-frame-rate habe ich fast 100% Leistung!!!! Aber wenn ich langsamer die frame-rate, um z.B. 10 frames pro minute, die ich nicht erfassen kann-frames. Wissen Sie, was passiert, wenn das perl-Skript beenden der while-Schleife und nach, während (e.g 10 Minuten) ein weiteres Paket ist gefangen von den tshark. Ich denke, ich sollte gehen, um zu studieren, mehr darüber, wie Leitung funktioniert in linux!!
    auch man stdbuf

    InformationsquelleAutor Karoly Horvath

  2. 0

    können Sie verwenden eine FIFO-Datei, dann Lesen Sie die Pakete und fügt Sie in die mysql-insert-delay.

    sudo tshark -i mon0 -t ad -T fields -e frame.time -e frame.len -e frame.cap_len -e radiotap.length > MYFIFO

    InformationsquelleAutor carloscardo00

  3. 0

    Rohr-Probleme, verbessern Sie die Paketerfassung mit GULP http://staff.washington.edu/corey/gulp/

    Aus der Man-pages:

    1) reduce packet loss of a tcpdump packet capture:
      (gulp -c works in any pipeline as it does no data interpretation)

        tcpdump -i eth1 -w - ... | gulp -c > pcapfile
      or if you have more than 2, run tcpdump and gulp on different CPUs
        taskset -c 2 tcpdump -i eth1 -w - ... | gulp -c > pcapfile

      (gulp uses CPUs #0,1 so use #2 for tcpdump to reduce interference)

    InformationsquelleAutor nergeia

Schreibe einen Kommentar