rsync-Kompression und wie es funktioniert

Bin ich mit rsync ein backup einer großen Menge von Dateien (auf einem Ubuntu-Linux-server) an einen cloud-Netzwerk-Dienst über WebDav. Weil mein Netzwerkgeschwindigkeit ist meine Flasche-Einschnürung Faktor, ich dachte, ich würde verwenden rsync -z (Kompression) um die Dateigröße zu reduzieren und hoffentlich verringern Sie den Engpass.

Sowieso, während die Erforschung der Zweck und die Verwendung von rsync mit der Kompression weiß ich nicht scheinen, um herauszufinden, eine Antwort auf genau das, was es tut.

Grundsätzlich scheint es, dass rsync komprimiert die Daten, überträgt Sie, dann dekomprimiert die Daten. Allerdings, es macht nicht viel Sinn zu mir, dass rsync dekomprimiert die Daten, nachdem Sie gesendet wurde, auf die cloud als das verlangen würde, dass der cloud-service-Daten zu Dekomprimieren, das glaube ich nicht passiert.

Meine Frage ist, macht rsync mit Komprimierung tatsächlich komprimieren und Dekomprimieren von Daten, das senden über WebDav oder FTP oder einem anderen Netzwerk-zu-Netzwerk-Protokoll? und wenn es nicht hilft mir, dann in welchem Szenario würde die compression-flag mir helfen, lokaler sync über USB-2.0 zum Beispiel?

Was ist den rsync-Befehl? Ja, wenn kein rsync-server auf der FB, es ist cp. Intern gibt es die zlib in rsync (alten-Algorithmus mit rsync Modifikationen - code.metager.de/source/xref/rsync/zlib/README.rsync und speziellen überspringen Liste der komprimierten Datei Durchwahlnummern wie gz/zip/.../bz2/7z nicht zu tun, Komprimierung). Dokumentiert: code.metager.de/source/xref/rsync/doc/rsync.sgml#124 "-z .. mit einer modifizierten version des @command{zlib} - Bibliothek." & linux.die.net/man/1/rsync "Dieses Programm verwendet die ausgezeichnete zlib compression library, geschrieben von Jean-loup Gailly und Mark Adler."
Ist Ihr webdav montiert und sieht aus wie lokale Ordner (es kann versuchen, mit ihm zu arbeiten, wie es ist, lokale Ordner - mit viel Lesen)? Warum nicht versuchen, zu deaktivieren, alle Kompressions-und delta-Methoden, die von rsync (-W, --whole-file copy files whole (w/o delta-xfer algorithm) doc download.samba.org/pub/rsync/rsync.html)?
mein rsync Befehl ist rsync -avzc /source/ /WebDAV_folder/

InformationsquelleAutor electricjelly | 2017-04-26

  1. 1

    Wo ist die WebDAV-Ordner gemountet?

    Wenn es auf der lokalen Maschine ist, bekommst du nur zusätzlichen overhead mit keine performance-Gewinne, da die CPU zu tun hat doppelte Arbeit zu komprimieren und sofort entpacken, bevor du Sie in den gemounteten Ordner, die dann an den remote-server mithilfe des WebDAV-Protokolls.

    rsync macht die Kompression während der übertragung mit zlib. Wenn Sie nicht tun, differential überträgt, dann scp bietet eine schnellere performance durch den zusätzlichen overhead in der rsync Algorithmus zum vergleichen von änderungen in der Datei-Verzeichnis-Bäume (obwohl scp keinen komprimieren-in-transit-option).

    Kompression ist nicht immer die Antwort obwohl. Wenn Ihr Netzwerk ist der Flaschenhals dann macht es den Prozess beschleunigen, aber wenn Sie Ihre CPU% ist ausgereizt, es wird nur der Prozess langsamer.

    rsync nicht komprimieren komprimierte Dateitypen (da die performance tradeoff-Verhältnis komprimieren diese Art von Dateien ist sehr gering) wie JPEG, LZO, LZMA/2, ZIP, GZIP, etc.

    "rsync funktioniert die Komprimierung während der übertragung mit der LZO-Algorithmus." - tut es das? Es ist die zlib in doc download.samba.org/pub/rsync/rsync.html und der lzo-nur ist in der Liste der übersprungen wird für die Komprimierung, Datei-Erweiterungen Liste. Und es ist "Dieses Programm verwendet die ausgezeichnete zlib compression library". Auch - haben Sie überprüft, dass die lokalen rsync startet client und server und es wirklich sendet Token zwischen Ihnen, oder es funktioniert einfach alle arbeiten in Einzel-Prozess ohne Versand und ohne Kompression.
    rsync führen Kompression/Dekompression in-transit via IPC. Dies ist wesentlich langsamer als ohne die-z-flag, das ist effektiv ein mv Befehl, also ja, es beginnt sowohl für client/server und stellt eine Reihe von Token. Er funktioniert nicht in einem einzigen Prozess. Mit Bezug auf die Verwendung zlib ich verwirrt die Kompression Algorithmus rsync verwendet mit einem anderen Protokoll, so entschuldige ich mich dafür. Ich habe editiert, der ursprüngliche Beitrag, um dies zu reflektieren.
    Also von dem, was ich verstehe von deiner Antwort, rsync Kompression über eine lokal gemounteten WebDAV nicht tun, weil es einfach nur überträgt es dann dekomprimiert es die lokalen Ordner und letztlich nicht helfen, die eventuelle übertragung über das Netzwerk.
    ja

    InformationsquelleAutor craidz

Schreibe einen Kommentar