Python FTPLib zu langsam?

Ich habe das Spiel mit Python-FTP-Bibliothek und fange an zu denken, dass Sie zu langsam ist, im Vergleich zu einem Skript-Datei in DOS? Ich führe Sitzungen, in denen ich laden Sie Tausende von Daten-Dateien (ich glaube, ich habe über 8 Mio jetzt). Meine Beobachtung ist, dass der download-Prozess scheint zu nehmen, fünf bis zehn mal so lange in Python, als es im Vergleich zu den ftp-Befehle in der DOS-shell.

Da ich nicht wollen, dass jemand zu beheben mein code, den ich habe, nicht enthalten jede. Ich bin mehr daran interessiert, Verständnis, wenn sich meine Beobachtung ist gültig "oder" wenn ich mehr basteln mit den Argumenten.

  • Es wäre schön zu sehen, Ihre python-Skript und die zugehörigen dos-batch-Datei-script zum Vergleich. In Ihrem python-Skript stellen Sie sicher, Sie verwenden Sie Ihre erste Verbindung.
  • Die Antwort unten (stackoverflow.com/a/26314086/3273031) zu sagen zu ändern Sie die Standard-Blockgröße wirklich sehr geholfen.
InformationsquelleAutor PyNEwbie | 2009-05-07
  1. 4

    FTPLib ist in Python implementiert, während Ihre "DOS-Script" ist ein script, das ruft eine kompilierte Befehl. Durch das ausführen dieses Befehls ist wahrscheinlich schneller als die Interpretation von Python-code. Wenn es zu langsam für Sie, schlage ich vor, rufen Sie die DOS-Eingabeaufforderung von Python mit der subprocess-Modul.

    • Danke, ich wusste über den subprocess-Modul. Ich habe mit SAS um ein Skript zu generieren, dass ich über die shell, aber ich würde gerne alles in Python, so dass ich studieren werde, das subprocess-Modul
    • Der Engpass in dieses kann der code ist sicherlich nicht in der python / C-code, aber wohl doch eher in den Netzwerk-Prozess (handshake, ping, dl; etc.). Dies kann nicht erklären, die geringe Geschwindigkeit hatte er festgestellt.
    • Unwahrscheinlich, da bekommt er eine gute Leistung mit kompiliertem code, der für eine sehr große Reihe von Messungen.
    InformationsquelleAutor Aaron Digulla
  2. 4

    define blocksize zusammen mit storbinary der ftp-Verbindung,so erhalten Sie von 1,5-3,0 x schneller Verbindung als FTP Filezilla 🙂

    from ftplib import FTP

USER = "Your_user_id"
PASS = "Your_password"
PORT = 21
SERVER = 'ftp.billionuploads.com' #use FTP server name here

ftp = FTP()
ftp.connect(SERVER, PORT)
ftp.login(USER, PASS)

try:
    file = open(r'C:\Python27\1.jpg','rb')
    ftp.storbinary('STOR ' + '1.jpg', file,102400) #here we store file in 100kb blocksize
    ftp.quit()
    file.close()
    print "File transfered"
except:
    print "Error in File transfering"
    InformationsquelleAutor sohom
  3. 3

    FTPlib ist vielleicht nicht die sauberste Python-API, ich glaube nicht, dass es so schlecht ist, dass es laufen zehn mal langsamer als eine DOS-shell Skript.

    Sofern Sie nicht jeden code zu vergleichen, e.g-shell und Sie python-snippet zu batch-dl 5000 Dateien, ich kann nicht sehen, wie wir Ihnen helfen können.

    • Danke für deine Antwort ich hatte keine Möglichkeit zu wissen, was zu erwarten ist
    InformationsquelleAutor e-satis
  4. 3

    Die Geschwindigkeit problem liegt wohl in deinem code. FTPlib ist nicht 10 mal langsamer.

    • Ist es langsamer, sprich ich möchte einfach eine Datei herunterladen. Ich rumprobiert und konnte es nicht mit dem Tempo auf eine 1,5 mb-Datei
    • vielleicht kann es nicht "passen Sie die Geschwindigkeit" jedoch ist es nicht 10 mal schneller. Messen Sie den speed-Unterschied durch das herunterladen viele unterschiedlich große Dateien, entweder alle auf einmal oder ein zu einer Zeit, und den Durchschnitt der Zeiten.
    • Sollten Sie vielleicht überdenken Sie Ihre Entscheidung, nicht posten den code, ich denke, du tust etwas blöd drauf.
    • Ich bin einverstanden mit diesem Vorschlag. Ich war etwas dumm in meinem code, und schnell laufen mit cProfile mir gesagt, was mein problem war. In meinem Fall war es das halten der empfangenen Daten in einem string und die schreiben es aus, nachdem die übertragung abgeschlossen war.
    InformationsquelleAutor nosklo
  5. 3

    Größere blocksize ist nicht immer das optimum.
    Zum Beispiel das hochladen der gleichen 167 MB-Datei über WLAN-Netzwerk auf demselben FTP-server bekam ich folgende Zeiten (in Sekunden) für verschiedene blocksizes:

    Blocksize  Time
102400       40
 51200       30
 25600       28
 32768       30
 24576       31
 19200       34
 16384       61
 12800      144

    In dieser Konfiguration die optimale rund 32768 (4x8192).

    Aber wenn ich WLAN anstelle, habe ich diese mal:

    Blocksize  Time
204800       78
102400       76
 51200       79
 25600       76
 32768       89
 24576       86
 19200       75
 16384      166
 12800      178
default     223

    In diesem Fall gab es mehrere optimale blocksize-Werte, alle anderen von 32768.

    InformationsquelleAutor Laszlo
  6. 1
    import ftplib
import time
ftp = ftplib.FTP("localhost", "mph")
t0 = time.time()
with open('big.gz.sav', 'wb') as f:
    ftp.retrbinary('RETR ' + '/Temp/big.gz', f.write)
t1 = time.time()
ftp.close()
ftp = ftplib.FTP("localhost", "mph")
t2 = time.time()
ftp.retrbinary('RETR ' + '/Temp/big.gz', lambda x: x)
t3 = time.time()
print "saving file: %f to %f: %f delta" % (t0, t1, t1 - t0)
print "not saving file: %f to %f: %f delta" % (t2, t3, t3 - t2)

    So, vielleicht auch nicht 10x. Aber meiner läuft von diesem speichern einer Datei werden alle oben 160s auf einem laptop mit einem core 1,8 Ghz core i7 und 8 GB ram (sollte overkill) unter Windows 7. Ein native-client hat es bei 100s. Ohne die Datei zu speichern, ich bin nur unter der 70er.

    Ich kam auf diese Frage, weil ich gesehen habe, langsam mit ftplib auf einem mac (ich werde erneut führen Sie den test erneut durchführen, sobald ich Zugang habe, die Maschine wieder). Zwar werde async mit der schreibt, könnte eine gute Idee sein, in diesem Fall auf einem realen Netzwerk, ich vermute, das wäre viel weniger ein Gewinn.

    • Vielen Dank für dieses posting, ich Schätze Ihre Einsichten
    InformationsquelleAutor Michael Hunter
  7. 1

    deaktivieren, ftplib und ausführen von ftp-Server über MS-DOS

    os.system('FTP -v -i -s:C:\\ndfd\\wgrib2\\ftpscript.txt')

    innen ftpscript.txt

    open example.com
username
password
!:--- FTP commands below here ---
lcd c:\MyLocalDirectory
cd  public_html/MyRemoteDirectory
binary
mput "*.*"
disconnect
bye
    InformationsquelleAutor virtualsets
Schreibe einen Kommentar