Wie können Sie ein Skript profilieren?

Projekt Euler und andere coding-Wettbewerbe haben oft eine maximale Laufzeit oder Menschen rühmen, wie schnell Ihre Lösung läuft. Mit python, manchmal sind die Ansätze sind etwas kludgey - D. H., das hinzufügen von timing-code zu __main__.

Was ist ein guter Weg, um ein Profil, wie lange ein python-Programm ausführen?

Kommentar zu dem Problem
Projekt euler-Programme nicht benötigen, sollten profiling. Entweder du hast einen Algorithmus, der in weniger als einer minute, oder Sie haben völlig den falschen Algorithmus. "Tuning" ist selten angebracht. Sie haben in der Regel zu einem offeneren Ansatz. Kommentarautor: S.Lott
S. Lott: Profiling ist oft ein hilfreiches Mittel, um zu bestimmen, welche Unterprogramme sind langsam. Unterprogramme, die eine lange Zeit dauern, sind große Kandidaten für die Algorithmische Verbesserung. Kommentarautor: stalepretzel
@stalepretzel, Dave: ich schrieb diesen Kommentar Jahren. Ich stehe korrigiert, und habe da beantwortet ein paar meiner eigenen Fragen :). Allerdings habe ich immer noch das Gefühl, cProfile ist nicht so toll. runsnakerun und pycallgraph sind für mich einfacher zu bedienen. Kommentarautor: gatoatigrado
Wenn Sie wissen wollen, wie lange etwas dauert, für den Zweck des Wettbewerbs, dann sollten Sie nicht fügen Sie alle profiling-code, da wird es langsam nach unten. Verwenden Sie einfach die unix Zeit - Befehl, und es wird Ihnen sagen, wie lange etwas gedauert hat. Kommentarautor: dalore

InformationsquelleAutor der Frage Chris Lawlor | 2009-02-24

  1. Python enthält einen profiler genannt cProfile. Es gibt nicht nur die Laufzeit, sondern auch mal jede Funktion separat, und sagt Ihnen, wie oft jede Funktion aufgerufen wurde, so dass es leicht zu bestimmen, wo Sie sollten machen Optimierungen.

    Rufen Sie es in Ihrem code, oder den interpreter, wie diese:

    import cProfile
cProfile.run('foo()')

    Sogar sinnvoller, Sie rufen die cProfile, wenn ein Skript ausgeführt wird:

    python -m cProfile myscript.py

    Machen es noch einfacher, ich machte eine kleine batch-Datei namens " profile.bat':

    python -m cProfile %1

    Also alles, was ich tun müssen, ist laufen:

    profile euler048.py

    Und ich bekomme diese:

    1007 function calls in 0.061 CPU seconds

Ordered by: standard name
ncalls  tottime  percall  cumtime  percall filename:lineno(function)
    1    0.000    0.000    0.061    0.061 <string>:1(<module>)
 1000    0.051    0.000    0.051    0.000 euler048.py:2(<lambda>)
    1    0.005    0.005    0.061    0.061 euler048.py:2(<module>)
    1    0.000    0.000    0.061    0.061 {execfile}
    1    0.002    0.002    0.053    0.053 {map}
    1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler objects}
    1    0.000    0.000    0.000    0.000 {range}
    1    0.003    0.003    0.003    0.003 {sum}

    EDIT: Aktualisierter link zu einem guten video-Ressource von der PyCon 2013 mit dem Titel
    Python-Profiling.

    InformationsquelleAutor der Antwort Chris Lawlor

  2. 344

    Vor einer Weile machte ich pycallgraph erzeugt eine Visualisierung von Ihrem Python-code. Edit: ich habe aktualisiert das Beispiel funktioniert mit der neuesten Version.

    Nach einem pip install pycallgraph und installieren GraphViz Sie können es von der Befehlszeile aus:

    pycallgraph graphviz -- ./mypythonscript.py

    Oder, können Sie ein Profil bestimmte Teile des Codes:

    from pycallgraph import PyCallGraph
from pycallgraph.output import GraphvizOutput

with PyCallGraph(output=GraphvizOutput()):
    code_to_profile()

    Entweder von diesen, generieren eine pycallgraph.png - Datei ähnlich wie das Bild unten:

    Wie können Sie ein Skript profilieren?

    InformationsquelleAutor der Antwort Gerald Kaszuba

  3. 165

    Es ist darauf hinzuweisen, dass mit dem profiler funktioniert nur (standardmäßig) auf der main-thread, und Sie erhalten keine Informationen aus anderen threads, wenn Sie Sie verwenden. Dies kann ein bisschen ein Manko, da es komplett unerwähnt in der profiler-Dokumentation.

    Wenn Sie wollen auch, um ein Profil der threads, Sie werden wollen, schauen Sie sich die threading.setprofile() - Funktion in der Dokumentation.

    Könnten Sie auch Ihre eigenen erstellen threading.Thread Unterklasse, es zu tun:

    class ProfiledThread(threading.Thread):
    # Overrides threading.Thread.run()
    def run(self):
        profiler = cProfile.Profile()
        try:
            return profiler.runcall(threading.Thread.run, self)
        finally:
            profiler.dump_stats('myprofile-%d.profile' % (self.ident,))

    verwenden und diese ProfiledThread Klasse, anstatt der standard. Es könnte Ihnen mehr Flexibilität, aber ich bin mir nicht sicher, es lohnt sich, vor allem, wenn Sie Verwendung von Drittanbieter-code, die würden nicht mit Ihrer Klasse.

    InformationsquelleAutor der Antwort Joe Shaw

  4. 125

    Python-wiki ist eine tolle Seite für profiling-Ressourcen:
    http://wiki.python.org/moin/PythonSpeed/PerformanceTips#Profiling_Code

    da ist der python-Dokumentation:
    http://docs.python.org/library/profile.html

    wie dargestellt von Chris Lawlor cProfile ist ein großes Werkzeug und kann leicht verwendet werden, um Druck auf den Bildschirm:

    python -m cProfile -s time mine.py <args>

    oder Datei:

    python -m cProfile -o output.file mine.py <args>

    PS> Wenn Sie Ubuntu, stellen Sie sicher, dass Sie python-Profil

    sudo apt-get install python-profiler

    Wenn Sie Ausgabe in Datei Sie können erhalten schöne Visualisierungen mithilfe der folgenden tools

    PyCallGraph : ein tool zum erstellen von call-graph-Bilder

    installieren:

     sudo pip install pycallgraph

    run:

     pycallgraph mine.py args

    anzeigen:

     gimp pycallgraph.png

    Können Sie verwenden, was Sie, wie anzeigen der png-Datei, die ich benutzt gimp

    Leider bekomme ich oft

    dot: graph zu groß für cairo-renderer-bitmaps. Skalierung von 0.257079 passen

    das macht meine Bilder unusably klein. Also ich Regel erstellen, die svg-Dateien:

    pycallgraph -f svg -o pycallgraph.svg mine.py <args>

    PS> stellen Sie sicher, installieren Sie graphviz (das die dot-Programm):

    sudo pip install graphviz

    Alternative Grafische Darstellung mit gprof2dot via @maxy /@quodlibetor :

    sudo pip install gprof2dot
python -m cProfile -o profile.pstats mine.py
gprof2dot -f pstats profile.pstats | dot -Tsvg -o mine.svg

    InformationsquelleAutor der Antwort brent.payne

  5. 113

    @Maxy Kommentar diese Antwort mir geholfen, genug, dass ich denke, es verdient eine eigene Antwort: ich hatte schon cProfile-generiert .pstats-Dateien und ich wollte nicht wieder Dinge laufen mit pycallgraph, so habe ich gprof2dot, und bekam ziemlich svgs:

    $ sudo apt-get install graphviz
$ git clone https://github.com/jrfonseca/gprof2dot
$ ln -s "$PWD"/gprof2dot/gprof2dot.py ~/bin
$ cd $PROJECT_DIR
$ gprof2dot.py -f pstats profile.pstats | dot -Tsvg -o callgraph.svg

    und BLAM!

    Es nutzt die dot (die gleiche Sache, die pycallgraph) verwendet, damit die Ausgabe sieht ähnlich aus. Ich habe den Eindruck, dass gprof2dot verliert weniger Informationen, obwohl:

    Wie können Sie ein Skript profilieren?

    InformationsquelleAutor der Antwort quodlibetor

  6. 40

    Rannte ich in ein praktisches tool namens SnakeViz bei den Recherchen zu diesem Thema. SnakeViz ist eine web-basierte profiling-Visualisierungs-tool. Es ist sehr einfach zu installieren und zu verwenden. Die übliche Art, wie ich es zu generieren, eine stat-Datei mit %prun und führen Sie dann die Analyse in SnakeViz.

    Den Haupt-viz Technik verwendet, ist Sunburst-Diagramm wie unten dargestellt, in dem die Hierarchie der Funktionsaufrufe ist angeordnet wie die Schichten von Bögen und Zeit info-codiert in Ihrem eckigen breiten.

    Das beste ist, Sie können die Interaktion mit dem Diagramm. Zum Beispiel, um zu vergrößern kann man auf auf einem Bogen, und der Bogen und seine Nachkommen erweitert werden, als neue sunburst, um weitere details anzuzeigen.

    Wie können Sie ein Skript profilieren?

    InformationsquelleAutor der Antwort zaxliu

  7. 33

    Erwähnenswert ist auch die GUI cProfile dump viewer RunSnakeRun. Es ermöglicht Ihnen, zu Sortieren und auszuwählen, dabei Zoom auf die relevanten Teile des Programms. Die Größe der Rechtecke im Bild ist proportional zu der Zeit genommen. Wenn Sie mit der Maus über ein Rechteck, es hervorgehoben, dass der Aufruf in der Tabelle und überall auf der Karte. Wenn Sie doppelklicken Sie auf ein Rechteck, es zoomt auf den Teil. Es wird dir zeigen, wer fordert, dass Teil ist und was das Teil nennt.

    Den deskriptiven Informationen, ist sehr hilfreich. Es zeigt Ihnen den code für das bit, das kann hilfreich sein, wenn man es mit built-in library-Aufrufe. Es sagt Ihnen welche Datei und welche Zeile finden Sie den code.

    Wollen auch zeigen, dass der OP sagte 'profiling', aber es scheint, er hat gemeint 'timing'. Beachten Programme laufen langsamer, wenn profilierte.

    Wie können Sie ein Skript profilieren?

    InformationsquelleAutor der Antwort Pete

  8. 29

    Ich denke, dass cProfile ist ideal für die Profilerstellung, während kcachegrind ist ideal für die Visualisierung der Ergebnisse. Die pyprof2calltree zwischen Griffen die Datei-Konvertierung.

    python -m cProfile -o script.profile script.py
pyprof2calltree -i script.profile -o script.calltree
kcachegrind script.calltree

    Zur Installation der erforderlichen tools (Ubuntu zumindest):

    apt-get install kcachegrind
pip install pyprof2calltree

    Das Ergebnis:

    Wie können Sie ein Skript profilieren?

    InformationsquelleAutor der Antwort Federico

  9. 27

    Einen schönen profiling-Modul ist die line_profiler (Aufruf über das Skript kernprof.py). Es kann heruntergeladen werden hier.

    Mein Verständnis ist, dass cProfile gibt nur Informationen über die gesamte Zeit verbrachte, in jeder Funktion. So dass die einzelnen code-Zeilen sind nicht zeitbegrenzt. Dies ist ein Problem im wissenschaftlichen rechnen, da oft nur eine einzige Zeile kann viel Zeit in Anspruch nehmen. Auch, wie ich mich erinnere, cProfile nicht fangen zu der Zeit verbrachte ich in sagen numpy.dot.

    InformationsquelleAutor der Antwort Ian Langmore

  10. 27

    pprofile

    line_profiler (bereits hier vorgestellt) auch inspiriert - pprofile, die beschrieben wird als:

    Line-Granularität, thread-aware-deterministische und statistische pure-python
    profiler

    Es verfügt über line-Granularität als line_profiler ist reines Python, verwendet werden kann als standalone-Befehl oder ein Modul, und kann sogar zu generieren callgrind-format-Dateien können leicht analysiert werden mit [k|q]cachegrind.

    vprof

    Gibt es auch vprof, ein Python-Paket beschrieben als:

    [...] die Bereitstellung von reichhaltigen und interaktiven Visualisierungen für verschiedene Python-Programm Merkmalen wie Laufzeit und Speicherverbrauch.

    Wie können Sie ein Skript profilieren?

    InformationsquelleAutor der Antwort BenC

  11. 11

    Folgenden Joe Shaw die Antwort von multi-threaded code nicht wie erwartet funktioniert, dachte ich, dass die runcall Methode in cProfile ist bloß tun self.enable() und self.disable() Anrufe rund um die profilierte Funktionsaufruf, so können Sie einfach selbst erledigen und haben, was code, den Sie möchten, in-zwischen mit minimaler Interferenz mit den bestehenden code.

    InformationsquelleAutor der Antwort PypeBros

  12. 10

    In Virtaal ist Quelle es ist eine sehr nützliche Klasse und Lackierer, die machen können, profiling (auch für spezifische Methoden/Funktionen) sehr einfach. Die Ausgabe kann dann eingesehen werden, die sehr bequem in KCacheGrind.

    InformationsquelleAutor der Antwort Walter

  13. 9

    Gibt es eine Menge tolle Antworten, aber Sie entweder Befehlszeile oder irgendein externes Programm zur Profilerstellung und/oder Sortierung der Ergebnisse.

    Ich wirklich vermisst gewisser Weise könnte ich in meiner IDE (eclipse-PyDev) ohne Berührung der Befehlszeile oder etwas zu installieren. So ist es hier.

    Profiling ohne command line

    def count():
    from math import sqrt
    for x in range(10**5):
        sqrt(x)

if __name__ == '__main__':
    import cProfile, pstats
    cProfile.run("count()", "{}.profile".format(__file__))
    s = pstats.Stats("{}.profile".format(__file__))
    s.strip_dirs()
    s.sort_stats("time").print_stats(10)

    Sehen docs oder andere Antworten für mehr info.

    InformationsquelleAutor der Antwort David Mašek

  14. 9

    Einfachste und Schnellste Weg zu finden, wo alle Zeit ist zu gehen.

    1. pip install snakeviz

2. python -m cProfile -o temp.dat <PROGRAM>.py

3. snakeviz temp.dat

    Zeichnet ein Kreisdiagramm in einem browser. Größte Stück ist das problem der Funktion. Einfach.

    InformationsquelleAutor der Antwort CodeCabbie

  15. 8

    cProfile ist ideal für schnelle Profilerstellung, aber die meisten der Zeit, es war Ende für mich mit dem Fehler. Funktion runctx löst dieses problem durch die Initialisierung richtig die Umgebung und Variablen, hoffe, es kann nützlich sein für jemanden:

    import cProfile
cProfile.runctx('foo()', None, locals())

    InformationsquelleAutor der Antwort Datageek

  16. 6

    Mein Weg ist yappi (https://code.google.com/p/yappi/). Es ist besonders nützlich in Kombination mit einem RPC-server, wo (auch nur zum Debuggen) Sie registrieren-Methode zum starten, beenden und drucken profiling-Informationen, z.B. in dieser Art: 

    @staticmethod
def startProfiler():
    yappi.start()

@staticmethod
def stopProfiler():
    yappi.stop()

@staticmethod
def printProfiler():
    stats = yappi.get_stats(yappi.SORTTYPE_TTOT, yappi.SORTORDER_DESC, 20)
    statPrint = '\n'
    namesArr = [len(str(stat[0])) for stat in stats.func_stats]
    log.debug("namesArr %s", str(namesArr))
    maxNameLen = max(namesArr)
    log.debug("maxNameLen: %s", maxNameLen)

    for stat in stats.func_stats:
        nameAppendSpaces = [' ' for i in range(maxNameLen - len(stat[0]))]
        log.debug('nameAppendSpaces: %s', nameAppendSpaces)
        blankSpace = ''
        for space in nameAppendSpaces:
            blankSpace += space

        log.debug("adding spaces: %s", len(nameAppendSpaces))
        statPrint = statPrint + str(stat[0]) + blankSpace + " " + str(stat[1]).ljust(8) + "\t" + str(
            round(stat[2], 2)).ljust(8 - len(str(stat[2]))) + "\t" + str(round(stat[3], 2)) + "\n"

    log.log(1000, "\nname" + ''.ljust(maxNameLen - 4) + " ncall \tttot \ttsub")
    log.log(1000, statPrint)

    Dann, wenn dein Programm funktioniert, können Sie beginnen profiler jederzeit durch aufrufen der startProfiler RPC-Methode und dump-profiling-Informationen in die log-Datei durch den Aufruf printProfiler (oder ändern Sie die rpc-Methode an den Aufrufer zurückgeben), und bekommen Sie eine solche Ausgabe:

    2014-02-19 16:32:24,128-|SVR-MAIN  |-(Thread-3   )-Level 1000: 
name                                                                                                                                      ncall     ttot    tsub
2014-02-19 16:32:24,128-|SVR-MAIN  |-(Thread-3   )-Level 1000: 
C:\Python27\lib\sched.py.run:80                                                                                                           22        0.11    0.05
M:\02_documents\_repos\09_aheadRepos\apps\ahdModbusSrv\pyAheadRpcSrv\xmlRpc.py.iterFnc:293                                                22        0.11    0.0
M:\02_documents\_repos\09_aheadRepos\apps\ahdModbusSrv\serverMain.py.makeIteration:515                                                    22        0.11    0.0
M:\02_documents\_repos\09_aheadRepos\apps\ahdModbusSrv\pyAheadRpcSrv\PicklingXMLRPC.py._dispatch:66                                       1         0.0     0.0
C:\Python27\lib\BaseHTTPServer.py.date_time_string:464                                                                                    1         0.0     0.0
c:\users\zasiec~1\appdata\local\temp\easy_install-hwcsr1\psutil-1.1.2-py2.7-win32.egg.tmp\psutil\_psmswindows.py._get_raw_meminfo:243     4         0.0     0.0
C:\Python27\lib\SimpleXMLRPCServer.py.decode_request_content:537                                                                          1         0.0     0.0
c:\users\zasiec~1\appdata\local\temp\easy_install-hwcsr1\psutil-1.1.2-py2.7-win32.egg.tmp\psutil\_psmswindows.py.get_system_cpu_times:148 4         0.0     0.0
<string>.__new__:8                                                                                                                        220       0.0     0.0
C:\Python27\lib\socket.py.close:276                                                                                                       4         0.0     0.0
C:\Python27\lib\threading.py.__init__:558                                                                                                 1         0.0     0.0
<string>.__new__:8                                                                                                                        4         0.0     0.0
C:\Python27\lib\threading.py.notify:372                                                                                                   1         0.0     0.0
C:\Python27\lib\rfc822.py.getheader:285                                                                                                   4         0.0     0.0
C:\Python27\lib\BaseHTTPServer.py.handle_one_request:301                                                                                  1         0.0     0.0
C:\Python27\lib\xmlrpclib.py.end:816                                                                                                      3         0.0     0.0
C:\Python27\lib\SimpleXMLRPCServer.py.do_POST:467                                                                                         1         0.0     0.0
C:\Python27\lib\SimpleXMLRPCServer.py.is_rpc_path_valid:460                                                                               1         0.0     0.0
C:\Python27\lib\SocketServer.py.close_request:475                                                                                         1         0.0     0.0
c:\users\zasiec~1\appdata\local\temp\easy_install-hwcsr1\psutil-1.1.2-py2.7-win32.egg.tmp\psutil\__init__.py.cpu_times:1066               4         0.0     0.0

    Kann es nicht sehr nützlich für kurze Skripte, sondern hilft bei der Optimierung von server-Typ-Verfahren vor allem angesichts der printProfiler Methode aufgerufen werden kann mehrere Male im Laufe der Zeit an Profil und vergleichen Sie z.B. unterschiedliche Programm-Nutzungs-Szenarien.

    InformationsquelleAutor der Antwort Mr. Girgitt

  17. 3

    Immer einmal wissen wollte, was die Hölle, das python-Skript ist zu tun? Geben Sie die
    Überprüfen Sie Die Shell. Prüfen Shell können Sie drucken/alter globals und ausführen
    Funktionen, die ohne Unterbrechung des Laufenden scripts. Jetzt mit
    die automatische Vervollständigung und Befehls-history (nur auf linux).

    Untersuchen Shell ist nicht eine pdb-Stil-debugger.

    https://github.com/amoffat/Inspect-Shell

    Könnten Sie (und Ihre Armbanduhr).

    InformationsquelleAutor der Antwort Colonel Panic

  18. 3

    Um add-on zu https://stackoverflow.com/a/582337/1070617,

    Schrieb ich dieses Modul können Sie verwenden, cProfile, und beobachten Sie die Ausgabe einfach. Mehr hier: https://github.com/ymichael/cprofilev

    $ python -m cprofilev /your/python/program
# Go to http://localhost:4000 to view collected statistics.

    Siehe auch: http://ymichael.com/2014/03/08/profiling-python-with-cprofile.html auf, wie sinnvoll die gesammelten Statistiken.

    InformationsquelleAutor der Antwort michael

  19. 3

    Einem neuen Werkzeug um die Profilerstellung in Python ist PyVmMonitor: http://www.pyvmmonitor.com/

    Es hat einige einzigartige features wie

    • Befestigen profiler, um eine laufende (CPython) Programm
    • - On-demand-profiling mit Yappi integration
    • Profil auf einer anderen Maschine
    • Mehrere Prozesse unterstützen (multiprocessing, django,...)
    • Live-sampling/CPU-Ansicht (mit time-range-Auswahl)
    • Deterministische profiling durch cProfile/Profil integration
    • Analyse der bestehenden PStats Ergebnisse
    • Öffnen DOT-Dateien
    • Programatic API-Zugriff
    • Gruppe Proben durch die Methode oder Zeile
    • PyDev integration
    • PyCharm integration

    Hinweis: es ist kommerziell, aber kostenlos für open source.

    InformationsquelleAutor der Antwort Fabio Zadrozny

  20. 1

    Es ist auch ein statistischer profiler genannt statprof. Es ist ein sampling-profiler, also es fügt nur einen minimalen Aufwand, um Ihren code und gibt line-basiert (nicht nur die Funktion-basierte) timings. Es ist mehr geeignet, um weiche Echtzeit-Anwendungen wie Spiele, aber möglicherweise weniger präzise als cProfile.

    Den version im pypi ist ein bisschen alt, so kann es installieren, mit pip durch die Angabe das git-repository:

    pip install git+git://github.com/bos/statprof.py@1a33eba91899afe17a8b752c6dfdec6f05dd0c01

    Können Sie es wie diese:

    import statprof

with statprof.profile():
    my_questionable_function()

    Siehe auch https://stackoverflow.com/a/10333592/320036

    InformationsquelleAutor der Antwort z0r

  21. 1

    Es würde davon abhängen, was Sie sehen wollen, aus der Profilerstellung. Einfach mal
    Metriken können gegeben sein durch (bash). 

    time python python_prog.py

    Sogar '/usr/bin/time " kann die Ausgabe mit detaillierten Daten durch die mit der '--verbose' flag.

    Überprüfen, Zeit-Metrik gegeben, indem Sie jede Funktion und besser zu verstehen, wie viel Zeit damit verbracht wird, auf Funktionen, die Sie verwenden können, die eingebaute cProfile in python.

    Gehen in mehr detaillierte Kennzahlen wie Leistung, Zeit ist nicht die einzige Metrik. Sie können sorgen über Speicher, threads, etc.

    Profiling-Optionen:

    1. line_profiler ist ein weiterer profiler Häufig verwendet, um herauszufinden, timing Metriken line-by-line.

    2. memory_profiler ist ein Werkzeug, um ein Profil der Speichernutzung.

    3. heapy (aus Projekt Guppy) Profil, wie die Objekte im heap verwendet werden.

    Diese sind einige der häufigsten diejenigen, die ich neigen dazu, zu verwenden. Aber wenn Sie mehr erfahren wollen, dann Lesen Sie dieses buchen
    Es ist ein ziemlich gutes Buch über beginnend mit Leistung im Verstand. Können Sie sich auf weiterführende Themen auf Cython mit und JIT(Just-in-time) kompiliert python.

    InformationsquelleAutor der Antwort VishalMishra

  22. 0

    Wenn ich nicht als root auf dem server, ich verwende
    lsprofcalltree.py und mein Programm wie diesem:

    python lsprofcalltree.py -o callgrind.1 test.py

    Dann kann ich den Bericht öffnen mit jedem callgrind-kompatible software, wie qcachegrind

    InformationsquelleAutor der Antwort Vincent Fenet

Schreibe einen Kommentar