Begrenzen Sie die Anzahl der threads in numpy

Es scheint, dass meine numpy-Bibliothek ist mit 4 threads und Einstellung OMP_NUM_THREADS=1 nicht zu stoppen.

numpy.show_config() gibt mir diese Ergebnisse:

atlas_threads_info:
    libraries = ['lapack', 'ptf77blas', 'ptcblas', 'atlas']
    library_dirs = ['/usr/lib64/atlas']
    define_macros = [('ATLAS_INFO', '"\\"3.8.4\\""')]
    language = f77
    include_dirs = ['/usr/include']
blas_opt_info:
    libraries = ['ptf77blas', 'ptcblas', 'atlas']
    library_dirs = ['/usr/lib64/atlas']
    define_macros = [('ATLAS_INFO', '"\\"3.8.4\\""')]
    language = c
    include_dirs = ['/usr/include']
atlas_blas_threads_info:
    libraries = ['ptf77blas', 'ptcblas', 'atlas']
    library_dirs = ['/usr/lib64/atlas']
    define_macros = [('ATLAS_INFO', '"\\"3.8.4\\""')]
    language = c
    include_dirs = ['/usr/include']
openblas_info:
  NOT AVAILABLE
lapack_opt_info:
    libraries = ['lapack', 'ptf77blas', 'ptcblas', 'atlas']
    library_dirs = ['/usr/lib64/atlas']
    define_macros = [('ATLAS_INFO', '"\\"3.8.4\\""')]
    language = f77
    include_dirs = ['/usr/include']

So, ich weiß, es ist mit blas, aber ich kann nicht herausfinden, wie man es verwenden 1 thread für matrix-Multiplikation.

InformationsquelleAutor drjrm3 | 2015-06-11
  1. 36

    Versuchen Sie, alle der folgenden:

    export MKL_NUM_THREADS=1
export NUMEXPR_NUM_THREADS=1
export OMP_NUM_THREADS=1

    Manchmal ist es ein bisschen schwierig zu sehen, wo genau multithreading eingeführt.

    • Dies braucht mehr details.
    • Auf Macs export VECLIB_MAXIMUM_THREADS=1; siehe performance-of-numpy-with-different-blas-implementations auf SO. Achtung: man Accelerate sagt, "der Wert von VECLIB_MAXIMUM_THREADS zwischengespeichert werden kann, die von der Bibliothek und wiederverwendet; wenn Sie brauchen, um die single-Thread-Ausführung, sollten Sie VECLIB_MAXIMUM_THREADS vor jedem Beschleunigen Anrufe"
    • Was ist der beste Weg, dies zu tun aus dem script? Soll ich einfach laufen os.system("export OMP_NUM_THREADS=1")? Ich habe gemischte Kritiken gelesen, ob oder nicht, dass wird die Arbeit richtig, und selbst wenn es funktioniert, ist, dass der beste Weg, dies zu tun? Es scheint ein wenig hacky aus irgendeinem Grund.
    • Für alle anderen, die hatte die gleiche Frage wie ich oben in diesem thread http://numpy-discussion.10968.n7.nabble.com/Set-threads-from-within-python-code-td44108.html Sie tun können os.environ["OMP_NUM_THREADS"] = "1" etc, aber Sie haben zu setzen, dass bevor Sie haben import numpy. Offenbar numpy prüft nur die für diese zu importieren.
    • Sollte man diese Antwort IMO, ist es nützlich.
    • Ich bin damit einverstanden. Der Kommentar von Seth sollte eine akzeptierte Antwort

    InformationsquelleAutor Christian Zielinski
  2. 10

    In Bezug auf, dies zu tun aus einem python-Skript anders als bei der bash-Eingabeaufforderung pro dieser thread können Sie Folgendes tun (die gleichen Befehle wie die Antwort oben):

    import os
os.environ["MKL_NUM_THREADS"] = "1" 
os.environ["NUMEXPR_NUM_THREADS"] = "1" 
os.environ["OMP_NUM_THREADS"] = "1"

    aber Sie haben zu setzen, dass vor Sie import numpy. Offenbar numpy prüft nur die für diese zu importieren.

    (dies ist weiterverbreitet als Antwort auf @Messer Kommentar oben.)

    • Ich glaube, es gibt auch OPENBLAS_NUM_THREADS, wenn Sie verknüpft haben, gegen OpenBLAS.
    • Eigentlich ist diese Einstellung nicht, wenn Sie den import numpy, aber beim ersten aufrufen MKL-optimiert Numpy-code. Zum Beispiel, np.diejenigen, die() nicht ausgelöst Lesen dieser Variablen, aber np.Punkt() bedeutet.
    InformationsquelleAutor seth127
  3. 10

    Gibt es mehr als die 3 genannten Umgebungsvariablen. Im folgenden werden die vollständige Liste von Umgebungsvariablen und das Paket, das verwendet wird, die variable Steuerung der Anzahl der threads, die es erzeugt. Beachten Sie als, müssen Sie diese Variablen, bevor Sie import numpy:

    OMP_NUM_THREADS: openmp,
OPENBLAS_NUM_THREADS: openblas,
MKL_NUM_THREADS: mkl,
VECLIB_MAXIMUM_THREADS: accelerate,
NUMEXPR_NUM_THREADS: numexpr

    So, in der Praxis, die Sie tun können:

    import os
os.environ["OMP_NUM_THREADS"] = "4" # export OMP_NUM_THREADS=4
os.environ["OPENBLAS_NUM_THREADS"] = "4" # export OPENBLAS_NUM_THREADS=4 
os.environ["MKL_NUM_THREADS"] = "6" # export MKL_NUM_THREADS=6
os.environ["VECLIB_MAXIMUM_THREADS"] = "4" # export VECLIB_MAXIMUM_THREADS=4
os.environ["NUMEXPR_NUM_THREADS"] = "6" # export NUMEXPR_NUM_THREADS=6

    Beachten Sie, dass ab November 2018 werden die Numpy-Entwickler arbeiten daran, das möglich zu tun, nachdem Sie import numpy als gut. Ich werde aktualisieren diesen post, sobald Sie diese änderungen.

    InformationsquelleAutor Amir
Schreibe einen Kommentar