Limit RAM-Auslastung in python Programm

Ich versuche, die Begrenzung der RAM-Auslastung aus einem Python-Programm um die Hälfte, damit es nicht ganz gefriert, wenn alle RAM verwendet wird, für diese ich bin mit dem folgenden code, der nicht funktioniert und mein laptop ist immer noch eingefroren:

import sys
import resource

def memory_limit():
    rsrc = resource.RLIMIT_DATA
    soft, hard = resource.getrlimit(rsrc)
    soft /= 2
    resource.setrlimit(rsrc, (soft, hard))

if __name__ == '__main__':
    memory_limit() # Limitates maximun memory usage to half
    try:
        main()
    except MemoryError:
        sys.stderr.write('MAXIMUM MEMORY EXCEEDED')
        sys.exit(-1)

Ich bin mit anderen Funktionen, die ich nenne, aus der main Funktion.

Was mache ich falsch?

Vielen Dank im Voraus.

PD: ich such schon über das gefunden und den code habe ich aber es funktioniert immer noch nicht...

  • Vielleicht möchten Sie ulimit oder prlimit außerhalb der Python-Skript. Oder ein Speicher begrenzt cgroup und führen Sie das Skript gibt. Ich bin mir nicht sicher, versuchen, sich selbst zu begrenzen ist die beste Idee - was passiert, wenn der code, der versucht, zu überprüfen oder durchzusetzen, die Grenze muss, um Speicher in den Prozess?
  • Haben Sie versucht, die soft /= 100 oder weich //= 2 ?
  • wenn ich, dass es sagt, verlässt zu früh @Gribouillis
  • warum ist alle Ihre RAM verwendet? Sind Sie laden eine Menge von Daten in den Speicher? Haben Sie versucht, mit Generatoren?
  • es ist für eine Universität die Hausaufgaben, die wir generieren müssen, ein Baum mit einer DFS straetgy das Gerät in eine unendliche Schleife, weil der task-Anweisung.
InformationsquelleAutor Ulises CT | 2016-12-12
  1. 19

    Ok, also habe ich etwas Forschung und fand eine Funktion, um den Arbeitsspeicher von Linux-Systemen hier: Ermitteln des freien RAM in Python und ich Sie ein bisschen verändert man nur den freien Speicher und die maximale Speicher zur Verfügung als Ihre Hälfte.

    Code:

    def memory_limit():
    soft, hard = resource.getrlimit(resource.RLIMIT_AS)
    resource.setrlimit(resource.RLIMIT_AS, (get_memory() * 1024 / 2, hard))

def get_memory():
    with open('/proc/meminfo', 'r') as mem:
        free_memory = 0
        for i in mem:
            sline = i.split()
            if str(sline[0]) in ('MemFree:', 'Buffers:', 'Cached:'):
                free_memory += int(sline[1])
    return free_memory

if __name__ == '__main__':
    memory_limit() # Limitates maximun memory usage to half
    try:
        main()
    except MemoryError:
        sys.stderr.write('\n\nERROR: Memory Exception\n')
        sys.exit(1)

    Die Linie zu setzen, um die Hälfte ist resource.setrlimit(resource.RLIMIT_AS, (get_memory() * 1024 /2, hard)) wo get_memory() * 1024 /2 legt es auf die Hälfte (in bytes).

    Hoffe, dass dies anderen helfen kann, in Zukunft mit der gleichen Sache! =)

    InformationsquelleAutor Ulises CT
  2. 2

    Ich ändern, die Antwort von @Ulises CT. Weil ich denke, dass zu viel ändern ursprüngliche Funktion ist nicht so gut, also schalte ich es ein Dekorateur. Ich hoffe, es hilft.

    import resource
import platform
import sys

def memory_limit(percentage: float):
    """
    只在linux操作系统起作用
    """
    if platform.system() != "Linux":
        print('Only works on linux!')
        return
    soft, hard = resource.getrlimit(resource.RLIMIT_AS)
    resource.setrlimit(resource.RLIMIT_AS, (get_memory() * 1024 * percentage, hard))

def get_memory():
    with open('/proc/meminfo', 'r') as mem:
        free_memory = 0
        for i in mem:
            sline = i.split()
            if str(sline[0]) in ('MemFree:', 'Buffers:', 'Cached:'):
                free_memory += int(sline[1])
    return free_memory

def memory(percentage=0.8):
    def decorator(function):
        def wrapper(*args, **kwargs):
            memory_limit(percentage)
            try:
                function(*args, **kwargs)
            except MemoryError:
                mem = get_memory() / 1024 /1024
                print('Remain: %.2f GB' % mem)
                sys.stderr.write('\n\nERROR: Memory Exception\n')
                sys.exit(1)
        return wrapper
    return decorator

@memory(percentage=0.8)
def main():
    print('My memory is limited to 80%.')
    InformationsquelleAutor qiuyuan
  3. 1

    aufgrund https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=34e431b0ae398fc54ea69ff85ec700722c9da773

    ist es besser, zu verwenden :

    if str(sline[0]) == 'MemAvailable:':
            free_memory = int(sline[1])
            break

    den Antwort-code lieferte mir mit 8 GB zur Verfügung mem auf einer Maschine mit 1 TB RAM

    • Vielen Dank für diese.
    InformationsquelleAutor The_Pingu
Schreibe einen Kommentar