Wie kann ich mein Perl-Skript nutzen mehrere Kerne für die Kind-Prozesse?

Versuchen Parallel::ForkManager. Es ist ein Modul, das eine einfache Schnittstelle bietet, für die Verzweigung aus Prozessen wie diesem.

Hier einige Beispiel-code:

#!/usr/bin/perl

use strict;
use warnings;
use Parallel::ForkManager;

my @input_parameter_list = 
    map { join '_', ('param', $_) }
    ( 1 .. 15 );

my $n_processes = 4;
my $pm = Parallel::ForkManager->new( $n_processes );
for my $i ( 1 .. $n_processes ) {
    $pm->start and next;

    my $count = 0;
    foreach my $param_set (@input_parameter_list) {         
        $count++;
        if ( ( $count % $i ) == 0 ) {
            if ( !output_exists($param_set) ) {
                start_new_XFOIL_instance($param_set);
            }
        }
    }

    $pm->finish;
}
$pm->wait_all_children;

sub output_exists {
    my $param_set = shift;
    return ( -f "$param_set.out" );
}

sub start_new_XFOIL_instance {
    my $param_set = shift;
    print "starting XFOIL instance with parameters $param_set!\n";
    sleep( 5 );
    touch( "$param_set.out" );
    print "finished run with parameters $param_set!\n";
}

sub touch {
    my $fn = shift;
    open FILE, ">$fn" or die $!;
    close FILE or die $!;
}

Müssen Sie liefern Ihre eigene Implementierungen für die start_new_XFOIL_instance und die output_exists Funktionen, und Sie werden auch wollen definieren Sie Ihre eigenen Sätze von Parametern zu übergeben XFOIL.

InformationsquelleAutor der Antwort James Thompson

Perl-threads nutzen von mehreren Kernen und Prozessoren. Die wichtigsten pro-threads ist es ziemlich einfach, um Daten zwischen den threads und koordinieren Ihre Aktivitäten. Ein gespaltener Prozess kann nicht einfach zurückgeben von Daten an die Eltern noch koordinieren sich untereinander.

Die wichtigsten Nachteile von Perl-threads ist er relativ teuer in der Herstellung im Vergleich zu einer Gabel, Sie müssen kopieren das gesamte Programm und alle Ihre Daten, Sie müssen haben Sie zusammengestellt in Ihrem Perl; und Sie können buggy sein, der ältere der Perl, der buggier die Fäden. Wenn Ihre Arbeit ist teuer, die Schaffung Zeit sollte keine Rolle spielen.

Hier ist ein Beispiel, wie Sie könnte es tun, mit Gewinde. Es gibt viele Möglichkeiten, es zu tun, diese nutzt Thread::Queue zu erstellen, die eine große Liste mit arbeiten Sie Ihren worker-threads teilen können. Wenn die Warteschlange leer ist, werden die threads beenden. Die wichtigsten Vorteile sind, dass die leichter zu Steuern, wie viele threads aktiv sind, und Sie nicht haben, um eine neue, teure thread für jedes bit der Arbeit.

Diesem Beispiel schiebt die ganze Arbeit in der Warteschlange auf einmal, aber es gibt keinen Grund Sie können nicht der Warteschlange hinzufügen, wie Sie gehen. Wenn Sie waren zu tun, dass Sie verwenden würden dequeue statt dequeue_nb die warten, um für mehr input.

use strict;
use warnings;

use threads;
use Thread::Queue;

# Dummy work routine
sub start_XFOIL_instance {
    my $arg = shift;
    print "$arg\n";
    sleep 1;
}

# Read in dummy data
my @xfoil_args = <DATA>;
chomp @xfoil_args;

# Create a queue to push work onto and the threads to pull work from
# Populate it with all the data up front so threads can finish when
# the queue is exhausted.  Makes things simpler.
# See https://rt.cpan.org/Ticket/Display.html?id=79733
my $queue = Thread::Queue->new(@xfoil_args);

# Create a bunch of threads to do the work
my @threads;
for(1..4) {
    push @threads, threads->create( sub {
        # Pull work from the queue, don't wait if its empty
        while( my $xfoil_args = $queue->dequeue_nb ) {
            # Do the work
            start_XFOIL_instance($xfoil_args);
        }

        # Yell when the thread is done
        print "Queue empty\n";
    });
}

# Wait for threads to finish
$_->join for @threads;

__DATA__
blah
foo
bar
baz
biff
whatever
up
down
left
right

InformationsquelleAutor der Antwort Schwern

Diese ist schon ziemlich alt aber wenn jemand noch auf der Suche nach geeigneten Antworten auf diese Frage geben, möchten Sie vielleicht zu prüfen, Perl Many-Core-Engine (MCE -)

InformationsquelleAutor der Antwort ashraf