cURL Multi-Threading mit PHP

Bin ich mit cURL, um einige Ranking-Daten für über 20.000 domain-Namen, die ich habe, in einer Datenbank gespeichert.

Den code, den ich verwende, ist http://semlabs.co.uk/journal/object-oriented-curl-class-with-multi-threading.

Array $competeRequests ist 20.000 Anfrage zu compete.com api für die website zählt.

Dies ist ein Beispiel-request:
http://apps.compete.com/sites/stackoverflow.com/trended/rank/?apikey=xxxx&start_date=201207&end_date=201208&jsonp=";

Da gibt es 20.000 solcher Anfragen möchte ich brechen Sie in Stücke also ich bin mit dem folgenden code erreichen, dass:

foreach(array_chunk($competeRequests, 1000) as $requests) {
    foreach($requests as $request) {
        $curl->addSession( $request, $opts );
    }

}

Dies funktioniert gut für das senden der Anfragen in Chargen von 1.000, aber das script zu lange dauert, um Sie auszuführen. Ich habe erhöht die max_execution_time auf über 10 Minuten.

Gibt es eine Möglichkeit zum senden von 1.000 Anfragen aus meinem array dann analysieren und die Ergebnisse dann Ausgang ein status-update dann weiter mit den nächsten 1.000, bis das array leer ist? Ab jetzt wird der Bildschirm einfach weiß bleibt die gesamte Zeit, in der das Skript ausgeführt werden kann, über 10 Minuten.

  • Sie haben, führen Sie dieses script über Ihren server, können Sie nicht einfach es manuell ausführen? ... Von 20.000 Anfragen, die eine Menge von Anfragen, diese werden wahrscheinlich haben, um im hintergrund laufen
  • Ich wollte es als cron-job eventuell..jetzt bin ich dem ausführen im browser..
  • php.net/manual/en/function.curl-multi-init.php
  • Ich bin schon mit curl multi... "den code im mit ist semlabs.co.uk/journal/.... "
InformationsquelleAutor user1647347 | 2012-09-12
  1. 9

    Das man immer macht den job für mich... https://github.com/petewarden/ParallelCurl

    • Ein wichtiger Teil der ParallelCurl code ist der bugfix für curl_multi_select (bugs.php.net/bug.php?id=63411) für PHP 5.3.18+ ab Zeile 118 in parallelcurl.php, was war wohl die Korrektur, die OP war auf der Suche nach (und alle anderen mit kaputten curl_multi Skripte)
    • Diese Antwort ist veraltet und die richtige Antwort ist php.net/manual/en/function.curl-multi-init.php
    InformationsquelleAutor Glenn Plas
  2. 13

    Den oben genannten akzeptierten Antworten, ist veraltet, Also, richtige Antwort von Ihnen positiv bewertet werden.

    http://php.net/manual/en/function.curl-multi-init.php

    Nun, PHP unterstützt das abrufen mehrerer URLs zur gleichen Zeit.

    Gibt es eine sehr gute Funktion von jemandem geschrieben,
    http://archevery.blogspot.in/2013/07/php-curl-multi-threading.html

    Können Sie es einfach verwenden.

    • Die richtige Antwort ist die, die ich gab zu der Zeit. Es gibt keine Notwendigkeit, zu korrigieren, alte Fragen, auf die SO einfach zu halten mit Wissenschaft und Entwicklung. Zu der Zeit, war die Antwort. Sie weiß nicht, ob jemand nutzt alte PHP-Versionen, oder nicht, es ist möglich, Sie sind. Nicht davon ausgehen, jeder läuft die neueste. Wenn Sie behaupten, eine gewisse Unterstützung gibt es in PHP haben, sollten Sie auch erwähnen, welche version DU redest.
    InformationsquelleAutor Mani
  3. 4

    https://github.com/krakjoe/pthreads

    cURL Multi-Threading mit PHP

    Können Sie thread in PHP, der code abgebildet ist-einfach nur schrecklich-thread-Programmierung, und ich weiß nicht raten, das ist, wie Sie es tun, aber zeigen wollte Sie den overhead von 20.000 threads ... es ist 18 Sekunden lang, auf meine aktuelle hardware ist ein Intel G620 ( dual-core ) mit 8gigs ram auf server-hardware, die Sie erwarten können, viel schneller Ergebnisse ... wie Sie thread eine solche Aufgabe ist abhängig von Ihren Ressourcen, und die Ressourcen des service, den Sie anfordern, ...

    • die "Programmierung" an sich ist in Ordnung - es ist das völlige fehlen von thread-scheduling / thread-execution-queue, das macht dieses Skript ineffizient. Im Allgemeinen wird ein guter Planer sollte nie mehr als insert amount of CPU cores here gleichzeitig ausführen, ausgenommen für Maschinen mit HT und threads an, die haben extremen wait Zeiten, und es sollte in der Lage sein, um Warteschlange mindestens 2^32 threads
    InformationsquelleAutor Joe Watkins
  4. 2

    Setzen Sie diese oben in deinem php-Skript:

    set_time_limit(0);
@apache_setenv('no-gzip', 1);//comment this out if you use nginx instead of apache
@ini_set('zlib.output_compression', 0);
@ini_set('implicit_flush', 1);
for ($i = 0; $i < ob_get_level(); $i++) { ob_end_flush(); }
ob_implicit_flush(1);

    wäre disable all caching web server oder php tun kann, was Ihr ausgegeben werden, das im browser angezeigt wird, während das Skript ausgeführt wird.

    Achten, um kommentieren Sie die apache_setenv Linie, wenn Sie nginx web-server statt apache.

    Update für nginx:

    So OP ist mit nginx, das macht die Sache ein bisschen schwieriger, da nginx nicht lassen zum deaktivieren der gzip-Kompression von PHP. Ich nutze auch nginx und ich habe gerade herausgefunden, ich habe es per default aktiv, siehe:

    cat /etc/nginx/nginx.conf | grep gzip
    gzip on;
    gzip_disable "msie6";
    # gzip_vary on;
    # gzip_proxied any;
    # gzip_comp_level 6;
    # gzip_buffers 16 8k;
    # gzip_http_version 1.1;
    # gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript;

    so müssen Sie zum deaktivieren der gzip auf nginx.conf und Neustart nginx:

    /etc/init.d/nginx restart

    oder Sie können spielen mit der gzip_disable oder gzip_types Optionen, bedingt deaktivieren der gzip-für einige Browser oder für einige Inhalte auf der Seite-Arten bzw.

    • kommentiert diese Zeile aus..versucht es jetzt, aber es scheint, dass es immer noch keine Ausgabe keine Ergebnisse, bis das Skript fertig ist Ausführung jeder alle Domänen anstelle von jeder charge
    • ja nur bestätigt, dass Sie nichts ausgibt, bis ganz am Ende, nachdem das Skript ausgeführt wurde alle 20.000
    • haben Sie irgendwelche Ideen für eine bessere effizientere Verarbeitung? Im Grunde meine Datenbank hat die 20.000-Domänen und-Abfragen compete.com mit Ihrer api die Rang und schreibt dann die Reihen in der Datenbank. Letztlich will ich einen Zeitplan für das Skript ausgeführt wird jeden Monat automatisch, so dass ich hoffte, zu vermeiden, JavaScript oder andere client-side-scripting.
    • Siehe mein nginx update Sie oben, um zu sehen, ob das deaktivieren der gzip macht es für Ihren Fall.
    • Zu jemand, den wir brauchen, um ajax-Aufrufe von js zu lösen, dass^ das Deaktivieren des caching ist eine schlechte Idee, sagen wir mal jemand ein paar Tausende von http-requests, und der server stürzt ab, als er geht, um zu tauschen, um die Grenze.
    InformationsquelleAutor Nelson
Schreibe einen Kommentar