Persistent/keepalive-HTTP mit PHP-Curl-Bibliothek?

Bin ich mit einem einfachen PHP-Bibliothek zum hinzufügen von Dokumenten zu einem SOLR-index per HTTP.

Gibt es 3 Server beteiligt, derzeit:

  1. Die PHP-box läuft die Indizierung job
  2. Ein Feld Datenbank hält die Daten indiziert
  3. Der solr-box.

80 Dokumente/sec (von 1 Millionen Dokumente), ich bin zu bemerken, einen ungewöhnlich hohen interrupt-rate auf der Netzwerk-Schnittstellen auf dem PHP und solr-Boxen (2000/sec; was mehr ist, die Graphen sind nahezu identisch-wenn der interrupt-rate auf der PHP-box-spikes, die es auch spikes an den Solr-box), aber viel weniger auf das Datenbank Feld (300/s). Ich denke, das ist einfach, weil ich offen und Wiederverwendung eine einzelne Verbindung zum Datenbank-server, aber jeder einzelne Solr Anfrage ist derzeit die Eröffnung eines neuen HTTP-Verbindung über cURL, Dank der Möglichkeit der Solr-client-Bibliothek geschrieben.

So, meine Frage ist:

  1. Können cURL gemacht werden, um zu öffnen, eine keepalive-Sitzung?
  2. Was braucht es, um eine Verbindung wiederverwenden? - ist es so einfach wie die Wiederverwendung der cURL-handle resource?
  3. Muss ich irgendwelche speziellen cURL-Optionen? (z.B. force HTTP 1.1?)
  4. Gibt es irgendwelche Probleme mit cURL-keepalive-verbindungen? Das Skript läuft für Stunden zu einer Zeit; werde ich in der Lage sein, für eine einzelne Verbindung, oder muss ich mich in regelmäßigen Abständen verbinden?
Auch ich habe es verwendet, wo waren wir analysieren einer ganzen Seite mit vielen vielen Seiten, die erforderliche Authentifizierung und halten eine Sitzung in der gesamten. Mit den anfänglichen Griff-Ressource, die Sie können weiterhin Befehle ausführen, um die Seiten und pflegen der gleichen Sitzung und die Verbindung mit dem client. Über die Kommandozeile hat dies dauerte etwa 20min (für alle Daten Anforderungen - also könnte länger dauern), ohne dass eine erneute Verbindung herzustellen. Aber ich bin mir nicht sicher, ob dies ist, was Sie Fragen, so ist das ein Kommentar und keine Antwort 🙂
Noch ein Hinweis, oft gibt es Optionen, die Sie benötigen, um je nachdem, was Sie tun und die server, die Sie herstellen. All dies ist sehr gut hier dokumentiert: uk3.php.net/manual/en/function.curl-setopt.php
Dieser Teil der FAQ ist relevant, wenn auch nicht sehr detailliert: curl.haxx.se/docs/faq.html#Can_I_perform_multiple_requests
Eine gotcha-ich lief in: wenn Sie etwas in der Größenordnung von 100.000 Anfragen über eine einzelne LOCKE Griff, mein Skript Treffer 512 MB Speicher-Nutzung; es ging nie über 60 MB, bevor ich begann die Wiederverwendung von verbindungen. Ich bin nun wieder alle 1000 Anfragen (was vermutlich öfter als nötig, aber selten genug, dass die Verbindung overhead sollte sehr klein sein)
Es gibt auch: CURLOPT_MAXCONNECTS - Die maximale Menge von persistenten verbindungen erlaubt sind. Wenn das limit erreicht ist, CURLOPT_CLOSEPOLICY wird verwendet, um zu bestimmen, welche Verbindung zu schließen.

InformationsquelleAutor Frank Farmer | 2009-06-09

  1. 52

    cURL in der PHP-Dokumentation (curl_setopt) sagt:

    CURLOPT_FORBID_REUSE - TRUE zu zwingen
    die Verbindung explizit schließen
    wenn es fertig verarbeitet ist, und
    nicht für die Wiederverwendung zusammengefasst werden.

    Also:

    1. Ja, eigentlich sollte es re-verbindungen verwenden standardmäßig, so lange wie Sie re-verwenden Sie die cURL-handle.
    2. standardmäßig cURL-handles persistente verbindungen von selbst, sollten Sie einige spezielle Header, prüfen, CURLOPT_HTTPHEADER
    3. der server kann das senden einer keep-alive timeout (mit Standard-Apache-Installation, es ist 15 Sekunden oder 100 Anfragen, je nachdem, was zuerst kommt) - aber LOCKE wird öffnen Sie einfach eine andere Verbindung, wenn das passiert.
    Genial! Ich war so nah an der Veröffentlichung meiner ersten stackoverflow-Frage. Diese Lösung funktionierte für unsere middleware vorausgesetzt, wir haben die Anfrage-header "Connection: close'.

    InformationsquelleAutor Piskvor

  2. 21

    Curl sendet den keep-alive-header standardmäßig, aber:

    1. einen Kontext schaffen, mit curl_init() ohne Parameter.
    2. speichern der Kontext, in einem Rahmen, wo es überleben wird (nicht eine lokale var)
    3. verwenden CURLOPT_URL option zum übergeben der url auf die Kontext
    4. ausführen der Anfrage über curl_exec()
    5. schließen Sie nicht die Verbindung mit curl_close()

    sehr einfaches Beispiel:

    function get($url) {
    global $context;
    curl_setopt($context, CURLOPT_URL, $url);
    return curl_exec($context);
}

$context = curl_init();
//multiple calls to get() here
curl_close($context);
    Sie müssen auch set-cookie vor dem zweiten Aufruf etwas wie: curl_setopt($context, CURLOPT_COOKIE, 'name=value'); zum Beispiel für meine Anfrage ist curl_setopt($context, CURLOPT_COOKIE, 'PHPSESSID=bl392rgi8q664l7faat33hfta4');

    InformationsquelleAutor Richard Keizer

  3. 14

    1. Auf dem server, auf den Sie zugreifen keep-alive " aktiviert sein muss und maximal keep-alive-requests angemessen sein sollte. Im Falle von Apache finden Sie die apache docs.

    2. Müssen Sie wieder mit der gleichen cURL Kontext.

    3. Beim konfigurieren der cURL Kontext, aktivieren Sie die " keep-alive mit timeout in der Kopfzeile:

      curl_setopt($curlHandle, CURLOPT_HTTPHEADER, array(
    'Connection: Keep-Alive',
    'Keep-Alive: 300'
));
    Ich Frage mich, ob CURL sendet Keep-Alive-header standardmäßig...
    Frank, ich habe gerade wieder getestet, mein code und es sieht auch standardmäßig aktiviert sein. Konnte nicht Schaden, es explizit zu tun, obwohl.
    wissen Sie, wenn wir brauchen, um zu entfernen curl_close($curlHandle); um lebendig zu halten conn. ?
    ja, Sie haben, um es zu entfernen, wenn Sie Sie nennen curl_close wird die Verbindung geschlossen

    InformationsquelleAutor Oleg Barshay

  4. 1

    Wenn Sie kümmern sich nicht um die Antwort der Anfrage, die Sie tun können Sie asynchron, aber Sie laufen die Gefahr der überlastung Ihrer SOLR-index. Ich bezweifle es aber, SOLR ist verdammt schnell.

    Asynchrone PHP-Aufrufe?

    Das ist sicherlich interessant, aber es geht nicht um die Verbindung wieder nutzen. In der Tat, es nur schaffen würde, meine Verbindung overhead Probleme noch schlimmer.

    InformationsquelleAutor Brent

Schreibe einen Kommentar