Wie bekomme ich alle Ergebnisse von der Solr-Abfrage?

Ich erinnere mich dabei &rows=2147483647

2,147,483,647 ist integer ist der maximale Wert. Ich erinnere mich an eine Zahl größer als, die einmal und eine NumberFormatException denn es konnte nicht analysiert werden, in einer int. Ich weiß nicht, ob Sie Lange heute, aber 2 Milliarden Zeilen in der Regel mehr als genug.

Kleine Anmerkung:

Seien Sie vorsichtig, wenn Sie planen, dies zu tun in der Produktion. Wenn Sie eine Abfrage wie * : * und Ihr index ist groß, Sie könnten die übertragung von ein paar Gigabyte in der Abfrage.

Wenn Sie wissen, dass Sie nicht viele docs, gehen Sie vor und verwenden Sie integer ' max-Wert.

Auf der anderen Seite,, wenn Sie tun, ein one-time-Skript und müssen nur dump alle Ergebnisse (zum Beispiel Dokument-ID ' s) dann ist dieser Ansatz gültig ist, wenn Sie nichts dagegen haben, wartet 3-5 Minuten für eine Abfrage zurück.

InformationsquelleAutor der Antwort Fermin Silva

Ich würde vorschlagen, wie Deep-Paging.

Einfache Paginierung ist eine einfache Sache, wenn Sie einige Dokumente zu Lesen und alles, was Sie tun müssen, ist spielen mit start und rows Parameter. Aber im Falle Sie haben viele Dokumente, ich meine Hunderte von tausenden oder gar Millionen ist dies nicht ein gangbarer Weg.

Dies ist die Art von Sache, die bringen könnte Ihr Solr-server in die Knie.

Für typische Anwendungen die Anzeige von Suchergebnissen um einen menschlichen Benutzer,
dieser neigt dazu, nicht viel von einem Problem, da die meisten Nutzer kümmern sich nicht
über die Drill-down nach der ersten Handvoll von Seiten der Ergebnisse der Suche
— aber für automatisierte Systeme, die möchten, crunch Daten über alle
Dokumente matching eine Abfrage, kann es ernst werden unerschwinglich.

Dies bedeutet, dass, wenn Sie eine website haben und paging-Suche Ergebnisse, die ein echter Nutzer gehen nicht so weiter, sondern betrachten Sie auf der anderen Seite, was passieren kann, wenn eine Spinne oder einem Spachtel versuchen, Lesen Sie alle Seiten der website.

Jetzt sprechen wir von Deep Paging.

Werde ich empfehlen, Lesen Sie diese erstaunliche post:

https://lucidworks.com/blog/2013/12/12/coming-soon-to-solr-efficient-cursor-based-iteration-of-large-result-sets/

Und werfen Sie einen Blick auf dieses Dokument Seite:

https://cwiki.apache.org/confluence/display/solr/Pagination++Ergebnisse

Und hier ist ein Beispiel, die versuchen zu erklären, wie Sie den Umbruch mit Hilfe der Cursor.

SolrQuery solrQuery = new SolrQuery();
solrQuery.setRows(500);
solrQuery.setQuery("*:*");
solrQuery.addSort("id", ORDER.asc);  //Pay attention to this line
String cursorMark = CursorMarkParams.CURSOR_MARK_START;
boolean done = false;
while (!done) {
    solrQuery.set(CursorMarkParams.CURSOR_MARK_PARAM, cursorMark);
    QueryResponse rsp = solrClient.query(solrQuery);
    String nextCursorMark = rsp.getNextCursorMark();
    for (SolrDocument d : rsp.getResults()) {
            ... 
    }
    if (cursorMark.equals(nextCursorMark)) {
        done = true;
    }
    cursorMark = nextCursorMark;
}

InformationsquelleAutor der Antwort freedev

Zur Auswahl aller Dokumente in dismax/edismax über Solarium php-client, der normale query-syntax : funktioniert nicht. Wählen Sie alle Dokumente festlegen der Standard-Abfrage-Wert im solarium-Abfrage auf eine leere Zeichenfolge. Dies ist erforderlich, da die Standard-Abfrage im Solarium ist :. Auch die alternative Abfrage :. Dismax/eDismax normalen query-syntax unterstützt keine :aber die alternative-query-syntax unterstützt.

Für mehr details Buch bezeichnet werden kann

http://www.packtpub.com/apache-solr-php-integration/book

InformationsquelleAutor der Antwort jayant

Die Art, wie ich mit dem problem befasst ist, durch ausführen der Abfrage zweimal:

//Start with your (usually small) default page size
solrQuery.setRows(50); 
QueryResponse response = solrResponse(query);
if (response.getResults().getNumFound() > 50) {
    solrQuery.setRows(response.getResults().getNumFound()); 
    response = solrResponse(query);
}

Macht es zweimal rufen, Solr, aber bekommt man alle passenden Datensätze....mit kleinen Leistungseinbußen.

InformationsquelleAutor der Antwort Ya.Ma