ElasticSearch, Sphinx, Lucene, Solr, Xapian. Welche passt für welche Verwendung?

Wir verwenden Lucene regelmäßig zu index und
Suche zig Millionen von Dokumenten.
Suchanfragen sind schnell genug, und wir verwenden
inkrementelle updates, die nicht nehmen
eine lange Zeit. Es hat uns einige Zeit
um hier zu bekommen. Die starken Punkte des
Lucene sind Skalierbarkeit, eine große
Palette von Funktionen und eine aktive
Entwickler-community. Mit bloßen
Lucene benötigt die Programmierung in Java.

Wenn Sie beginnen von neuem zu laufen, das Werkzeug, mit dem Sie in der Lucene-Familie ist Solrdie wesentlich leichter einzurichten ist, als bare Lucene, und hat fast alle von Lucene ist eine macht. Es kann zu importieren Datenbank-Dokumente problemlos. Solr sind in Java geschrieben, so dass jede Modifikation des Solr erfordert Java-Kenntnisse, aber Sie können viel tun, nur durch anpassen der Konfigurationsdateien.

Habe ich auch gehört, gute Dinge über Sphinx, vor allem in Verbindung mit einer MySQL-Datenbank. Habe es nicht, obwohl.

IMO, sollten Sie nach:

• Die erforderliche Funktionalität - z.B. brauchen Sie einen französischen stemmer? Lucene und Solr haben, ich weiß nicht über die anderen.
• Kompetenz in der Umsetzung Sprache - berühren Sie nicht die Java-Lucene wenn Sie nicht wissen, Java. Möglicherweise müssen Sie C++ verwenden, um Dinge zu tun mit der Sphinx. Lucene wurde auch portiert, in andere Sprachen. Dies ist vor allem dann wichtig, wenn Sie möchten, um die Suche zu erweitern Motor.
• Einfache Experimente - ich glaube, Solr ist am besten in dieser Hinsicht.
• Schnittstellen mit anderen software - Sphinx hat ein gutes interface mit MySQL. Solr unterstützt ruby, XML-und JSON-Schnittstellen als ein RESTful server. Lucene gibt Ihnen nur den programmgesteuerten Zugriff über Java. Kompass und Hibernate Search sind Wrapper von Lucene zu integrieren, dass es in größeren Rahmen.

InformationsquelleAutor der Antwort Yuval F

Verwenden wir die Sphinx, die in einer Vertikalen Suche Projekt mit 10.000.000 + MySql-Datensätze und 10+ verschiedene Datenbank .
Es hat sehr gute Unterstützung für MySQL und hohe Leistung auf die Indizierung , recherche ist schnell, aber vielleicht ein wenig weniger als Lucene.
Aber es ist die richtige Wahl, wenn Sie benötigen, schnell Indizierung jeden Tag und verwenden eine MySQL-db.

InformationsquelleAutor der Antwort Emiliano M.

Meine sphinx.conf

source post_source 
{
    type = mysql

    sql_host = localhost
    sql_user = ***
    sql_pass = ***
    sql_db =   ***
    sql_port = 3306

    sql_query_pre = SET NAMES utf8
    # query before fetching rows to index

    sql_query = SELECT *, id AS pid, CRC32(safetag) as safetag_crc32 FROM hb_posts


    sql_attr_uint = pid  
    # pid (as 'sql_attr_uint') is necessary for sphinx
    # this field must be unique

    # that is why I like sphinx
    # you can store custom string fields into indexes (memory) as well
    sql_field_string = title
    sql_field_string = slug
    sql_field_string = content
    sql_field_string = tags

    sql_attr_uint = category
    # integer fields must be defined as sql_attr_uint

    sql_attr_timestamp = date
    # timestamp fields must be defined as sql_attr_timestamp

    sql_query_info_pre = SET NAMES utf8
    # if you need unicode support for sql_field_string, you need to patch the source
    # this param. is not supported natively

    sql_query_info = SELECT * FROM my_posts WHERE id = $id
}

index posts 
{
    source = post_source
    # source above

    path = /var/data/posts
    # index location

    charset_type = utf-8
}

Test-Skript:

<?php

    require "sphinxapi.php";

    $safetag = $_GET["my_post_slug"];
// $safetag = preg_replace("/[^a-z0-9\-_]/i", "", $safetag);

    $conf = getMyConf();

    $cl = New SphinxClient();

    $cl->SetServer($conf["server"], $conf["port"]);
    $cl->SetConnectTimeout($conf["timeout"]);
    $cl->setMaxQueryTime($conf["max"]);

    # set search params
    $cl->SetMatchMode(SPH_MATCH_FULLSCAN);
    $cl->SetArrayResult(TRUE);

    $cl->setLimits(0, 1, 1); 
    # looking for the post (not searching a keyword)

    $cl->SetFilter("safetag_crc32", array(crc32($safetag)));

    # fetch results
    $post = $cl->Query(null, "post_1");

    echo "<pre>";
    var_dump($post);
    echo "</pre>";
    exit("done");
?>

Beispiel-Ergebnis:

[array] => 
  "id" => 123,
  "title" => "My post title.",
  "content" => "My <p>post</p> content.",
   ...
   [ and other fields ]

Sphinx-Abfrage Zeit:

0.001 sec.

Sphinx Abfrage Zeit (1k gleichzeitige):

=> 0.346 sec. (average)
=> 0.340 sec. (average of last 10 query)

MySQL-query time:

"SELECT * FROM hb_posts WHERE id = 123;"
=> 0.001 sec.

MySQL Abfrage Zeit (1k gleichzeitige):

"SELECT * FROM my_posts WHERE id = 123;" 
=> 1.612 sec. (average)
=> 1.920 sec. (average of last 10 query)

InformationsquelleAutor der Antwort Abdullah Aydın

Lucene ist schön und alle, aber Ihre stop-Wort-Satz ist schrecklich. Musste ich manuell hinzufügen eine Tonne von stop-Wörter zu StopAnalyzer.ENGLISH_STOP_WORDS_SET nur, um es irgendwo in der Nähe nutzbar.

Habe ich nicht verwendet, Sphinx, aber ich kenne Menschen, die schwören auf Ihre Geschwindigkeit und in der Nähe-Magische "Leichtigkeit der Installation zu awesomeness" - Verhältnis.

InformationsquelleAutor der Antwort larley