Suche Namen mit Apache Solr

Es klingt wie Sie ein catering für einen Korpus mit Recherchen, die Sie anpassen müssen, sehr Locker?

Wenn Sie das tun, werden Sie wollen, wählen Sie die Felder, und legen Sie verschiedene boosts auf das Ranking Ihrer Ergebnisse.

Also separate "kopiert" - Felder in solr:

• ein Feld für die genaue vollständige name (mit Filter)
• mehrwertige Feld mit Filter ASCIIFolding, Kleinbuchstaben...
• mehrwertiges Feld mit der SynonymFilterFactory ASCIIFolding, Kleinbuchstaben...
• PhoneticFilterFactory (mit Caverphone oder Double-Metaphone -)

Siehe Auch: mehr nicht-Englisch Soundex-Diskussion

Synonyme für den Namen, ich weiß nicht, ob es ein public synonym-db zur Verfügung.

Fuzzy-Suche, ich habe nicht gefunden es nützlich, es verwendet die Levenshtein-Distanz.

Anderen filtern und indizieren Holen Sie sich mehr überlegen, "Suche nach relevanten" Ergebnisse.

Unicode-Zeichen im Namen können behandelt werden, mit der ASCIIFoldingFilterFactory

Das Sie beschreiben, Lösungen nach vorne für die erwartete Anwendungsfälle.

Wenn Sie möchten, dass die Qualität der Ergebnisse, plan-tuning Ihr Such-Relevanz

Diese Stimmung wird besonders wertvoll, wenn Sie versuchen zu entsprechen, auf die Synonyme, wie McDonald und McDonald (die einen größeren Levenshtein-Distanz als Carl und Karl).

Die Antwort in einem anderen Beitrag ist ziemlich gut:
Ausbildung solr zu erkennen, Spitznamen oder Namen Varianten

<fieldType name="name_en" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="true">
  <analyzer type="index">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.ASCIIFoldingFilterFactory"/>
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.ASCIIFoldingFilterFactory"/>
    <filter class="solr.SynonymFilterFactory" synonyms="english_names.txt" ignoreCase="true" expand="true"/>
  </analyzer>
</fieldType>

Haben wir eine einfache Feld "name" - Typ, der erlaubt mischen beide 'Schlüssel' (z.B. SOUNDEX) und 'pairwise' Teile der oben genannten Antworten.

Hier die übersicht:

1. zum Zeitpunkt der index-Felder des benutzerdefinierten Typs indiziert werden, in eine Reihe von (sub -) Felder mit den entsprechenden Werten für hohe recall-passend für unterschiedliche Arten von Variationen

Hier ist der Kern seiner Umsetzung...

List<IndexableField> createFields(SchemaField field, String name) {
        Collection<FieldSpec> nameFields = deriveFieldsForName(name);
        List<IndexableField> docFields = new ArrayList<>();
        for (FieldSpec fs : nameFields) {
            docFields.add(new Field(fs.getName(), fs.getStringValue(),
                         fs.getLuceneField()));
        }
        docFields.add(createDocValues(field.getName(), new Name(name)));
        return docFields;
}

Herz ist deriveFieldsForName(name), in dem Sie Ihre "Schlüssel" aus PhoneticFilters, LowerCaseFolding, etc.

1. zum Zeitpunkt der Abfrage zunächst eine benutzerdefinierte Lucene query produziert, wurde optimiert für den recall und verwendet die gleichen Felder als index Zeit

Hier ist der Kern seiner Umsetzung...

public Query getFieldQuery(QParser parser, SchemaField field, String val) {
        Name name = parseNameString(externalVal, parser.getParams());
        QuerySpec querySpec = buildQuery(name);
        return querySpec.accept(new SolrQueryVisitor(field.getName())); 
}

Herzen dies ist der buildQuery(name) - Methode, die zu erzeugen Sie eine Abfrage, die bewusst deriveFieldsForName(name) vor, so dass für eine gegebene Abfrage von name it finden Sie gute Kandidaten-Namen.

1. dann den zweiten, Solr ist Rerank Funktion wird verwendet, um einen hohen-Präzision re-scoring-Algorithmus, um die Reihenfolge der Ergebnisse

Hier ist was, das sieht aus wie in deiner Abfrage...

&rq={!myRerank reRankQuery=$rrq} &rrq={!func}myMatch(fieldName, "John Doe")

Den Inhalt myMatch hätte eine paarweise Levenstein oder die Jaro-Winkler-Implementierung.

N. B. Unsere eigene vollständige Umsetzung verwendet proprietäre code für deriveFieldsForName, buildQuery, und myMatch (siehe http://www.basistech.com/text-analytics/rosette/name-indexer/) zu behandeln, mehr Arten von Variationen, die oben nicht genannt sind (z.B. fehlende Leerzeichen, cross-language).