Java-einfacher Satz-parser

gibt es eine einfache Möglichkeit zum erstellen von Satz-parser in reinem Java
ohne libs und Gläser.

Parser sollte nicht nur kümmern uns um die Leerzeichen zwischen Worten,
aber mehr, smart und analysieren: . ! ?,
erkennen, Wann der Satz beendet ist usw.

Nach der Analyse, nur wahre Worte, die könnten alle gespeichert in der db oder Datei, keine besonderen chars.

vielen Dank alle im Voraus 🙂

Berücksichtigen Sie auch StreamTokenizer; schnell und beherbergt Leerzeichen flexibel.

InformationsquelleAutor mika | 2010-01-20

  1. 8

    Möchten Sie vielleicht beginnen, indem man die BreakIterator Klasse.

    Aus der JavaDoc.

    Die BreakIterator-Klasse implementiert
    Methoden für die Feststellung der Lage des
    Grenzen im text. Instanzen
    BreakIterator pflegen eine aktuelle
    positionieren und Scannen Sie über den text der Rückkehr
    der index der Zeichen, wo
    Grenzen auftreten. Intern
    BreakIterator scannt text mit einem
    CharacterIterator, und ist somit in der Lage,
    text Scannen statt von jedem Objekt
    die Umsetzung dieses Protokoll. Ein
    StringCharacterIterator wird verwendet, um
    scan String-Objekten übergeben setText.

    Verwenden Sie die factory-Methoden zur Verfügung gestellt
    von dieser Klasse zur Erzeugung von Instanzen
    verschiedene Arten von break-Iteratoren. In
    insbesondere, verwenden getWordIterator,
    getLineIterator, getSentenceIterator,
    und getCharacterIterator zu erstellen
    BreakIterators, word,
    Zeilen -, Satz-und Zeichen-Grenze
    Analyse bzw. Eine einzelne
    BreakIterator kann nur auf einem
    Einheit (Wort, Zeile, Satz, und so
    auf). Müssen Sie einen anderen iterator
    für jede Einheit Grenze Analyse Sie
    ausführen möchten.

    Grenze, Analyse bestimmt
    wo Sie einen text-string kann gebrochen werden, wenn
    line-wrapping. Der Mechanismus korrekt
    Griffe und Bindestrich-Zeichensetzung
    Worte.

    Satzgrenze Analyse ermöglicht
    Auswahl mit der richtigen interpretation
    der Zeiträume in zahlen und
    Abkürzungen und trailing
    Satzzeichen wie Anführungszeichen
    Marken und Klammern.

    Wortgrenze Analyse verwendet wird, durch
    suchen-und ersetzen-Funktionen, sowie
    wie im text-editing-Anwendungen
    ermöglicht, dass der Benutzer das auswählen von Wörtern
    mit einem Doppelklick. Wort Auswahl
    bietet die richtige interpretation von
    Satzzeichen innerhalb und folgende
    Worte. Zeichen, die nicht Teil der
    ein Wort, wie Symbole oder Satzzeichen
    Marken, word-breaks auf beiden Seiten.

    Charakter boundary-Analyse ermöglicht
    Benutzer interagieren mit Charakteren wie
    Sie erwarten, dass Sie, zum Beispiel, wenn
    bewegen Sie den cursor über einen text
    string. Zeichen-Grenze Analyse
    stellt eine korrekte navigation durch
    Zeichenketten, unabhängig davon, wie
    der Charakter wird gespeichert. Zum Beispiel,
    ein Akzent-Zeichen die gespeichert werden können
    als Basis-Charakter und einem diakritischen
    mark. Was die Benutzer betrachten, um ein
    Charakter kann unterscheiden zwischen
    Sprachen.

    BreakIterator ist für den Gebrauch mit
    Natürliche Sprachen nur. Nicht verwenden
    diese Klasse für die tokenisierung einer Programmierung
    Sprache.

    Siehe demo: BreakIteratorDemo.java

    InformationsquelleAutor

  2. 4

    Basierend auf @Jarrod Roberson Antwort, die ich erstellt habe, eine util-Methode, die verwendet BreakIterator und gibt die Liste von Sätzen.

    public static List<String> tokenize(String text, String language, String country){
    List<String> sentences = new ArrayList<String>();
    Locale currentLocale = new Locale(language, country);
    BreakIterator sentenceIterator = BreakIterator.getSentenceInstance(currentLocale);      
    sentenceIterator.setText(text);
    int boundary = sentenceIterator.first();
    int lastBoundary = 0;
    while (boundary != BreakIterator.DONE) {
        boundary = sentenceIterator.next();         
        if(boundary != BreakIterator.DONE){
            sentences.add(text.substring(lastBoundary, boundary));
        }
        lastBoundary = boundary;            
    }
    return sentences;
}

    InformationsquelleAutor indusBull

  3. 1

    Verwenden Sie einfach den regulären Ausdruck (\s+ - es gelten für ein oder mehr " whitespaces (Leerzeichen, tabs, etc.)) split String in ein array.

    Dann können Sie iteriert über das array und prüfen, ob Wort endet mit .?! (String.endsWith() finden Ende von Sätzen.

    Und vor dem speichern jedes Wort, sobald wieder reguläre Ausdrücke, um entfernen Sie alle nicht-alphanumerischen Zeichen.

    Einige Leute, wenn Sie mit einem problem konfrontiert, denken, "ich weiß, ich werde Sie reguläre Ausdrücke verwenden." Nun haben Sie zwei Probleme.

    InformationsquelleAutor Crozin

  4. 0

    Natürlich StringTokenizer

    import java.util.StringTokenizer;

public class Token {
    public static void main(String[] args) {

        String sentence = "Java! simple ?sentence parser.";
        String separator = "!?.";

        StringTokenizer st = new StringTokenizer( sentence, separator, true );

        while ( st.hasMoreTokens() ) {
            String token = st.nextToken();
            if ( token.length() == 1 && separator.indexOf( token.charAt( 0 ) ) >= 0 ) {
                System.out.println( "special char:" + token );
            }
            else {
                System.out.println( "word :" + token );
            }

        }
    }
}
    was ist, wenn Sie eine decimal-Zahl, es wird nicht brechen, das richtig.

    InformationsquelleAutor stacker

  5. -1

    String Tokenizer

    Scanner

    Ex.

    StringTokenizer tokenizer = new StringTokenizer(input, " !?.");
    was ist, wenn Sie eine decimal-Zahl, es wird nicht brechen, das richtig.
    Gleiche mit Abkürzungen wie Dr. oder U. S. A.

    InformationsquelleAutor Holograham

Schreibe einen Kommentar