NLTK und Spracherkennung

Wie kann ich erkennen, in welcher Sprache ein text geschrieben ist mit NLTK?

Die Beispiele, die ich gesehen habe verwenden nltk.detectaber wenn ich es installiert auf meinem mac, ich kann nicht finden, dieses Paket.

InformationsquelleAutor der Frage niklassaers | 2010-07-05

  1. 30

    Haben, kommen Sie über den folgenden code-snippet?

    english_vocab = set(w.lower() for w in nltk.corpus.words.words())
text_vocab = set(w.lower() for w in text if w.lower().isalpha())
unusual = text_vocab.difference(english_vocab)

    vom http://groups.google.com/group/nltk-users/browse_thread/thread/a5f52af2cbc4cfeb?pli=1&safe=active

    Oder die folgende demo-Datei?

    https://web.archive.org/web/20120202055535/http://code.google.com/p/nltk/source/browse/trunk/nltk_contrib/nltk_contrib/misc/langid.py

    InformationsquelleAutor der Antwort William Niu

  2. 19

    Diese Bibliothek ist nicht von NLTK, entweder, aber sicherlich hilft.

    $ sudo pip install langdetect

    Unterstützten Python-Versionen 2.6, 2.7, 3.x.

    >>> from langdetect import detect

>>> detect("War doesn't show who's right, just who's left.")
'en'
>>> detect("Ein, zwei, drei, vier")
'de'

    https://pypi.python.org/pypi/langdetect?

    P. S.: erwarte nicht, dass dies korrekt funktioniert immer:

    >>> detect("today is a good day")
'so'
>>> detect("today is a good day.")
'so'
>>> detect("la vita e bella!")
'it'
>>> detect("khoobi? khoshi?")
'so'
>>> detect("wow")
'pl'
>>> detect("what a day")
'en'
>>> detect("yay!")
'so'

    InformationsquelleAutor der Antwort SVK

  3. 16

    Obwohl dies nicht in das NLTK, ich habe tolle Ergebnisse mit einem weiteren Python-basierte Bibliothek :

    https://github.com/saffsd/langid.py

    Dies ist sehr einfach zu importieren und beinhaltet eine große Anzahl von Sprachen in Ihrem Modell.

    InformationsquelleAutor der Antwort burgersmoke

Schreibe einen Kommentar