Wie man überprüft, ob ein Schlüssel in einem word2vec trainierten Modell existiert oder nicht

Habe ich trainiert word2vec Modell mit einem Korpus von Dokumenten mit Gensim. Ist das model-training, Schreibe ich den folgenden code, um die raw-feature-Vektor, der ein Wort sagen "anzeigen".

myModel["view"]

Allerdings bekomme ich eine KeyError für das Wort, das ist wahrscheinlich, weil diese nicht vorhanden ist, die als Schlüssel in der Liste der Schlüssel, indiziert durch word2vec. Wie kann ich prüfen, ob eine Taste wird in den index, bevor Sie versuchen, die rohen feature-Vektor?

InformationsquelleAutor der Frage London guy | 2015-05-18

  1. 4

    konvertieren Sie das Modell in Vektoren mit 

    word_vectors = model.wv

    dann können wir 

    if 'word' in word_vectors.vocab

    InformationsquelleAutor der Antwort rakaT

  2. 23

    Word2Vec bietet auch eine "vocab" Mitglieder, die Sie direkt zugreifen können.

    Mit einem pythonistic Ansatz:

    if word in w2v_model.vocab:
    # Do something

    BEARBEITEN Seit gensim Version 2.0 der API für Word2Vec geändert. Zugriff auf den Wortschatz, den sollten Sie jetzt verwenden:

    if word in w2v_model.wv.vocab:
    # Do something

    EDIT 2 Das Attribut 'wv' ist veraltet und wird komplettiert entfernt im gensim 4.0.0. Nun geht es zurück zu der ursprünglichen Antwort von OP:

    if word in w2v_model.vocab:
    # Do something

    InformationsquelleAutor der Antwort Matt Fortier

  3. 1

    Beantwortung meiner eigenen Frage hier.

    Word2Vec bietet eine Methode namens enthält('view'), die True oder False zurückgibt, basierend auf, ob das entsprechende Wort indiziert wurde oder nicht.

    InformationsquelleAutor der Antwort London guy

  4. 0

    Hey, ich weiß, bin spät dieser post, aber hier ist ein Stück code, das kann damit umgehen. Ich selbst benutze es in meinem code, und es funktioniert wie ein Charme 🙂

       size = 300 #word vector size
   word = 'food' #word token

   try:
        wordVector = model[word].reshape((1, size))
   except KeyError:
        print "not found! ",  word

    HINWEIS:
    Ich bin mit python Gensim-Bibliothek für word2vec Modelle

    InformationsquelleAutor der Antwort Noman Dilawar

  5. 0

    Ich in der Regel verwenden Sie einen filter:

    for doc in labeled_corpus:
    words = filter(lambda x: x in model.vocab, doc.words)

    Dies ist eine einfache Methode, für immer vorbei an der KeyError auf die unsichtbaren Worte.

    InformationsquelleAutor der Antwort Prakhar Agarwal

Schreibe einen Kommentar