sklearn : TFIDF-Transformator : Wie man tf-idf-Werte der gegebenen Wörter im Dokument

Ich verwendet, sklearn für die Berechnung der TFIDF (Term frequency inverse document frequency) - Werte für Dokumente mit Befehl :

from sklearn.feature_extraction.text import CountVectorizer
count_vect = CountVectorizer()
X_train_counts = count_vect.fit_transform(documents)
from sklearn.feature_extraction.text import TfidfTransformer
tf_transformer = TfidfTransformer(use_idf=False).fit(X_train_counts)
X_train_tf = tf_transformer.transform(X_train_counts)

X_train_tf ist ein scipy.sparse matrix der Form (2257, 35788).

Wie kann ich die TF-IDF für die Wörter in einem bestimmten Dokument? Mehr spezifisch, wie man Wörter mit maximale TF-IDF Werte in einem bestimmten Dokument?

InformationsquelleAutor maximus | 2015-12-24
  1. 48

    Können Sie TfidfVectorizer von sklean

    from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np
from scipy.sparse.csr import csr_matrix #need this if you want to save tfidf_matrix

tf = TfidfVectorizer(input='filename', analyzer='word', ngram_range=(1,6),
                     min_df = 0, stop_words = 'english', sublinear_tf=True)
tfidf_matrix =  tf.fit_transform(corpus)

    Den oben tfidf_matix hat die TF-IDF-Werte aller Dokumente im Korpus. Dies ist eine große sparse-matrix. Nun,

    feature_names = tf.get_feature_names()

    dies gibt Ihnen die Liste aller tokens oder n-Gramm oder Worte.
    Für das erste Dokument in Ihrem corpus,

    doc = 0
feature_index = tfidf_matrix[doc,:].nonzero()[1]
tfidf_scores = zip(feature_index, [tfidf_matrix[doc, x] for x in feature_index])

    Können Sie ausdrucken,

    for w, s in [(feature_names[i], s) for (i, s) in tfidf_scores]:
  print w, s
    • Wie bekomme ich die Worte mit der maximalen tf-idf-score? Dies funktioniert für mich, aber ich weiß nicht so ganz verstehen, was Los ist in der letzten Zeile.
    • [tfidf_matrix[doc, x] für x in feature_index] gibt Ihnen die Liste der Noten. Ich habe die Zip mit es der index, so dass Sie ziehen können Sie die feature_name (oder das Wort). Sie können die Sortierung der tfidf_scores basierend auf dem 2. element (das ist der score hier), um das maximale element zuerst.
    InformationsquelleAutor sud_
  2. 9

    Hier ist noch eine einfachere Lösung ist in Python 3 mit pandas-Bibliothek

    from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd

vect = TfidfVectorizer()
tfidf_matrix = vect.fit_transform(documents)
df = pd.DataFrame(tfidf_matrix.toarray(), columns = vect.get_feature_names())
print(df)
    InformationsquelleAutor 8cold8hot
Schreibe einen Kommentar