TF*IDF für Suchanfragen

Okay, so habe ich die folgenden zwei Beiträge auf TF*IDF, bin aber etwas verwirrt : http://css.dzone.com/articles/machine-learning-text-feature

Im Grunde, ich möchte erstellen Sie eine Suchanfrage enthält, durchsucht mehrere Dokumente. Ich möchte die scikit-learn-toolkit sowie die Bibliothek NLTK für Python

Das problem ist, dass ich nicht sehen, wo die beiden TF*IDF-Vektoren stammen. Ich brauche eine Abfrage, die mehrere Dokumente zu suchen. Ich dachte mir, dass ich die Berechnung der TF*IDF-scores jedes Dokument gegen jede Abfrage und finden Sie die Kosinus-ähnlichkeit zwischen Ihnen, und dann ordnen Sie Sie durch Sortieren der Werte in absteigender Reihenfolge. Aber der code scheint nicht zu kommen mit den richtigen Vektoren.

Immer wenn ich reduziere die Abfrage auf nur eine Suche, es ist wieder eine riesige Liste von 0, das ist wirklich seltsam.

Hier ist der code:

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from nltk.corpus import stopwords

train_set = ("The sky is blue.", "The sun is bright.") #Documents
test_set = ("The sun in the sky is bright.") #Query
stopWords = stopwords.words('english')

vectorizer = CountVectorizer(stop_words = stopWords)
transformer = TfidfTransformer()

trainVectorizerArray = vectorizer.fit_transform(train_set).toarray()
testVectorizerArray = vectorizer.transform(test_set).toarray()
print 'Fit Vectorizer to train set', trainVectorizerArray
print 'Transform Vectorizer to test set', testVectorizerArray

transformer.fit(trainVectorizerArray)
print transformer.transform(trainVectorizerArray).toarray()

transformer.fit(testVectorizerArray)

tfidf = transformer.transform(testVectorizerArray)
print tfidf.todense()