Helfen Sie mit predict() für kernlab der SVM in R?

Wenn Sie denken, darüber, wie die support-vector-machine könnte die "Verwendung" der kernel-matrix, wirst du sehen, dass Sie können nicht richtig dies tun Sie in der Weise, die Sie versuchen, (wie Sie gesehen haben 🙂

Ich eigentlich kämpfte ein wenig mit dieser, wenn ich das erste war mit kernlab + einen kernel-matrix ... zufällig, es war auch für graph-Kernel!

Sowieso, lassen Sie uns zunächst klar, dass da der SVM nicht wissen, wie zur Berechnung der kernel-Funktion, die es braucht, um diese Werte schon berechnet, zwischen dem neuen (Test -) Beispiele und die Beispiele, die er wählt, wie die support-Vektoren, die während des Trainings Schritt.

So, müssen Sie benötigen, um die Berechnung der kernel-matrix für alle deine Beispiele zusammen. Sie werden später Zug auf einige und test auf die anderen durch das entfernen von Zeilen + Spalten der kernel-matrix, wenn angemessen. Lassen Sie mich Ihnen zeigen, mit code.

Können wir mit den Beispiel-code in der ksvm Dokumentation laden unser Arbeitsbereich mit einigen Daten:

library(kernlab)
example(ksvm)

Müssen Sie drücken Sie die EINGABETASTE ein paar (2) Zeiten, um zu lassen die Grundstücke zu ziehen, und lassen Sie das Beispiel beenden, aber Sie sollten nun ein kernel-matrix in Ihrem Arbeitsbereich genannt K. Wir müssen zum wiederherstellen der y Vektor, die Sie verwenden sollten für Ihre Etiketten (es wurde mit Füßen getreten durch anderen code in dem Beispiel):

y <- matrix(c(rep(1,60),rep(-1,60)))

Nun, wählen Sie eine Teilmenge der Beispiele zum testen verwenden

holdout <- sample(1:ncol(K), 10)

Ab diesem Punkt werde ich:

1. Erstellen Sie eine Ausbildung kernel-matrix benannt trainK von der ursprünglichen K kernel-matrix.
2. Erstellen Sie ein SVM-Modell aus meiner Ausbildung trainK
3. Verwenden Sie die support-Vektoren gefunden, die aus dem Modell zu erstellen, die ein Test-kernel-matrix testK ... das ist der komische Teil. Wenn man sich den code in kernlab zu sehen, wie es verwendet die support vector Indizes, Sie werden sehen, warum es auf diese Weise getan. Es könnte möglich sein, das zu tun diese andere Art, aber ich sehe keine Dokumentation/Beispiele auf Vorhersage mit einer kernel-matrix, also mache ich es "der harte Weg" hier.
4. Verwendung der SVM, um vorherzusagen, auf diese Funktionen und Genauigkeit der Berichte

Hier der code:

trainK <- as.kernelMatrix(K[-holdout,-holdout])  # 1
m <- ksvm(trainK, y[-holdout], kernel='matrix')  # 2
testK <- as.kernelMatrix(K[holdout, -holdout][,SVindex(m), drop=F]) # 3
preds <- predict(m, testK)  # 4
sum(sign(preds) == sign(y[holdout])) / length(holdout) # == 1 (perfect!)

Sollte nur um es zu tun. Viel Glück!

Reaktionen auf Kommentar unten

was bedeutet K[-Zurückhaltung-die Zurückhaltung] bedeuten? (was bedeutet das" -"?)

Stellen Sie sich vor Sie haben ein Vektor x, und Sie wollen zum abrufen der Elemente 1, 3 und 5 aus, Sie tun würde:

x.sub <- x[c(1,3,5)]

Wenn Sie abrufen möchten alles aus x außer Elemente 1, 3 und 5, die Sie tun würde:

x.sub <- x[-c(1,3,5)]

So K[-holdout,-holdout] gibt alle Zeilen und Spalten von K außer für die Zeilen wollen wir die Zurückhaltung.

Was sind die Argumente Ihrer als.kernelMatrix - vor allem die [,SVindex(m),drop=F], argument (das ist besonders seltsam, denn es sieht so aus, dass die gesamte Halterung ist ein matrix-index von K?)

Yeah, ich inlined zwei Befehle in einem:

testK <- as.kernelMatrix(K[holdout, -holdout][,SVindex(m), drop=F])

Nun, da Sie trainiert haben, das Modell, die Sie wollen, um ihm eine neue kernel-matrix mit Ihrem Beispiele zum testen. K[holdout,] geben würde, Sie nur die Zeilen, die denen entsprechen, auf die Ausbildung Beispiele in K, und alle Spalten K.

SVindex(m) gibt Ihnen die Indizes von Ihren support-Vektoren aus Ihrem original Ausbildung matrix-denken Sie daran, die Zeilen/Spalten haben holdout entfernt. So für die Spalte Indizes korrekt zu sein (dh. Referenz die richtigen sv-Spalte), muss ich zuerst entfernen Sie die holdout Spalten.

Sowieso, vielleicht ist das verständlicher:

testK <- K[holdout, -holdout]
testK <- testK[,SVindex(m), drop=FALSE]

Nun testK nur die Zeilen unserer Beispiele zum testen und die Spalten entsprechen der support-Vektoren. testK[1,1] wird der Wert der kernel-Funktion berechnet, die zwischen Ihrem ersten Test-Beispiel, und die ersten support-Vektor. testK[1,2] haben die kernel-Funktion Wert zwischen Ihrem 1. testen der Beispiel-und der zweite support-vector, etc.

Update (2014-01-30) zu beantworten Kommentar von @wrahool

Es ist schon eine Weile her, seit ich gespielt habe mit diese, so die Angaben der kernlab::ksvm sind ein wenig eingerostet, aber im Prinzip sollte richtig sein 🙂 ... hier geht:

was ist der Punkt, der testK <- K[holdout, -holdout] - bist du nicht entfernen, die Spalten entsprechen, auf die Probe gesetzt?

Ja. Die kurze Antwort ist, dass, wenn Sie wollen predict durch ein kernel-matrix, die Sie zu liefern haben, die eine matrix der dimension rows durch support vectors. Für jede Zeile der matrix (die neue Beispiel, das Sie wollen, um Vorhersagen über) die Werte in den Spalten sind einfach der Wert der kernel-matrix ausgewertet, die zwischen diesem Beispiel und der support vector.

Den Aufruf SVindex(m) gibt den index der support-Vektoren in der dimension der original Trainingsdaten.

So, den ersten zu tun testK <- K[holdout, -holdout] gibt mir ein testK matrix mit den Zeilen der Beispiele, die ich möchte, um vorherzusagen, auf, und die Spalten sind von der gleichen Beispiele (dimension) wurde das Modell trainiert wird.

Ich weitere Teilmenge der Spalten von testK durch SVindex(m) zu gebt mir nur die Spalten, die (jetzt) entsprechen meiner support-Vektoren. Hatte ich nicht getan, die ersten [, -holdout] Auswahl, die Indizes wieder von SVindex(m) entspricht möglicherweise nicht die richtigen Beispiele (es sei denn, alle N Ihrer Beispiele zum testen sind die letzten N Spalten deiner matrix).

Auch, was genau bedeutet das drop = FALSE Bedingung?

Es ist ein bisschen defensiv-Codierung, um sicherzustellen, dass nach der Indizierung operation durchgeführt wird, wird das Objekt, das zurückgegeben wird, ist vom gleichen Typ wie das Objekt, das indiziert wurde.

In R, wenn Sie den index nur eine dimension der 2D - (oder besser(?)) Objekt, es wird wieder ein Objekt von der niederen dimension. Ich don ' T wollen, eine numeric Vektor in predict will, weil es eine matrix

Beispielsweise

x <- matrix(rnorm(50), nrow=10)

class(x)
[1] "matrix"

dim(x)
[1] 10  5

y <- x[, 1]

class(y)
[1] "numeric"

dim(y)
NULL

Das gleiche passiert mit data.frames, etc.

InformationsquelleAutor Steve Lianoglou

Steve Lianoglou richtig ist.

In kernlab es ist ein bisschen wired und wenn die Vorhersage Bedarf es der Eingabe der kernel-matrix zwischen den einzelnen test-Beispiel-und die support-Vektoren. Sie müssen finden diese matrix selbst.

Beispielsweise eine test-matrix [n x m], wobei n die Anzahl der Proben und m ist die Anzahl der support-Vektoren in der Gelehrten-Modell (geordnet in der Reihenfolge der SVindex(Modell -)).

Beispiel-code

trmat <- as.kernelMatrix(kernels[trainidx,trainidx])
tsmat <- as.kernelMatrix(kernels[testidx,trainidx])

#training
model = ksvm(x=trmat, y=trlabels, type = "C-svc", C = 1)

#testing
thistsmat = as.kernelMatrix(tsmat[,SVindex(model)])
tsprediction = predict(model, thistsmat, type = "decision")

Kernel ist der Eingang der kernel-matrix. trainidx und testidx sind ids für training und test.

InformationsquelleAutor user1165814