Berechnen Sie die cross-Validierung für das Verallgemeinerte Lineare Modell in Matlab

Mache ich eine regression mit Verallgemeinerten Linearen Modell.Ich bin gefangen offguard mit der crossVal Funktion. Meine Implementierung so weit;

x = 'Some dataset, containing the input and the output'

X = x(:,1:7);
Y = x(:,8);

cvpart = cvpartition(Y,'holdout',0.3);
Xtrain = X(training(cvpart),:);
Ytrain = Y(training(cvpart),:);
Xtest = X(test(cvpart),:);
Ytest = Y(test(cvpart),:);

mdl = GeneralizedLinearModel.fit(Xtrain,Ytrain,'linear','distr','poisson');

Ypred  = predict(mdl,Xtest);
res = (Ypred - Ytest);
RMSE_test = sqrt(mean(res.^2));

Den code unten ist für die Berechnung der Kreuz-Validierung für mulitple regression als erhalten link. Ich möchte etwas ähnliches für die Verallgemeinerten Linearen Modells.

c = cvpartition(Y,'k',10);
regf=@(Xtrain,Ytrain,Xtest)(Xtest*regress(Ytrain,Xtrain));
cvMse = crossval('mse',X,Y,'predfun',regf)
  • Was ist die Frage?
  • Ich möchte berechnen, cross-validation-Fehler für die GLM mit den Funktionen statistische toolbox von Matlab. Nun, gibt es etwas, dass ich vermisst werde, oder dass Matlab einfach doesnot haben eine solche Funktion eingebaut.
InformationsquelleAutor motiur | 2014-05-28
  1. 5

    Können Sie entweder führen Sie die cross-Validierung manuell (training-ein Modell für jede Falte, vorherzusagen, Ergebnis, compute error, dann melden Sie den Durchschnitt über alle Falten), oder verwenden Sie die CROSSVAL Funktion, die wickelt das gesamte Verfahren in einem einzigen Aufruf.

    Um ein Beispiel zu geben, werde ich erst laden und vorbereiten eines Datensatz (eine Teilmenge der Autos dataset die Schiffe mit der Statistik-Toolbox):

    % load regression dataset
load carsmall
X = [Acceleration Cylinders Displacement Horsepower Weight];
Y = MPG;

% remove instances with missing values
missIdx = isnan(Y) | any(isnan(X),2);
X(missIdx,:) = [];
Y(missIdx) = [];

clearvars -except X Y

    Option 1

    Hier werden wir manuell partitionieren Sie die Daten mit k-fold cross-validation mit cvpartition (nicht stratifiziert). Für jede Falte, wir trainieren GLM Modells unter Verwendung der Trainingsdaten, dann das Modell verwenden, um vorherzusagen, Ausgabe von Test Daten. Als Nächstes müssen wir berechnen und speichern der regression der mittlere quadratische Fehler für dieses Fach. Am Ende, wir berichten die durchschnittlichen RMSE über alle Partitionen.

    % partition data into 10 folds
K = 10;
cv = cvpartition(numel(Y), 'kfold',K);

mse = zeros(K,1);
for k=1:K
    % training/testing indices for this fold
    trainIdx = cv.training(k);
    testIdx = cv.test(k);

    % train GLM model
    mdl = GeneralizedLinearModel.fit(X(trainIdx,:), Y(trainIdx), ...
        'linear', 'Distribution','poisson');

    % predict regression output
    Y_hat = predict(mdl, X(testIdx,:));

    % compute mean squared error
    mse(k) = mean((Y(testIdx) - Y_hat).^2);
end

% average RMSE across k-folds
avrg_rmse = mean(sqrt(mse))

    Option 2

    Hier können wir einfach anrufen CROSSVAL mit einer entsprechenden Funktion Griff, mit dem die Berechnung der regression output gegeben eine Reihe von Zug/test-Instanzen. Sehen Sie die doc-Seite, um die Parameter zu verstehen.

    % prediction function given training/testing instances
fcn = @(Xtr, Ytr, Xte) predict(...
    GeneralizedLinearModel.fit(Xtr,Ytr,'linear','distr','poisson'), ...
    Xte);

% perform cross-validation, and return average MSE across folds
mse = crossval('mse', X, Y, 'Predfun',fcn, 'kfold',10);

% compute root mean squared error
avrg_rmse = sqrt(mse)

    Sollten Sie ein ähnliches Ergebnis im Vergleich zu vorher (etwas anderes natürlich, aufgrund der Zufälligkeit an der cross-Validierung).

    • Lassen Sie mich nur klar, ein Ding, wie funktioniert das crossval Funktion weiß, welcher Teil der Daten ist Xtr, die ist Ytr. Ich weiß fcn ist eine anonyme Funktion, aber jemand muss es sagen, welcher Teil der Daten ist welche. Ich habe gegangen durch den doc, aber diese Trennung der Daten für die anonyme Funktion ist immer noch entzieht sich mir.
    • intern Partitionen mit den Daten mit der gleichen Technik, dann für jeden klappt es ruft die function-handle übergeben Sie die entsprechende Ausbildung/test-Datensätze. In der Tat kann man sagen crossval Ihre eigenen cvpartition - Objekt, wenn Sie wollen..
    InformationsquelleAutor Amro
Schreibe einen Kommentar