Setzen von Werten für ntree und mtry für das Random-Forest-Regressionsmodell

Ich bin mit R-Paket randomForest zu tun, die eine regression auf einige biologische Daten. Meine Trainingsdaten Größe ist 38772 X 201.

Ich fragte mich nur---was wäre ein guter Wert für die Anzahl der Bäume ntree und die Anzahl der Variablen pro level mtry? Gibt es eine Ungefähre Formel zu finden, wie die parameter-Werte?

Jede Zeile in mein input-Daten wird eine 200-Zeichen dar, das die Aminosäure-Sequenz, und ich aufbauen wollen, ein Regressionsmodell zu verwenden, solche Sequenz, um vorherzusagen, die Entfernungen zwischen den Proteinen.

InformationsquelleAutor der Frage DOSMarter | 2012-12-19

32

Standard für mtry ist durchaus sinnvoll, so gibt es nicht wirklich eine Notwendigkeit zu mucken mit. Gibt es eine Funktion tuneRF für die Optimierung dieser parameter. Beachten Sie jedoch, dass es möglicherweise bias.

Gibt es keine Optimierung für die Anzahl der bootstrap-Wiederholungen. Fange ich oft mit ntree=501 dann ergibt sich der random forest-Objekt. Dies wird Ihnen zeigen, die Fehler der Konvergenz basierend auf der OOB-Fehler. Sie wollen genug Bäume stabilisieren den Fehler aber nicht so viele, dass Sie über eine Korrelation zwischen den Ensembles, das führt zum overfit.

Hier ist die Warnung: variable Wechselwirkungen stabilisieren bei einer langsameren rate als Fehler, so, wenn Sie eine große Anzahl von unabhängigen Variablen, die Sie brauchen mehr Wiederholungen. Ich würde immer die ntree eine ungerade Zahl, so dass Bindungen gebrochen werden können.

Für die Dimensionen des problem würde ich anfangen ntree=1501. Ich würde auch empfehlen mit Blick auf eine der veröffentlichten variable Auswahl der Ansätze zur Verringerung der Zahl der unabhängigen Variablen.

InformationsquelleAutor der Antwort Jeffrey Evans
16

Die kurze Antwort ist Nein.

Den randomForest Funktion natürlich hat default-Werte für beide ntree und mtry. Die Standardeinstellung für mtry ist oft (aber nicht immer) sinnvoll, während in der Regel die Menschen wollen die Steigerung ntree von der default von 500 ziemlich wenig.

Den "richtigen" Wert für ntree im Allgemeinen nicht viel von einer Besorgnis, so es ziemlich offensichtlich, mit ein wenig basteln, dass die Vorhersagen aus dem Modell nicht viel ändern, nach einer bestimmten Anzahl von Bäumen.

Können Sie verbringen (sprich: Abfall) eine Menge Zeit, basteln mit Dingen wie mtry (und sampsize und maxnodes und nodesize etc.), wohl einige Vorteile, aber nach meiner Erfahrung nicht viel. Aber jedem Datensatz anders sein wird. Manchmal sehen Sie möglicherweise einen großen Unterschied, manchmal gar keine.

Den caret Paket hat eine sehr Allgemeine Funktion train das können Sie tun, um ein einfaches grid-search über den parameter Werte wie mtry für eine Vielzahl von Modellen. Meine einzige Vorsicht wäre, dass dies mit ziemlich großen Datensätzen ist wahrscheinlich etwas zeitaufwendig, relativ schnell, also aufpassen.

Auch, irgendwie habe ich vergessen, dass die ranfomForest Paket selbst hat eine tuneRF - Funktion, die speziell für die Suche nach der "optimalen" Wert für mtry.

InformationsquelleAutor der Antwort joran
4

Könnte dieses Papier helfen ?
Die Begrenzung der Anzahl der Bäume im Random Forests

Abstrakt. Das Ziel dieses Papiers ist vorzuschlagen, eine einfache Prozedur, die
a priori bestimmt eine minimale Anzahl von Klassen zu kombinieren, um
zum erhalten eines Vorhersage-Genauigkeit, ähnlich der, die mit der
Kombination von größeren ensembles. Das Verfahren basiert auf der McNemar
nicht-parametrische test von Bedeutung. Wissen a priori die minimale
Größe der classifier ensemble geben die beste Vorhersagegenauigkeit, stellt
ein Gewinn für Zeit und Speicher Kosten, vor allem für große Datenbanken
und real-time-Anwendungen. Hier haben wir dieses Verfahren, um mehrere vier
classifier-Systeme mit C4.5 decision tree (Breiman s Absacken, hos
Random Teilräume, deren Kombination wir mit der Aufschrift 'Bagfs', und Breiman ist
Random forests) und fünf große benchmark-Datenbanken. Es lohnt sich zu merken
dass das vorgeschlagene Verfahren kann leicht erweitert werden, um andere Basis
Lern-algorithmen als auf eine Entscheidung Baum als gut. Die experimentellen Ergebnisse
zeigten, dass es möglich ist, zu begrenzen deutlich die Anzahl der Bäume. Wir
auch zeigte sich, dass die minimale Anzahl der erforderlichen Bäume für den Erhalt
die beste Vorhersage, die die Genauigkeit kann variieren von einem Sichter-Kombination
Methode, zum anderen

Sie nie mehr als 200 Bäume.

InformationsquelleAutor der Antwort bastaPasta

Ich folgenden code verwenden, um zu überprüfen für die Richtigkeit, wie ich spielen, um mit ntree und mtry (ändern der Parameter):

results_df <- data.frame(matrix(ncol = 8))
colnames(results_df)[1]="No. of trees"
colnames(results_df)[2]="No. of variables"
colnames(results_df)[3]="Dev_AUC"
colnames(results_df)[4]="Dev_Hit_rate"
colnames(results_df)[5]="Dev_Coverage_rate"
colnames(results_df)[6]="Val_AUC"
colnames(results_df)[7]="Val_Hit_rate"
colnames(results_df)[8]="Val_Coverage_rate"


trees = c(50,100,150,250)
variables = c(8,10,15,20)

for(i in 1:length(trees))
{
  ntree = trees[i]
  for(j in 1:length(variables))
  {
    mtry = variables[j]
    rf<-randomForest(x,y,ntree=ntree,mtry=mtry)
    pred<-as.data.frame(predict(rf,type="class"))
    class_rf<-cbind(dev$Target,pred)

    colnames(class_rf)[1]<-"actual_values"
    colnames(class_rf)[2]<-"predicted_values"
    dev_hit_rate = nrow(subset(class_rf, actual_values ==1&predicted_values==1))/nrow(subset(class_rf, predicted_values ==1))
    dev_coverage_rate = nrow(subset(class_rf, actual_values ==1&predicted_values==1))/nrow(subset(class_rf, actual_values ==1))

    pred_prob<-as.data.frame(predict(rf,type="prob"))
    prob_rf<-cbind(dev$Target,pred_prob)
    colnames(prob_rf)[1]<-"target"
    colnames(prob_rf)[2]<-"prob_0"
    colnames(prob_rf)[3]<-"prob_1"
    pred<-prediction(prob_rf$prob_1,prob_rf$target)
    auc <- performance(pred,"auc")
    dev_auc<-as.numeric(auc@y.values)

    pred<-as.data.frame(predict(rf,val,type="class"))
    class_rf<-cbind(val$Target,pred)

    colnames(class_rf)[1]<-"actual_values"
    colnames(class_rf)[2]<-"predicted_values"
    val_hit_rate = nrow(subset(class_rf, actual_values ==1&predicted_values==1))/nrow(subset(class_rf, predicted_values ==1))
    val_coverage_rate = nrow(subset(class_rf, actual_values ==1&predicted_values==1))/nrow(subset(class_rf, actual_values ==1))

    pred_prob<-as.data.frame(predict(rf,val,type="prob"))
    prob_rf<-cbind(val$Target,pred_prob)
    colnames(prob_rf)[1]<-"target"
    colnames(prob_rf)[2]<-"prob_0"
    colnames(prob_rf)[3]<-"prob_1"
    pred<-prediction(prob_rf$prob_1,prob_rf$target)
    auc <- performance(pred,"auc")
    val_auc<-as.numeric(auc@y.values)
    results_df = rbind(results_df,c(ntree,mtry,dev_auc,dev_hit_rate,dev_coverage_rate,val_auc,val_hit_rate,val_coverage_rate))
  }
}

InformationsquelleAutor der Antwort Hillary Murefu

0

Gibt es einen schönen trick, den ich verwenden ist, um zunächst starten Sie mit der ersten Einnahme Quadratwurzel der Anzahl der Prädiktoren und der Stecker, der Wert für "mtry". Es ist in der Regel um den gleichen Wert, tunerf funtion in random forest wählen Sie würde.

InformationsquelleAutor der Antwort KHAN irfan

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.