GridSearchCV - XGBoost - Früh Stoppen

ich versuche zu tun, hyperparemeter Suche mit scikit-learn ist GridSearchCV auf XGBoost. Während gridsearch ich möchte es frühzeitig beenden, da es reduzieren die Suchzeit drastisch, und die (erwartet) bessere Ergebnisse auf meine Vorhersage/regression Aufgabe. Ich bin mit XGBoost über seine Scikit-Learn-API.

    model = xgb.XGBRegressor()
    GridSearchCV(model, paramGrid, verbose=verbose ,fit_params={'early_stopping_rounds':42}, cv=TimeSeriesSplit(n_splits=cv).get_n_splits([trainX, trainY]), n_jobs=n_jobs, iid=iid).fit(trainX,trainY)

Habe ich versucht zu geben, früh zu stoppen Parameter mit fit_params, aber es wirft dann diese Fehlermeldung, die im Grunde ist aufgrund fehlender Validierungsdaten der benötigt wird, um früh zu stoppen:

/opt/anaconda/anaconda3/lib/python3.5/site-packages/xgboost/callback.py in callback(env=XGBoostCallbackEnv(model=<xgboost.core.Booster o...teration=4000, rank=0, evaluation_result_list=[]))
    187         else:
    188             assert env.cvfolds is not None
    189 
    190     def callback(env):
    191         """internal function"""
--> 192         score = env.evaluation_result_list[-1][1]
        score = undefined
        env.evaluation_result_list = []
    193         if len(state) == 0:
    194             init(env)
    195         best_score = state['best_score']
    196         best_iteration = state['best_iteration']

Wie kann ich mich bewerben GridSearch auf XGBoost mit early_stopping_rounds?

Hinweis: Modell ohne gridsearch, auch GridSearch arbeitet ohne 'fit_params={'early_stopping_rounds':42}

Was ist der Fehler??? Poste bitte die vollständige stack-trace. Außerdem ist der code zu arbeiten, ohne gridSearch, nur mit XGBRegressor.fit()?
ja, code funktioniert ohne gridsearch, funktioniert auch ohne 'fit_params={'early_stopping_rounds':42}'
Sie noch nicht aktualisiert, die stack-trace. Was ist der Fehler???
problem ist über die Methodik, die nicht unbedingt zu den traceback. ich Frage, "wie zu verwenden gridsearch auf xgboost mit early_stopping_rounds" vollen traceback ist in diesem Fall irrelevant.
Wie sollen wir helfen, wenn wir gar nicht wissen, was der Fehler ist. Weder haben Sie genau geschrieben was der Fehler ist, noch den stack trace.
Die Antwort von @glao funktioniert in deinem Fall. Sehen, nur, wenn Sie abgedruckt haben, die stack-trace-und error ("IndexError: list index out of range" in diesem Fall), hätte dies gelöst wurde, viel früher. Bitte Lesen Sie stellen

InformationsquelleAutor ayyayyekokojambo | 2017-03-24

3

Einem update zu @glao Antwort und eine Antwort auf @Vasim ' s Kommentar/Frage, wie der sklearn 0.21.3 (beachten Sie, dass fit_params verschoben worden ist, aus der die Instanziierung von GridSearchCV und verschoben worden, in der fit() Methode; auch der import speziell zieht in die sklearn wrapper-Modul von xgboost):
```
import xgboost.sklearn as xgb
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import TimeSeriesSplit

cv = 2

trainX= [[1], [2], [3], [4], [5]]
trainY = [1, 2, 3, 4, 5]

# these are the evaluation sets
testX = trainX 
testY = trainY

paramGrid = {"subsample" : [0.5, 0.8]}

fit_params={"early_stopping_rounds":42, 
            "eval_metric" : "mae", 
            "eval_set" : [[testX, testY]]}

model = xgb.XGBRegressor()

gridsearch = GridSearchCV(model, paramGrid, verbose=1,             
         cv=TimeSeriesSplit(n_splits=cv).get_n_splits([trainX, trainY]))

gridsearch.fit(trainX, trainY, **fit_params)
```
- hi - kann dies gemacht werden mit stratifiedkfold, wie gut ?
- yup, das ist eigentlich die Standardeinstellung, wenn Sie zu wählen geben Sie einfach die cv parameter in GridSearchCV als ein integer-Wert (der angibt, wie viele Falten Sie verwenden möchten). ich fürchte, ich bin nicht allzu vertraut mit der TimeSeriesSplit Methode obwohl, so dass, wenn Sie verwenden möchten, Sie sollten überprüfen Sie heraus den docs.
- danke für die Antwort, diese Lösung war, was ich gesucht hatte.
InformationsquelleAutor emigre459
13

Bei der Verwendung early_stopping_rounds Sie haben auch zu geben eval_metric und eval_set als input-parameter für die fit-Methode. Früh stoppen erfolgt über die Berechnung der Fehler auf eine Bewertung festlegen. Der Fehler zu verringern, jede early_stopping_rounds ansonsten ist die Generierung von zusätzlichen Bäumen ist vorzeitig beendet.

Sehen die Dokumentation von xgboosts fit-Methode für details.

Hier sehen Sie eine minimale voll funktionsfähig Beispiel:
```
import xgboost as xgb
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import TimeSeriesSplit

cv = 2

trainX= [[1], [2], [3], [4], [5]]
trainY = [1, 2, 3, 4, 5]

# these are the evaluation sets
testX = trainX 
testY = trainY

paramGrid = {"subsample" : [0.5, 0.8]}

fit_params={"early_stopping_rounds":42, 
            "eval_metric" : "mae", 
            "eval_set" : [[testX, testY]]}

model = xgb.XGBRegressor()
gridsearch = GridSearchCV(model, paramGrid, verbose=1 ,
         fit_params=fit_params,
         cv=TimeSeriesSplit(n_splits=cv).get_n_splits([trainX,trainY]))
gridsearch.fit(trainX,trainY)
```
- danke für die Antwort, es funktioniert. aber mit pre-definierten eval_set ist gegen die Natur des cross validation, denke ich.
- Ich denke, was du meinst, ist, dass in realen Anwendungen müssen Sie sicherstellen, dass eval_set und Zug festgelegt sind, dass Sie sich nicht überlappen oder dieselben sind, wie hier - sollte Hinzugefügt haben, dass. Ich benutzte den Zug gesetzt, nur der Einfachheit halber. Früh stoppen basierend auf den Zug von Daten nicht verhindern, dass überanpassung.
- die eval-set sollte die hold-out-set für die cross-Validierung, damit alles funktioniert wie vorgesehen.
- heute ist "fit_params" ist nicht zu empfehlen, da es veraltet.
- Danke @MichaelM, und wie genau können wir tun? Jede Hilfe
- Recht hat er. valid_set sollte ein hold-out-set.
InformationsquelleAutor glao

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.