Courbe ROC partir des données de formation en accent circonflexe
En utilisant le package R lambda, comment puis-je générer une courbe ROC basée sur la croix-résultats de la validation du train() la fonction?
Dire, je ne les suivants:
data(Sonar)
ctrl <- trainControl(method="cv",
summaryFunction=twoClassSummary,
classProbs=T)
rfFit <- train(Class ~ ., data=Sonar,
method="rf", preProc=c("center", "scale"),
trControl=ctrl)
La fonction de formation va sur une plage de mtry paramètre et calcule le ROC (AUC). Je voudrais voir le associé courbe ROC -- comment dois-je faire?
Remarque: si la méthode utilisée pour l'échantillonnage est LOOCV, puis rfFit
contiendra une valeur non nulle bloc de données dans la rfFit$pred
slot, ce qui semble être exactement ce dont j'ai besoin. Cependant, j'en ai besoin pour le "cv" de la méthode (k-fold validation) plutôt que de LOO.
Aussi: non, roc
fonction qui sert à être inclus dans les versions antérieures de l'accent circonflexe n'est pas une réponse -- c'est un faible niveau de fonction, vous ne pouvez pas l'utiliser si vous n'avez pas la prédiction des probabilités pour chaque validation croisée de l'échantillon.
Non, ce n'est pas la réponse. Tout d'abord, la version moderne de l'accent circonflexe n'a pas la fonction. Deuxièmement, la fonction a besoin d'une "variable couper le long de", plus précisément, la prédiction des probabilités, mais comment puis-je obtenir à partir de l'objet renvoyé par le train() la fonction?
OriginalL'auteur January | 2015-06-30
Vous devez vous connecter pour publier un commentaire.
Il y a juste le
savePredictions = TRUE
argument manquant dansctrl
(cela fonctionne aussi pour d'autres méthodes de rééchantillonnage):Peut-être que je manque quelque chose, mais un petit souci, c'est que
train
toujours des estimations légèrement différentes valeurs de l'ASC deplot.roc
etpROC::auc
(différence absolue < 0,005), de mêmetwoClassSummary
utilisepROC::auc
pour estimer l'ASC. Edit: je suppose que cela se produit parce que le ROC detrain
est la moyenne de l'ASC à l'aide de la CV-Ensembles et nous voici le calcul de l'AUC sur toutes les ré-échantillonne simultanément pour obtenir l'ensemble de l'ASC.Mise à jour Puisque c'est d'obtenir un peu d'attention, voici une solution à l'aide de
plotROC::geom_roc()
pourggplot2
:peut extraire finalModel mtry avec
rfFit$finalModel$mtry
OriginalL'auteur thie1e
Ici, je fais des modifications sur le terrain de @thei1e dont d'autres pourraient trouver utiles.
De Train de modèle et de faire des prédictions
Mise à jour de courbe ROC de la parcelle
OriginalL'auteur Megatron