Comment effectuer la forêt au hasard/validation croisée dans la R

C'est effectivement plus rapide ainsi que très facile à faire en Python à l'aide de la scikit-learn bibliothèque (http://scikit-learn.org/stable/modules/cross_validation.html). Vous pouvez faire K-fold validation, stratifié K fois (ce qui garantit que les classes sont également réparties dans chacun des plis), laisser de côté, et d'autres.

Il est également très facile de générer la courbe ROC, disposent d'importances, et d'autres de l'évaluation des mesures.

Voici un exemple rapide:

y  = data[1:, 0].astype(np.float)
X  = data[1:, 1:].astype(np.float)
cv = StratifiedKFold(y, n_folds = 5)
precision   = []
accuracy    = []
sensitivity = []
matthews    = []
r2          = []
f1          = []
auroc       = []
cm          = [[0, 0], [0, 0]]
for i, (train, test) in enumerate(cv):
probas_     = rf.fit(X[train], y[train]).predict_proba(X[test])
classes     = rf.fit(X[train], y[train]).predict(X[test])
r2          = np.append(r2, (r2_score(y[test], probas_[:, 1])))
precision   = np.append(precision, (precision_score(y[test], classes)))
auroc       = np.append(auroc, (roc_auc_score(y[test], classes)))
accuracy    = np.append(accuracy, (accuracy_score(y[test], classes)))
sensitivity = np.append(sensitivity, (recall_score(y[test], classes)))
f1          = np.append(f1, (f1_score(y[test], classes)))
matthews    = np.append(matthews, (matthews_corrcoef(y[test], classes)))
cma         = np.add(cma, (confusion_matrix(y[test], classes)))
cma         = np.array(cma)
r2          = np.array(r2)
precision   = np.array(precision)
accuracy    = np.array(accuracy)
sensitivity = np.array(sensitivity)
f1          = np.array(f1)
auroc       = np.array(auroc)
matthews    = np.array(matthews)
print("KF Accuracy: %0.2f (+/- %0.2f)" % (accuracy.mean(), accuracy.std() * 2))
print("KF Precision: %0.2f (+/- %0.2f)" % (precision.mean(), precision.std() * 2))
print("KF Sensitivity: %0.2f (+/- %0.2f)" % (sensitivity.mean(), sensitivity.std() * 2))
print("KF R^2: %0.2f (+/- %0.2f)" % (r2.mean(), r2.std() * 2))
print("KF F1: %0.2f (+/- %0.2f)" % (f1.mean(), f1.std() * 2))
print("KF AUROC: %0.2f (+/- %0.2f)" % (auroc.mean(), auroc.std() * 2))
print("KF Matthews: %0.2f (+/- %0.2f)" % (matthews.mean(), matthews.std() * 2))
print("Confusion Matrix", cma)

OriginalL'auteur eagle34

Comme topchef souligné, la validation croisée n'est pas nécessaire d'avoir une protection contre le sur-ajustement. C'est une caractéristique intéressante de la forêt aléatoire de l'algorithme.

Il semble que votre objectif est la fonction de sélection, de validation croisée est toujours utile à cette fin. Jetez un oeil à la rfcv() fonction au sein de l'randomForest paquet. La Documentation indique l'entrée d'un bloc de données & vecteur, alors je vais commencer par la création de celles de vos données.

set.seed(42)
x <- cadets
x$RT..seconds. <- NULL
y <- cadets$RT..seconds.
rf.cv <- rfcv(x, y, cv.fold=10)
with(rf.cv, plot(n.var, error.cv))

OriginalL'auteur Lenwood