La création de plis pour le k-fold CV dans R à l'aide de l'accent circonflexe

Je suis en train de faire un k-fold CV pour plusieurs méthodes de classification/hiperparameters en utilisant les données disponibles à

http://archive.ics.uci.edu/ml/machine-learning-databases/undocumented/connectionist-bench/sonar/sonar.all-data.

Ce set est composé de 208 lignes, chacune avec 60 attributs. Je suis en train de lire dans un ensemble de données.cadre à l'aide de la lecture.table de fonction.

La prochaine étape consiste à partager mes données en k plis, disons k = 5. Ma première tentative a été d'utiliser

test <- createFolds(t, k=5)

J'ai eu deux problèmes avec cette. La première est que la longueur des plis ne sont pas à côté les uns des autres:

  Length Class  Mode

Fold1 29 -aucun - numérique
Fold2 14 -aucun - numérique
Fold3 7 -aucun - numérique
Fold4 5 -aucun - numérique
Fold5 5 -aucun - numérique

L'autre, c'est que ce qui, apparemment, découpé mes données en fonction des attributs des indices, mais je veux diviser les données lui-même. J'ai pensé que par la transposition de mes données.cadre, à l'aide de:

test <- t(myDataNumericValues)

Mais quand je l'appelle la createFolds fonction, il me donne quelque chose comme ceci:

  Length Class  Mode

Fold1 2496 -aucun - numérique
Fold2 2496 -aucun - numérique
Fold3 2495 -aucun - numérique
Fold4 2496 -aucun - numérique
Fold5 2497 -aucun - numérique

La longueur problème a été résolu, mais c'est encore de ne pas fendre ma 208 données en conséquence.

Des idées sur ce que je peux faire? Pensez-vous que le signe du package n'est pas le plus approprié?

Merci d'avance

OriginalL'auteur gcolucci | 2014-04-07

  1. 26

    Veuillez lire ?createFolds de comprendre ce que la fonction n'. Il crée les indices qui définissent les données sont tenu le séparer les plis (voir les options de retourner l'inverse):

      > library(caret)
> library(mlbench)
> data(Sonar)
> 
> folds <- createFolds(Sonar$Class)
> str(folds)
List of 10
$ Fold01: int [1:21] 25 39 58 63 69 73 80 85 90 95 ...
$ Fold02: int [1:21] 19 21 42 48 52 66 72 81 88 89 ...
$ Fold03: int [1:21] 4 5 17 34 35 47 54 68 86 100 ...
$ Fold04: int [1:21] 2 6 22 29 32 40 60 65 67 92 ...
$ Fold05: int [1:20] 3 14 36 41 45 75 78 84 94 104 ...
$ Fold06: int [1:21] 10 11 24 33 43 46 50 55 56 97 ...
$ Fold07: int [1:21] 1 7 8 20 23 28 31 44 71 76 ...
$ Fold08: int [1:20] 16 18 26 27 38 57 77 79 91 99 ...
$ Fold09: int [1:21] 13 15 30 37 49 53 74 83 93 96 ...
$ Fold10: int [1:21] 9 12 51 59 61 62 64 70 82 87 ...

    De les utiliser pour diviser les données:

       > split_up <- lapply(folds, function(ind, dat) dat[ind,], dat = Sonar)
> dim(Sonar)
[1] 208  61
> unlist(lapply(split_up, nrow))
Fold01 Fold02 Fold03 Fold04 Fold05 Fold06 Fold07 Fold08 Fold09 Fold10 
21     21     21     21     20     21     21     20     21     21

    La fonction train est utilisée dans ce package pour faire l'modélisation (vous n'avez généralement pas besoin de faire le fractionnement de vous-même. Voir cette page).

    Max

    Merci pour l'aide, Max. Maintenant, je suis confronté à une autre difficulté, que j'ai lié ici: stackoverflow.com/questions/22972854/.... J'espère que quelqu'un peut m'aider dans cette ainsi

    OriginalL'auteur topepo

  2. 1

    Je ne suis pas familier avec le caret paquet, mais j'ai utilisé pour écrire une fonction calculant CV basé sur l'arbre de décision à partir de la rpart paquet. Bien sûr, la fonction a besoin de motifying afin de convenir à votre but.

    CV <- function(form, x, fold = 10, cp = 0.01) {
# x is the data
n <- nrow(x)
prop <- n%/%fold
set.seed(7)
newseq <- rank(runif(n))
k <- as.factor((newseq - 1)%/%prop + 1)
y <- unlist(strsplit(as.character(form), " "))[2]
vec.accuracy <- vector(length = fold)
for (i in seq(fold)) {
# It depends on which classification method you use
fit <- rpart(form, data = x[k != i, ], method = "class")
fit.prune <- prune(fit, cp = cp)
fcast <- predict(fit.prune, newdata = x[k == i, ], type = "class")
cm <- table(x[k == i, y], fcast)
accuracy <- (cm[1, 1] + cm[2, 2])/sum(cm)
vec.accuracy[i] <- accuracy
}
avg.accuracy <- mean(vec.accuracy)
avg.error <- 1 - avg.accuracy
cv <- data.frame(Accuracy = avg.accuracy, Error = avg.error)
return(cv)

    }

    OriginalL'auteur Earo Wang