Package R caret confusionMatrix avec les catégories manquantes

Je suis l'aide de la fonction confusionMatrix dans le R paquet caret pour calculer des statistiques pour certaines données que j'ai. J'ai été mettre mes prédictions ainsi que mes valeurs réelles dans le table fonction pour obtenir la table à utiliser dans le confusionMatrix fonction de la manière suivante:

table(predicted,actual)

Cependant, il ya plusieurs résultats possibles (par exemple A, B, C, D), et mes prédictions ne représentent pas toujours toutes les possibilités (par exemple A, B, D). La sortie de la table fonction n'incluent pas le manque de résultats et ressemble à ceci:

    A    B    C    D
A  n1   n2   n2   n4  
B  n5   n6   n7   n8  
D  n9  n10  n11  n12
# Note how there is no corresponding row for `C`.

La confusionMatrix fonction ne peut pas gérer le manque de résultats et donne l'erreur:

Error in !all.equal(nrow(data), ncol(data)) : invalid argument type

Est-il une manière que je peux utiliser le table fonctionnent différemment pour obtenir les lignes manquantes avec des zéros ou de l'utilisation de la confusionMatrix fonctionnent différemment de sorte qu'il sera de vue manquant résultats de zéro?

Comme une remarque: Depuis que je suis à sélectionner au hasard de mes données pour les tests, il y a des fois qu'une catégorie est également non représentée dans le résultat réel plutôt que de simplement le prédit. Je ne crois pas que cela va changer la solution.

OriginalL'auteur Barker | 2013-11-09

confusion-matrix missing-data r r-caret

Vous pouvez utiliser union pour assurer des niveaux similaires:

library(caret)

# Sample Data
predicted <- c(1,2,1,2,1,2,1,2,3,4,3,4,6,5) # Levels 1,2,3,4,5,6
reference <- c(1,2,1,2,1,2,1,2,1,2,1,3,3,4) # Levels 1,2,3,4

u <- union(predicted, reference)
t <- table(factor(predicted, u), factor(reference, u))
confusionMatrix(t)

Pour moi, parce que mes niveaux de facteurs ne sont pas continues, fotNelton de la méthode n'est pas applicable. Mais cela fonctionne, merci.

OriginalL'auteur Borealis

5

Première remarque que confusionMatrix peut être appelé comme confusionMatrix(predicted, actual) en plus d'être appelée avec table objets. Cependant, la fonction renvoie une erreur si predicted et actual (à la fois considéré comme factors) n'ont pas le même nombre de niveaux.

Cela (et le fait que le caret paquet de cracher une erreur sur moi car ils ne sont pas les dépendances droit en premier lieu) est pourquoi je vous suggère de créer votre propre fonction:
```
# Create a confusion matrix from the given outcomes, whose rows correspond
# to the actual and the columns to the predicated classes.
createConfusionMatrix <- function(act, pred) {
  # You've mentioned that neither actual nor predicted may give a complete
  # picture of the available classes, hence:
  numClasses <- max(act, pred)
  # Sort predicted and actual as it simplifies what's next. You can make this
  # faster by storing `order(act)` in a temporary variable.
  pred <- pred[order(act)]
  act  <- act[order(act)]
  sapply(split(pred, act), tabulate, nbins=numClasses)
}

# Generate random data since you've not provided an actual example.
actual    <- sample(1:4, 1000, replace=TRUE)
predicted <- sample(c(1L,2L,4L), 1000, replace=TRUE)

print( createConfusionMatrix(actual, predicted) )
```
qui vous donnera:
```
      1  2  3  4
[1,] 85 87 90 77
[2,] 78 78 79 95
[3,]  0  0  0  0
[4,] 89 77 82 83
```
Cela est correct. Vous devriez avoir le même niveau dans l'observées et prévues, de sorte que le tableau est indiqué. Sinon, comment serait - table savoir que d'autres niveaux de facteurs sont possibles? La plupart des fonctions dans caret beaucoup de mal à assurer les prédictions ont toujours les mêmes niveaux que dans les classes d'origine - Max
table pourrais dire de l'union du réel et les niveaux prévus. Je peux toutefois accepter (ce que je pourrais faire d'autre de toute façon :-)) que table fonctionne de cette façon, j'ai juste pensé que je devrais mentionner le fait que, pour ce problème particulier, il ne fonctionnera pas tant que l'OP veut.
Merci beaucoup, cela a été d'une grande aide!. J'ai ajouté un peu de code pour créer la matrice si " loi " n'a pas toutes les valeurs possibles représentés ainsi que pour être en mesure d'étiqueter les lignes et les colonnes et cela a fonctionné parfaitement. Également comme une note pour les autres, vous avez besoin d'utiliser " que.table de fonction pour le faire fonctionner dans le "confusionMatrix" la fonction.
Simple et bon! Je voudrais Modifier ce deux lignes dans la fonction: numClasses <- length(unique(c(act,pred))) sapply(split(as.factor(pred), as.factor(act)), tabulate, nbins=numClasses)

OriginalL'auteur fotNelton

J'ai eu le même problème et voici ma solution:

tab <- table(my_prediction, my_real_label)
if(nrow(tab)!=ncol(tab)){

missings <- setdiff(colnames(tab),rownames(tab))

missing_mat <- mat.or.vec(nr = length(missings), nc = ncol(tab))
tab  <- as.table(rbind(as.matrix(tab), missing_mat))
rownames(tab) <- colnames(tab)
}

my_conf <- confusionMatrix(tab)

Cheers
Cankut

OriginalL'auteur Cankut çubuk

Vous devez vous connecter pour publier un commentaire.