Calculer l'ASC dans la R?

Étant donné un vecteur de scores et un vecteur de réels étiquettes de classe, comment calculez-vous un numéro unique de l'ASC métrique pour un classificateur binaire dans le langage R ou en anglais?

Page 9 de "AUC: une Meilleure Mesure..." semble avoir besoin de connaître les étiquettes de classe, et voici un exemple dans MATLAB où je ne comprends pas 

R(Actual == 1))

Parce que R (à ne pas confondre avec le langage R) est défini un vecteur, mais l'utilise comme une fonction?

InformationsquelleAutor Andrew | 2011-02-04
  1. 29

    Comme mentionné par d'autres, vous pouvez calculer l'ASC à l'aide de la ROCR paquet. Avec le ROCR package, vous pouvez aussi tracer la courbe ROC, courbe de levée et d'autres modèle de sélection des mesures.

    Vous pouvez calculer l'ASC directement, sans l'aide de n'importe quel paquet en utilisant le fait que l'ASC est égale à la probabilité qu'un vrai positif est marqué plus que d'un véritable négatif.

    Par exemple, si pos.scores est un vecteur contenant un score exemples positifs, et neg.scores est un vecteur contenant les exemples négatifs alors l'ASC est approximée par:

    > mean(sample(pos.scores,1000,replace=T) > sample(neg.scores,1000,replace=T))
[1] 0.7261

    donnera une approximation de l'aire sous la courbe. Vous pouvez aussi estimer la variance de l'ASC de l'amorçage:

    > aucs = replicate(1000,mean(sample(pos.scores,1000,replace=T) > sample(neg.scores,1000,replace=T)))
    • Pour mon jeu de données de test votre répliqué valeur est très similaire à @jonw est (est 0.8504, la vôtre 0.850591) sauf que je n'avez pas besoin d'installer pROC. Merci
    • C'est une terrible réponse. Vous n' PAS estimation de la variance de l'ASC - vous seulement estimer la variance de la re-échantillonnage. Pour vous en convaincre, essayez de changer la taille de l'échantillon dans sample... diviser par 10, votre variance est multiplié par 10. Multiplier par 10 et votre variance est divisé par 10. Ce n'est certainement pas le comportement souhaité pour calculer la variance de l'ASC.
    • En outre, la réponse doit noter que l'estimation est aussi bonne que le nombre de répétitions. Aller à l'infini et vous obtenez le réel de l'ASC.
    • D'accord avec @Calimo, qui n'est pas un bootstrap. Pour l'amorçage, vous avez pour rééchantillonner N points de données avec le remplacement de M fois, où N est la taille totale de l'ensemble de données original et M peut être n'importe quoi (généralement un couple de cent ou plus). Ce N est pas arbitraire. Si N n'est pas défini pour l'ensemble de données de taille vous obtiendrez des statistiques biaisées.
    InformationsquelleAutor erik
  2. 38

    Le ROCR paquet va calculer l'ASC parmi d'autres statistiques:

    auc.tmp <- performance(pred,"auc"); auc <- as.numeric(auc.tmp@y.values)
    • J'ai utilisé ROCR pour tracer les performances, mais je ne vois pas comment on calcule un "numéro unique de l'ASC métrique" (à partir de la question initiale).
    • auc.tmp <- performance(pred,"auc"); auc <- as.numeric([email protected])
    InformationsquelleAutor semaj
  3. 31

    Avec le paquet pROC vous pouvez utiliser la fonction auc() comme cet exemple de la page d'aide:

    > data(aSAH)
> 
> # Syntax (response, predictor):
> auc(aSAH$outcome, aSAH$s100b)
Area under the curve: 0.7314
    InformationsquelleAutor J. Win.
  4. 17

    Sans les paquets supplémentaires:

    true_Y = c(1,1,1,1,2,1,2,1,2,2)
probs = c(1,0.999,0.999,0.973,0.568,0.421,0.382,0.377,0.146,0.11)
getROC_AUC = function(probs, true_Y){
probsSort = sort(probs, decreasing = TRUE, index.return = TRUE)
val = unlist(probsSort$x)
idx = unlist(probsSort$ix)  
roc_y = true_Y[idx];
stack_x = cumsum(roc_y == 2)/sum(roc_y == 2)
stack_y = cumsum(roc_y == 1)/sum(roc_y == 1)    
auc = sum((stack_x[2:length(roc_y)]-stack_x[1:length(roc_y)-1])*stack_y[2:length(roc_y)])
return(list(stack_x=stack_x, stack_y=stack_y, auc=auc))
}
aList = getROC_AUC(probs, true_Y) 
stack_x = unlist(aList$stack_x)
stack_y = unlist(aList$stack_y)
auc = unlist(aList$auc)
plot(stack_x, stack_y, type = "l", col = "blue", xlab = "False Positive Rate", ylab = "True Positive Rate", main = "ROC")
axis(1, seq(0.0,1.0,0.1))
axis(2, seq(0.0,1.0,0.1))
abline(h=seq(0.0,1.0,0.1), v=seq(0.0,1.0,0.1), col="gray", lty=3)
legend(0.7, 0.3, sprintf("%3.3f",auc), lty=c(1,1), lwd=c(2.5,2.5), col="blue", title = "AUC")

    Calculer l'ASC dans la R?

    • Si vous copiez-collez ce code et de recevoir des Error in plot.window(...) : need finite 'xlim' values, c'est probablement parce que vos étiquettes sont 0-1, tandis que @AGS est à l'aide d'étiquettes 1-2.
    • Il ne donne pas le vrai AUC si deux observations ont la même probabilité et l'ordre de l'observation n'est pas aléatoire. Sinon, sympa et rapide du code.
    • Ne sais pas pourquoi cette solution ne fonctionne pas sur mes données, mes probs ne sont pas normalisés être dans [0,1]
    InformationsquelleAutor AGS
  5. 6

    J'ai trouvé quelques solutions ici pour être lent et/ou de confusion (et certains d'entre eux ne gère pas les liens correctement) j'ai donc écrit mon propre data.table fonction auc_roc() dans mon package R mltools.

    library(data.table)
library(mltools)
preds <- c(.1, .3, .3, .9)
actuals <- c(0, 0, 1, 1)
auc_roc(preds, actuals)  # 0.875
auc_roc(preds, actuals, returnDT=TRUE)
Pred CountFalse CountTrue CumulativeFPR CumulativeTPR AdditionalArea CumulativeArea
1:  0.9          0         1           0.0           0.5          0.000          0.000
2:  0.3          1         1           0.5           1.0          0.375          0.375
3:  0.1          1         0           1.0           1.0          0.500          0.875
    • Cette solution est beaucoup plus rapide que l'asc() la méthode pROC paquet! l'asc() la méthode pROC paquet est assez lent si l'on doit calculer l'asc scores pour le multi-classe ou de sortie multiples problème de régression.
    InformationsquelleAutor Ben
  6. 4

    La combinaison de code de ISL 9.6.3 Courbes ROC, avec @J. Gagné.'s réponse à cette question et un peu plus des lieux, suivant le tracé de la courbe ROC et imprime la CUA, en bas à droite sur la parcelle.

    Ci-dessous probs est un numérique, vecteur de probabilités prédites pour la classification binaire et test$label contient le vrai étiquettes de données de test.

    require(ROCR)
require(pROC)
rocplot <- function(pred, truth, ...) {
predob = prediction(pred, truth)
perf = performance(predob, "tpr", "fpr")
plot(perf, ...)
area <- auc(truth, pred)
area <- format(round(area, 4), nsmall = 4)
text(x=0.8, y=0.1, labels = paste("AUC =", area))
# the reference x=y line
segments(x0=0, y0=0, x1=1, y1=1, col="gray", lty=2)
}
rocplot(probs, test$label, col="blue")

    Cela donne un complot comme ceci:

    Calculer l'ASC dans la R?

    InformationsquelleAutor arun
  7. 4

    Vous pouvez en apprendre plus sur AUROC dans ce blog, par Miron Kursa:

    https://mbq.me/blog/augh-roc/

    Il fournit une fonction rapide pour AUROC:

    # By Miron Kursa https://mbq.me
auroc <- function(score, bool) {
n1 <- sum(!bool)
n2 <- sum(bool)
U  <- sum(rank(score)[!bool]) - n1 * (n1 + 1) / 2
return(1 - U / n1 / n2)
}

    Nous allons tester:

    set.seed(42)
score <- rnorm(1e3)
bool  <- sample(c(TRUE, FALSE), 1e3, replace = TRUE)
pROC::auc(bool, score)
mltools::auc_roc(score, bool)
ROCR::performance(ROCR::prediction(score, bool), "auc")@y.values[[1]]
auroc(score, bool)
0.51371668847094
0.51371668847094
0.51371668847094
0.51371668847094

    auroc() est 100 fois plus rapide que pROC::auc() et computeAUC().

    auroc() est 10 fois plus rapide que mltools::auc_roc() et ROCR::performance().

    print(microbenchmark(
pROC::auc(bool, score),
computeAUC(score[bool], score[!bool]),
mltools::auc_roc(score, bool),
ROCR::performance(ROCR::prediction(score, bool), "auc")@y.values,
auroc(score, bool)
))
Unit: microseconds
expr       min
pROC::auc(bool, score) 21000.146
computeAUC(score[bool], score[!bool]) 11878.605
mltools::auc_roc(score, bool)  5750.651
ROCR::performance(ROCR::prediction(score, bool), "auc")@y.values  2899.573
auroc(score, bool)   236.531
lq       mean     median        uq        max neval  cld
22005.3350 23738.3447 22206.5730 22710.853  32628.347   100    d
12323.0305 16173.0645 12378.5540 12624.981 233701.511   100   c 
6186.0245  6495.5158  6325.3955  6573.993  14698.244   100  b  
3019.6310  3300.1961  3068.0240  3237.534  11995.667   100 ab  
245.4755   253.1109   251.8505   257.578    300.506   100 a
    • Pour de plus grandes tailles d'échantillon, bigstatsr::AUC() est encore plus rapide (implémenté en C++). Avertissement: je suis l'auteur.
    InformationsquelleAutor Kamil Slowikowski
  8. 3

    Le long des lignes de erik de réponse, vous devez également être en mesure de calculer le ROC directement en comparant toutes les paires possibles de valeurs à partir de la pos.scores et neg.marque:

    score.pairs <- merge(pos.scores, neg.scores)
names(score.pairs) <- c("pos.score", "neg.score")
sum(score.pairs$pos.score > score.pairs$neg.score) / nrow(score.pairs)

    Certainement moins efficace que la méthode d'échantillonnage ou le pROC::auc, mais plus stable que l'ancienne et nécessite moins de l'installation de ce dernier.

    Liées: quand je l'ai essayé, elle a donné des résultats similaires pour pROC de la valeur, mais pas exactement le même (par 0,02 ou si); le résultat était plus proche de l'échantillon approche à très haut N. Si quelqu'un a des idées pourquoi je serais intéressé.

    • Une source d'imprécision est de traiter avec des liens. Techniquement, vous devriez prendre de la probabilité que le cas positif score est strictement plus grande que le score négatif + 1/2 * prob ils sont égaux. Si tous les scores sont uniques, ce ne sera pas un problème.
    InformationsquelleAutor Max Ghenis
  9. 2

    J'ai l'habitude d'utiliser la fonction ROC de la DiagnosisMed paquet. J'aime le graphique qu'il produit. L'ASC est retourné avec son intervalle de confiance et il est également mentionné sur le graphique.

    ROC(classLabels,scores,Full=TRUE)
    InformationsquelleAutor George Dontas
  10. 2

    Actuellement en tête voté réponse est incorrecte, car elle méconnaît les liens. Lorsque positifs et négatifs scores sont égaux, alors l'ASC devrait être de 0,5. Ci-dessous est corrigé exemple.

    computeAUC <- function(pos.scores, neg.scores, n_sample=100000) {
# Args:
#   pos.scores: scores of positive observations
#   neg.scores: scores of negative observations
#   n_samples : number of samples to approximate AUC
pos.sample <- sample(pos.scores, n_sample, replace=T)
neg.sample <- sample(neg.scores, n_sample, replace=T)
mean(1.0*(pos.sample > neg.sample) + 0.5*(pos.sample==neg.sample))
}
    InformationsquelleAutor Jussi Kujala