La mise en œuvre du Coude Méthode pour trouver le nombre optimal de clusters pour les K-means de R

Je veux utiliser le Clustering K-means pour mon jeu de données. Je suis l'aide de la kmeans() en fonction de R pour ce faire.

 k<-kmeans(data,centers=3)
 plotcluster(m,k$cluster)

Cependant, je ne suis pas sûr de ce qui est la valeur de K pour cette fonction. Je veux essayer d'utiliser le Coude Méthode pour cela.
Existe-il des paquets dans R, ce qui effectuent de clustering à l'aide du Coude Méthode pour trouver le nombre optimal de clusters.

InformationsquelleAutor user1946152 | 2013-08-04
  1. 8

    Il y a deux question mixte jusqu'ici. L'une est de savoir comment trouver un changement de point sur une courbe, et l'autre est sur la façon de quantifier la qualité de l'ajustement lors de l'utilisation de k-means pour classer les données. Cependant, le cluster analysis gens semblent forfaitaire à ces deux questions. N'ayez pas peur de regarder dans d'autres courbe d'ajustement /de changement de point de méthodes à l'aide de la fit métrique semble la plus appropriée à votre cas.

    Je sais que le 'coude' méthode de votre lien est une méthode spécifique, mais vous pourriez être intéressé par quelque chose de semblable qui ressemble pour le "genou" dans les BIC (Bayesian Information criterion). Le point d'inflexion en BIC et le nombre de clusters (k) est le point où l'on peut faire valoir que l'augmentation de BIC en ajoutant plus de clusters est plus avantageux, compte tenu de l'extra exigences de calcul de la plus complexe de la solution. Il y a une bonne méthode qui détecte la optmimum nombre de clusters à partir du changement de signe de la dérivée seconde de la BIC. Voir, par exemple,

    Zhao, Q. V. Hautamaki, et P. Franti 2008a: point de Genou de détection de BIC pour détecter le nombre de clusters. Concepts avancés pour Intelligent de Systèmes de Vision, J. Blanc-Talon, S. Bourennane, W. Philips, D. Popescu, et P. Scheunders, Eds., Springer Berlin /Heidelberg, lecture Notes in Computer Science, Vol. 5259, 664-673, doi:10.1007/978-3-540-88458-3 60.

    Zhao, Q., M. Xu, et P. Franti, 2008b: le Genou, la détection des points sur le critère d'information bayésien. Les outils avec de l'Intelligence Artificielle, 2008. ICTAI ’08. 20 IEEE Conférence Internationale sur l', Vol. 2, 431 -438, doi:10.1109/ICTAI.2008.154

    Vous pourriez être intéressé par une application automatisée de cette de données météorologiques, des données rapportées dans http://journals.ametsoc.org/doi/abs/10.1175/JAMC-D-11-0227.1

    Voir aussi Trouver le meilleur compromis point sur une courbe pour une excellente discussion de l'approche générale.

    Une dernière observation: assurez-vous que vous êtes cohérent dans votre logarithmes. Les différentes communautés à utiliser les différentes notations, et cela peut être une source d'erreur lors de la comparaison des résultats.

    InformationsquelleAutor Andy Clifton
  2. 3

    Oui, vous pouvez trouver le nombre optimal de clusters à l'aide de Coude méthode, mais j'ai trouvé ça pénible de trouver la valeur de grappes de coude graphique à l'aide de script. Vous pouvez observer le coude graphique et de trouver le coude point vous-même, mais c'était beaucoup de travail à le trouver à partir d'un script.

    Donc une autre option est d'utiliser La Silhouette De La Méthode pour le trouver. Le résultat de la Silhouette entièrement conforme avec le résultat du Coude de la méthode.

    Voici ce que j'ai fait.

    #Dataset for Clustering
n = 150
g = 6 
set.seed(g)
d <- data.frame(x = unlist(lapply(1:g, function(i) rnorm(n/g, runif(1)*i^2))), 
y = unlist(lapply(1:g, function(i) rnorm(n/g, runif(1)*i^2))))
mydata<-d
#Plot 3X2 plots
attach(mtcars)
par(mfrow=c(3,2))
#Plot the original dataset
plot(mydata$x,mydata$y,main="Original Dataset")
#Scree plot to deterine the number of clusters
wss <- (nrow(mydata)-1)*sum(apply(mydata,2,var))
for (i in 2:15) {
wss[i] <- sum(kmeans(mydata,centers=i)$withinss)
}   
plot(1:15, wss, type="b", xlab="Number of Clusters",ylab="Within groups sum of squares")
# Ward Hierarchical Clustering
d <- dist(mydata, method = "euclidean") # distance matrix
fit <- hclust(d, method="ward") 
plot(fit) # display dendogram
groups <- cutree(fit, k=5) # cut tree into 5 clusters
# draw dendogram with red borders around the 5 clusters 
rect.hclust(fit, k=5, border="red")
#Silhouette analysis for determining the number of clusters
library(fpc)
asw <- numeric(20)
for (k in 2:20)
asw[[k]] <- pam(mydata, k) $ silinfo $ avg.width
k.best <- which.max(asw)
cat("silhouette-optimal number of clusters:", k.best, "\n")
plot(pam(d, k.best))
# K-Means Cluster Analysis
fit <- kmeans(mydata,k.best)
mydata 
# get cluster means 
aggregate(mydata,by=list(fit$cluster),FUN=mean)
# append cluster assignment
mydata <- data.frame(mydata, clusterid=fit$cluster)
plot(mydata$x,mydata$y, col = fit$cluster, main="K-means Clustering results")

    Espère que cela aide!!

    • Quelques illustrations des résultats et un peu plus d'explication du processus de la pensée serait à son tour cette réponse complète dans une grande réponse!
    InformationsquelleAutor Udeep Shakya
  3. 2

    GMD paquet fournit un Coude de la méthode de Clustering d'évaluation, voir: (Page 7)
    http://cran.r-project.org/web/packages/GMD/GMD.pdf

    pour un exemple, voir:
    http://www.inside-r.org/packages/cran/GMD/docs/elbow

    hth

    ben

    InformationsquelleAutor holzben
  4. 2

    Mon expérience est que vous ne pouvez pas automatiser ce---vous avez besoin pour faire de la parcelle et de vérifier le coude. Voici quelques beaux exemples: Analyse de Cluster dans R: déterminer le nombre optimal de clusters

    • J'ai essayé de faire ça..mais le graphique que j'ai est très différent de celui de l'article de wikipédia...il est très difficile de trouver le coude d'elle
    • vous pouvez automatiser quoi que ce soit - la question est de savoir comment de manière fiable que l'automatisation trouve le genou 🙂
    • Salut à nouveau. Si le coude n'est pas évident dans le graphique que c'est vraiment une indication qu'il n'y a pas une seule "bonne" réponse pour le nombre de clusters k. Vous pouvez essayer d'autres statistiques (AIC/BIC) ou d'autres méthodes de clustering. Bas de ligne peut être, cependant, que vous avez besoin d'une non-méthode statistique pour le choix de k (par exemple, l'expertise sur le sujet). (p.s. aller de l'avant et l'après le graphique, si c'est quelque chose que vous pouvez partager!)
    InformationsquelleAutor stackoverflax
  5. 0

    J'ai essayé le GMD paquet. Pour une raison quelconque, il a pris beaucoup de temps et revint avec une erreur dans cette étape
    Erreur dans le coude.lot(css.obj) : 
      Un bon k' is not available with provided inc.thres and ev.thres; please make adjustment, e.g. decreaseev.thres', augmentation inc.thres' or increasek'.

    Donc, c'est ma solution pour l'obtention de l'optimum K (Ses cours d'exécution sur un 54 de la colonne de base de données (tous les nombres entiers) avec 6000+ lignes

    mydata <- read.csv(file.choose(), header = TRUE)
mydata_scaled <- as.data.frame(lapply(mydata, scale))
mss <- (nrow(mydata_scaled)-1)*sum(apply(mydata_scaled,2,var))
for (i in 2:15) mss[i] <- sum(kmeans(mydata_scaled,centers=i)$withinss)
plot(1:15, mss, type="b", xlab="Number of Clusters", ylab="Within groups sum of squares")

    espère que ça aide

    InformationsquelleAutor Sanjay Subramanian