Comment obtenir un clustering plat correspondant aux groupes de couleurs dans le dendrogramme créé par scipy

En utilisant le code posté icij'ai créé une belle clustering hiérarchique:

Comment obtenir un clustering plat correspondant aux groupes de couleurs dans le dendrogramme créé par scipy

Disons que le dendrogramme sur la gauche a été créé en faisant quelque chose comme

Y = sch.linkage(D, method='average') # D is a distance matrix
cutoff = 0.5*max(Y[:,2])
Z = sch.dendrogram(Y, orientation='right', color_threshold=cutoff)

Maintenant comment puis-je obtenir les indices des membres de chacun de la couleur et de clusters? Pour simplifier cette situation, ignorer le regroupement sur le haut, et de se concentrer uniquement sur le dendrogramme sur la gauche de la matrice.

Ces informations doivent être stockées dans le dendrogramme Z stockées variable. Il y a une fonction qui devrait faire exactement ce que je veux appelé fcluster (voir la documentation ici). Cependant je ne vois pas où je peux donner fcluster la même cutoff comme je l'ai spécifié dans la création du dendrogramme. Il semble que le seuil variable en fclustert doit être en termes de diverses fausser les mesures (inconsistentdistancemaxclustmonocrit). Des idées?

source d'informationauteur conradlee

  1. 17

    Je pense que vous êtes sur la bonne voie. Essayons ceci:

    import scipy
import scipy.cluster.hierarchy as sch
X = scipy.randn(100, 2)     # 100 2-dimensional observations
d = sch.distance.pdist(X)   # vector of (100 choose 2) pairwise distances
L = sch.linkage(d, method='complete')
ind = sch.fcluster(L, 0.5*d.max(), 'distance')

    ind vous donnera cluster indices pour chacune des 100 de saisie des observations. ind dépend de ce que method vous avez utilisé dans linkage. Essayez method=singlecompleteet average. Puis notez la façon dont ind diffère.

    Exemple:

    In [59]: L = sch.linkage(d, method='complete')
In [60]: sch.fcluster(L, 0.5*d.max(), 'distance')
Out[60]: 
array([5, 4, 2, 2, 5, 5, 1, 5, 5, 2, 5, 2, 5, 5, 1, 1, 5, 5, 4, 2, 5, 2, 5,
2, 5, 3, 5, 3, 5, 5, 5, 5, 5, 5, 5, 2, 2, 5, 5, 4, 1, 4, 5, 2, 1, 4,
2, 4, 2, 2, 5, 5, 5, 2, 5, 5, 3, 5, 5, 4, 5, 4, 5, 3, 5, 3, 5, 5, 5,
2, 3, 5, 5, 4, 5, 5, 2, 2, 5, 2, 2, 4, 1, 2, 1, 5, 2, 5, 5, 5, 1, 5,
4, 2, 4, 5, 2, 4, 4, 2])
In [61]: L = sch.linkage(d, method='single')
In [62]: sch.fcluster(L, 0.5*d.max(), 'distance')
Out[62]: 
array([1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
1, 1, 1, 1, 1, 1, 1, 1])

    scipy.cluster.hierarchy est sûr, c'est déroutant. Dans votre lien, je ne reconnais pas mon propre code!

  2. 2

    J'ai écrit du code pour decondense le lien de la matrice. Il retourne un dictionnaire contenant l'index de labels qui sont regroupés par chaque agglomération étape. J'ai seulement essayé sur les résultats de l' complete de liaison des clusters. Les clés de la dict commencer à len(labels)+1 parce que d'abord, chaque étiquette est traité comme son propre cluster. Cela peut répondre à votre question.

    import pandas as pd
import numpy as np
from scipy.cluster.hierarchy import linkage
np.random.seed(123)
labels = ['ID_0','ID_1','ID_2','ID_3','ID_4']
X = np.corrcoef(np.random.random_sample([5,3])*10)
row_clusters = linkage(x_corr, method='complete')    
def extract_levels(row_clusters, labels):
clusters = {}
for row in xrange(row_clusters.shape[0]):
cluster_n = row + len(labels)
# which clusters /labels are present in this row
glob1, glob2 = row_clusters[row, 0], row_clusters[row, 1]
# if this is a cluster, pull the cluster
this_clust = []
for glob in [glob1, glob2]:
if glob > (len(labels)-1):
this_clust += clusters[glob]
# if it isn't, add the label to this cluster
else:
this_clust.append(glob)
clusters[cluster_n] = this_clust
return clusters

    Retourne:

    {5: [0.0, 2.0],
6: [3.0, 4.0],
7: [1.0, 0.0, 2.0],
8: [3.0, 4.0, 1.0, 0.0, 2.0]}
  3. 1

    Je sais que c'est très tard pour le jeu, mais j'ai fait un tracé objet basé sur le code de la post ici. Il est enregistré sur le pep, donc, pour vous installer, il suffit d'appeler les

    pip install pydendroheatmap

    découvrez le projet github page ici : https://github.com/themantalope/pydendroheatmap

  4. 1

    Vous pouvez également essayer cut_treeil a une hauteur de paramètre que vous donner ce que vous voulez pour ultrametrics.