Informations calcul du Gain avec Scikit-learn

Je suis à l'aide de Scikit-learn pour la classification de textes. Je veux calculer le Gain d'Informations pour chaque attribut à l'égard d'une classe dans un (rare) document-terme de la matrice.
Le Gain d'Informations est défini comme H(Classe) - H(Classe | Attribut), où H est l'entropie.

À l'aide de weka, ce qui peut être accompli avec la InfoGainAttribute. Mais je n'ai pas trouvé cette mesure, scikit-learn.

Cependant, il a été suggéré que la formule ci-dessus pour plus d'Informations Gain est de la même mesure que l'information mutuelle. Cela correspond également à la définition de wikipedia.

Est-il possible d'utiliser un paramétrage spécifique pour l'information mutuelle dans scikit-learn pour accomplir cette tâche?

Le Gain d'informations et d'Information Mutuelle ne sont pas les mêmes. Le tableau 7 de cet article illustre cela: pdfs.semanticscholar.org/6ad8/...

OriginalL'auteur Characeae | 2017-10-15

  1. 14

    Vous pouvez utiliser scikit-learn mutual_info_classif
    voici un exemple

    from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_selection import mutual_info_classif
from sklearn.feature_extraction.text import CountVectorizer

categories = ['talk.religion.misc',
              'comp.graphics', 'sci.space']
newsgroups_train = fetch_20newsgroups(subset='train',
                                      categories=categories)

X, Y = newsgroups_train.data, newsgroups_train.target
cv = CountVectorizer(max_df=0.95, min_df=2,
                                     max_features=10000,
                                     stop_words='english')
X_vec = cv.fit_transform(X)

res = dict(zip(cv.get_feature_names(),
               mutual_info_classif(X_vec, Y, discrete_features=True)
               ))
print(res)

    ce sera la sortie d'un dictionnaire de chaque attribut, c'est à dire de l'élément dans le vocabulaire que les clés et leurs informations de gain de valeurs

    ici est un exemple de la sortie

    {'bible': 0.072327479595571439,
 'christ': 0.057293733680219089,
 'christian': 0.12862867565281702,
 'christians': 0.068511328611810071,
 'file': 0.048056478042481157,
 'god': 0.12252523919766867,
 'gov': 0.053547274485785577,
 'graphics': 0.13044709565039875,
 'jesus': 0.09245436105573257,
 'launch': 0.059882179387444862,
 'moon': 0.064977781072557236,
 'morality': 0.050235104394123153,
 'nasa': 0.11146392824624819,
 'orbit': 0.087254803670582998,
 'people': 0.068118370234354936,
 'prb': 0.049176995204404481,
 'religion': 0.067695617096125316,
 'shuttle': 0.053440976618359261,
 'space': 0.20115901737978983,
 'thanks': 0.060202010019767334}
    Aussi assurez-vous de faire cette analyse avant d'appliquer la mise à l'échelle et à la normalisation.

    OriginalL'auteur sgDysregulation