L'Entropie de Shannon de calcul

J'ai une distribution de probabilité qui définit la probabilité de survenance de n états possibles.

Je voudrais calculer la valeur de l'entropie de Shannon, en bits, de la distribution de probabilité.

Puis-je utiliser wentropy(x,'shannon') pour obtenir la valeur et si oui, où puis-je définir le nombre d'états possibles d'un système?

double possible de comment calculer l'entropie de shannon de l'octet bigrams
l'entropie dans octets? êtes-vous sûr?
J'ai juste modifié en " bits.' (bel exemple de pourquoi ils ne devraient pas avoir minimum nombre de caractères sur des modifications, comme j'ai eu à faire d'autres modifications, juste pour corriger: des mots simples peut être important).

OriginalL'auteur user2703038 | 2014-02-27

  1. 8

    Puisque vous avez déjà la distribution de probabilité, de l'appeler p, vous pouvez effectuer les opérations suivantes formule pour l'Entropie de Shannon au lieu d'utiliser wentropy:

    H = sum(-(p(p>0).*(log2(p(p>0)))));

    Cela donne l'entropie H en bits.

    p doit être égale à 1.

    Je vous remercie. Encore une question, comment définir la distribution de probabilité dans matlab? Comme un vecteur? [0,0.5,0.8...]
    Oui, les valeurs de <1, totalisant 1. Vous semblez être montrant le début d'un cdi, pas un pdf.
    Le principal souci que j'ai c'est l'approche. J'ai un vecteur de probabilités de chaque état du système. Par exemple, si un etat a un probabiliste de la valeur de 1 il est susceptible d'être l'état actuel, et si sa valeur est 0, il est impossible de l'état du système. Je vous remercie encore.
    Oui, c'est l'idée d'une distribution de probabilité, mais n'oubliez pas que la probabilité de tous les états doit être égale à un.
    Vous avez raison, mais j'hésite à l'appeler un pdf parce que les probabilités agissent comme des contraintes sur les états possibles d'un système, par conséquent, la diminution de son niveau d'entropie. Par exemple, si j'ai trois des états équiprobables et qu'il est impossible, je voudrais écrire comme [1,1,1,0]. J'espère que mon approche n'est pas trop orthodoxe.

    OriginalL'auteur chappjc