Chi-Squared test en Python

J'ai utilisé le code suivant dans R à déterminer comment les valeurs observées (20, 20, 0 et 0 par exemple) l'ajustement des valeurs attendues/ratios (25% pour chacun des quatre cas, par exemple):

> chisq.test(c(20,20,0,0), p=c(0.25, 0.25, 0.25, 0.25))

    Chi-squared test for given probabilities

data:  c(20, 20, 0, 0)

X-squared = 40, df = 3, p-value = 1.066e-08

Comment puis-je reproduire cela en Python? J'ai essayé d'utiliser le chisquare fonction de scipy mais les résultats que j'ai obtenus étaient très différents; je ne sais pas si c'est encore le bon fonctionnement de l'utiliser. J'ai cherché à travers le scipy de la documentation, mais c'est assez intimidant, car il fonctionne à 1000+ pages; la numpy la documentation est presque 50% de plus que cela.

InformationsquelleAutor SabreWolfy | 2012-02-17
  1. 35

    scipy.les stats.chisquare attend observés et attendus fréquences absolues, pas de ratios. Vous pouvez obtenir ce que vous voulez avec

    >>> observed = np.array([20., 20., 0., 0.])
>>> expected = np.array([.25, .25, .25, .25]) * np.sum(observed)
>>> chisquare(observed, expected)
(40.0, 1.065509033425585e-08)

    Bien que dans le cas que les valeurs attendues sont distribués de manière uniforme sur les classes, vous pouvez laisser le calcul des valeurs attendues:

    >>> chisquare(observed)
(40.0, 1.065509033425585e-08)

    La première valeur retournée est du χ2 statistique, la seconde le p-valeur du test.

    • Merci, c'est exactement ce dont j'avais besoin 🙂 j'ai essayer de convertir l' observées valeurs de ratios, mais il doit avoir mal lu la documentation que la fonction ne veut fréquences, pas de ratios. Certaines fréquences attendues ne seront pas égaux, donc je suppose que je devrais avez choisi un autre exemple 🙂
    InformationsquelleAutor Fred Foo
  2. 7

    Voulais juste faire remarquer que, bien que la réponse semble être correcte du point de vue syntaxique, vous ne devriez pas être à l'aide d'un Chi-carré de distribution avec votre exemple parce que vous avez observé des fréquences qui sont trop petits pour une précision de test du Chi carré.

    "Ce test n'est pas valide lorsque l'observé ou prévu des fréquences dans chaque catégorie sont trop petites. Une règle générale est que tous les observés et attendus des fréquences doit être d'au moins 5." voir:
    http://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.chisquare.html#scipy.stats.chisquare

    • À ma connaissance, la règle est fondée sur le devrait fréquences uniquement, pas sur les fréquences, donc cet exemple (avec des fréquences attendues égal à 10) devrait être OK. R donne un avertissement si le devrait fréquences sont trop petits ... Par exemple, fds.oup.com/www.oup.com/pdf/13/9780199219995.pdf ; stat.sfu.ca/~cschwarz/Stat-650/Notes%/PDFbigbook-JMP/... ; udel.edu/~mcdonald/statsmall.html (les résultats de googler "chi-carré prévu "règle du pouce""). Je ne vais pas downvote vous parce que vous êtes correctement en citant la (mauvaise???) Scipy de la documentation ...
    • Merci pour cette remarque! Je pourrais ajouter qu'il y a seulement besoin d'être fréquences attendues d'au moins 5 pour 80% des classes.
    • Qui dépend de la précision que vous voulez le rapprochement de l'être. Dans mon expérience, la "tous fréquences attendues >=5" règle du pouce est le plus souvent cité. La règle que vous citez est juste un peu plus détendu (citation/lien, juste pour la curiosité du saké?)
    • Dans le premier lien que vous avez fourni (fds.oup.com/www.oup.com/pdf/13/9780199219995.pdf), il est dit pour permettre à un cinquième, et aussi ne prévoit pas de fréquences de 0.
    • oh, OK ........
    InformationsquelleAutor emaxwell
  3. 2

    Une alternative serait d'appeler votre R code de python. Vous pouvez faire ceci:

    • en faisant un script R exécuter en tant qu'un outil de ligne de commande. Voir ce lien pour plus d'informations sur l'exécution de la R scripts forme de la ligne de commande à l'aide de Rscript. À partir de python que vous pouvez ensuite exécuter un script R par l'exécution d'un système d'appel à l'aide soit subprocess ou os.system. Tout échange de données se fait à travers le texte ou des fichiers binaires. J'aime cette approche, car il est très simple et il est facile à déboguer le script R distinct du code python. L'inconvénient est que toutes les données passe par le disque dur, ce qui pourrait s'avérer très lent.
    • en utilisant rpy, ou rpy2 pour exécuter R code directement à partir de python. De cette façon, l'intégration est plus serré, mais ce lien présente également sa propre bizarreries. Par exemple, dans mon expérience de débogage R code appelé par rpy est un peu plus difficile à déboguer.
    • Merci pour la suggestion. J'ai utilisé rpy auparavant, mais a décidé contre elle, ici, comme je l'ai peut-être besoin de transférer une assez grande quantité de données avec une structure complexe.
    • Je voulais juste rajouter cette option pour la gamme de réponses, peut-être que certaines personnes d'autres comme cette approche.
    InformationsquelleAutor Paul Hiemstra