Les coefficients de corrélation et les valeurs de p pour toutes les paires de lignes d'une matrice

J'ai rencontré le même problème aujourd'hui.

Après une demi-heure de recherche sur google, je ne trouve pas de code dans numpy/scipy bibliothèque peut m'aider à le faire.

J'ai donc écrit ma propre version de corrcoef

import numpy as np
from scipy.stats import pearsonr, betai

def corrcoef(matrix):
    r = np.corrcoef(matrix)
    rf = r[np.triu_indices(r.shape[0], 1)]
    df = matrix.shape[1] - 2
    ts = rf * rf * (df / (1 - rf * rf))
    pf = betai(0.5 * df, 0.5, df / (df + ts))
    p = np.zeros(shape=r.shape)
    p[np.triu_indices(p.shape[0], 1)] = pf
    p[np.tril_indices(p.shape[0], -1)] = pf
    p[np.diag_indices(p.shape[0])] = np.ones(p.shape[0])
    return r, p

def corrcoef_loop(matrix):
    rows, cols = matrix.shape[0], matrix.shape[1]
    r = np.ones(shape=(rows, rows))
    p = np.ones(shape=(rows, rows))
    for i in range(rows):
        for j in range(i+1, rows):
            r_, p_ = pearsonr(matrix[i], matrix[j])
            r[i, j] = r[j, i] = r_
            p[i, j] = p[j, i] = p_
    return r, p

La première version utiliser le résultat de la np.corrcoef, puis de calculer la valeur de p basée sur le triangle-haut les valeurs de corrcoef de la matrice.

La deuxième boucle de la version juste une itération sur les lignes, ne pearsonr manuellement.

def test_corrcoef():
    a = np.array([
        [1, 2, 3, 4],
        [1, 3, 1, 4],
        [8, 3, 8, 5]])

    r1, p1 = corrcoef(a)
    r2, p2 = corrcoef_loop(a)

    assert np.allclose(r1, r2)
    assert np.allclose(p1, p2)

Le test réussi, ils sont les mêmes.

def test_timing():
    import time
    a = np.random.randn(100, 2500)

    def timing(func, *args, **kwargs):
        t0 = time.time()
        loops = 10
        for _ in range(loops):
            func(*args, **kwargs)
        print('{} takes {} seconds loops={}'.format(
            func.__name__, time.time() - t0, loops))

    timing(corrcoef, a)
    timing(corrcoef_loop, a)


if __name__ == '__main__':
    test_corrcoef()
    test_timing()

La performance sur mon Macbook contre 100x2500 matrice

corrcoef prend 0.06608104705810547 secondes boucles=10

corrcoef_loop prend 7.585600137710571 secondes boucles=10

OriginalL'auteur jingchao

Sorte de hackish et probablement inefficace, mais je pense que cela pourrait être ce que vous cherchez:

import scipy.spatial.distance as dist

import scipy.stats as ss

# Pearson's correlation coefficients
print dist.squareform(dist.pdist(data, lambda x, y: ss.pearsonr(x, y)[0]))    

# p-values
print dist.squareform(dist.pdist(data, lambda x, y: ss.pearsonr(x, y)[1]))

Scipy est pdist est une fonction très utile, qui est principalement destinée pour trouver Les distances entre les observations en n dimensions de l'espace.

Mais il permet à l'utilisateur défini appelables à distance de mesure, qui peuvent être exploitées pour réaliser tout type de paire opération. Le résultat est renvoyé dans un condensé de distance de la matrice de la forme, qui peut être facilement modifié pour la matrice carrée formulaire à l'aide de Scipy " squareform fonction.

OriginalL'auteur Ketan