Calculer la corrélation entre toutes les colonnes d'un DataFrame et de toutes les colonnes d'une autre DataFrame?

J'ai un DataFrame objet stocks rempli avec des rendements boursiers. J'ai une autre DataFrame objet industries rempli avec l'industrie des rendements. Je veux trouver chaque stock corrélation avec chaque industrie.

import numpy as np
np.random.seed(123)

df1=pd.DataFrame( {'s1':np.random.randn(10000), 's2':np.random.randn(10000) } )
df2=pd.DataFrame( {'i1':np.random.randn(10000), 'i2':np.random.randn(10000) } )

Le moyen coûteux de le faire est de fusionner les deux DataFrame objets, de calculer la corrélation, puis de jeter toutes les actions du stock et de l'industrie à l'industrie d'établir des corrélations. Est-il un moyen plus efficace de faire cela?

OriginalL'auteur Deets McGeets | 2015-03-08

  1. 16

    Et voici un one-liner qui utilise apply sur les colonnes et évite les boucles for imbriquées. Le principal avantage est que apply construit le résultat dans un DataFrame.

    df1.apply(lambda s: df2.corrwith(s))
    c'est facilement la meilleure réponse, et mérite le plus de votes. Vous pourriez envisager montrant la sortie qui peut rendre plus évident c'est la meilleure réponse.

    OriginalL'auteur Y T

  2. 6

    Ici est un peu plus simple de répondre que la maladie de JohnE qui utilise des pandas en natif au lieu d'utiliser numpy.corrcoef. Comme un bonus supplémentaire, vous n'avez pas à récupérer la valeur de corrélation d'un idiot 2x2 matrice de corrélation, parce que les pandas de série de série de la corrélation de la fonction renvoie un nombre, pas une matrice.

    In [133]: for s in ['s1','s2']:
     ...:     for i in ['i1','i2']:
     ...:         print df1[s].corr(df2[i])

    OriginalL'auteur failwhale

  3. 4

    (Modifier pour ajouter: au Lieu de cette réponse, s'il vous plaît vérifier @yt de la réponse qui a été ajouté plus tard, mais est clairement mieux.)

    Vous pourriez aller avec numpy.corrcoef() qui est fondamentalement la même que corr dans les pandas, mais la syntaxe peut être plus propice à ce que vous voulez. 

    for s in ['s1','s2']:
    for i in ['i1','i2']:
        print( 'corrcoef',s,i,np.corrcoef(df1[s],df2[i])[0,1] )

    Qui imprime:

    corrcoef s1 i1 -0.00416977553597
corrcoef s1 i2 -0.0096393047035
corrcoef s2 i1 -0.026278689352
corrcoef s2 i2 -0.00402030582064

    Vous pouvez également charger les résultats dans un dataframe avec des étiquettes:

    cc = pd.DataFrame()     
for s in ['s1','s2']:
    for i in ['i1','i2']:
        cc = cc.append( pd.DataFrame(
             { 'corrcoef':np.corrcoef(df1[s],df2[i])[0,1] }, index=[s+'_'+i]))

    Qui ressemble à ceci:

           corrcoef
s1_i1 -0.004170
s1_i2 -0.009639
s2_i1 -0.026279
s2_i2 -0.004020

    OriginalL'auteur JohnE