Capturer une multi-colinéarité élevée dans les modèles de statistiques

Dire que je l'ajustement d'un modèle dans statsmodels

mod = smf.ols('dependent ~ first_category + second_category + other', data=df).fit()

Quand je fais mod.summary() je peut voir les éléments suivants:

Warnings:
[1] The condition number is large, 1.59e+05. This might indicate that there are
strong multicollinearity or other numerical problems.

Parfois l'avertissement est différent (par exemple basées sur les valeurs propres de la matrice de conception). Comment puis-je capturer haute-multi-colinéarité conditions dans une variable? Est cet avertissement stockées quelque part dans le modèle d'objet?

Aussi, où puis-je trouver une description des champs dans summary()?

source d'informationauteur Amelio Vazquez-Reina | 2014-09-04

  1. 38

    Vous pouvez détecter la haute-multi-colinéarité par l'inspection de l' propres valeurs de matrice de corrélation. Une très faible valeur propre montre que les données sont colinéaires, et le correspondant de vecteur propre montre que les variables sont colinéaires.

    Si il n'y a pas de colinéarité dans les données, vous attendez qu'aucun des propres valeurs sont proches de zéro:

    >>> xs = np.random.randn(100, 5)      # independent variables
>>> corr = np.corrcoef(xs, rowvar=0)  # correlation matrix
>>> w, v = np.linalg.eig(corr)        # eigen values & eigen vectors
>>> w
array([ 1.256 ,  1.1937,  0.7273,  0.9516,  0.8714])

    Toutefois, si dire x[4] - 2 * x[0] - 3 * x[2] = 0puis

    >>> noise = np.random.randn(100)                      # white noise
>>> xs[:,4] = 2 * xs[:,0] + 3 * xs[:,2] + .5 * noise  # collinearity
>>> corr = np.corrcoef(xs, rowvar=0)
>>> w, v = np.linalg.eig(corr)
>>> w
array([ 0.0083,  1.9569,  1.1687,  0.8681,  0.9981])

    l'un des propres valeurs (ici le tout premier), est proche de zéro. Le vecteur propre correspondant est:

    >>> v[:,0]
array([-0.4077,  0.0059, -0.5886,  0.0018,  0.6981])

    Ignorant presque zéro coefficients ci-dessus indique fondamentalement x[0]x[2] et x[4] sont colinéaires (comme prévu). Si l'on normalise xs valeurs et multiplie par ce vecteur propre, le résultat va osciller autour de zéro avec une petite variance:

    >>> std_xs = (xs - xs.mean(axis=0)) / xs.std(axis=0)  # standardized values
>>> ys = std_xs.dot(v[:,0])
>>> ys.mean(), ys.var()
(0, 0.0083)

    Noter que ys.var() est fondamentalement la valeur propre qui a été proche de zéro.

    Afin de capturer des multi-linéarité, regardez les propres valeurs de la matrice de corrélation.

  2. 2

    Basé sur un question similaire pour R, il ya quelques autres options qui peuvent aider les gens. Je cherchais un numéro unique qui a capturé la colinéarité, et les options incluent le déterminant et le conditionnement de la matrice de corrélation.

    Selon l'une des R les réponses, le facteur déterminant de la matrice de corrélation sera "la plage allant de 0 (Colinéarité Parfaite) à 1 (Pas de Colinéarité)". J'ai trouvé le délimitée gamme utile.

    Traduit exemple pour déterminant:

    import numpy as np
import pandas as pd

# Create a sample random dataframe
np.random.seed(321)
x1 = np.random.rand(100)
x2 = np.random.rand(100)
x3 = np.random.rand(100)
df = pd.DataFrame({'x1': x1, 'x2': x2, 'x3': x3})

# Now create a dataframe with multicollinearity
multicollinear_df = df.copy()
multicollinear_df['x3'] = multicollinear_df['x1'] + multicollinear_df['x2']

# Compute both correlation matrices
corr = np.corrcoef(df, rowvar=0)
multicollinear_corr = np.corrcoef(multicollinear_df, rowvar=0)

# Compare the determinants
print np.linalg.det(corr) . # 0.988532159861
print np.linalg.det(multicollinear_corr) . # 2.97779797328e-16

    Et de la même façon, le conditionnement de la matrice de covariance, l'approche de l'infini avec une parfaite dépendance linéaire.

    print np.linalg.cond(corr) . # 1.23116253259
print np.linalg.cond(multicollinear_corr) . # 6.19985218873e+15