La régression linéaire Multiple en Python

Je n'arrive pas à trouver toutes les bibliothèques python qui n'régression multiple. Les seules choses que je trouve que faire de régression simple. J'ai besoin de régresser ma variable dépendante (y) à l'encontre de plusieurs variables indépendantes (x1, x2, x3, etc.).

Par exemple, avec ces données:

print 'y        x1      x2       x3       x4      x5     x6       x7'
for t in texts:
    print "{:>7.1f}{:>10.2f}{:>9.2f}{:>9.2f}{:>10.2f}{:>7.2f}{:>7.2f}{:>9.2f}" /
   .format(t.y,t.x1,t.x2,t.x3,t.x4,t.x5,t.x6,t.x7)

(sortie pour au dessus:)

      y        x1       x2       x3        x4     x5     x6       x7
   -6.0     -4.95    -5.87    -0.76     14.73   4.02   0.20     0.45
   -5.0     -4.55    -4.52    -0.71     13.74   4.47   0.16     0.50
  -10.0    -10.96   -11.64    -0.98     15.49   4.18   0.19     0.53
   -5.0     -1.08    -3.36     0.75     24.72   4.96   0.16     0.60
   -8.0     -6.52    -7.45    -0.86     16.59   4.29   0.10     0.48
   -3.0     -0.81    -2.36    -0.50     22.44   4.81   0.15     0.53
   -6.0     -7.01    -7.33    -0.33     13.93   4.32   0.21     0.50
   -8.0     -4.46    -7.65    -0.94     11.40   4.43   0.16     0.49
   -8.0    -11.54   -10.03    -1.03     18.18   4.28   0.21     0.55

Comment aurais-je régresser ces en python, pour obtenir la formule de régression linéaire:

Y = a1x1 + a2x2 + a3x3 + a4x4 + a5x5 + a6x6 + +a7x7 + c

n'étant pas un expert, mais si les variables sont indépendantes, ne pouvez-vous pas simplement exécuter la régression simple à l'encontre de chacun et de résumer le résultat?
Vous ne pouvez pas supposer que les variables sont indépendantes si. En fait, si vous êtes en supposant que les variables sont indépendantes, vous pouvez éventuellement être modélisation de vos données de manière incorrecte. En d'autres termes, les réponses Y peut être en corrélation les uns avec les autres, mais en supposant l'indépendance n'est pas exactement le modèle de l'ensemble de données.
désolé si cela a un dum question, mais pourquoi importe-t-il si le raw en fonction des variables x_i sont indépendants ou non? Comment cela affecte le prédicteur (=modèle)?

InformationsquelleAutor Zach | 2012-07-13

91

sklearn.linear_model.LinearRegression va le faire:
```
from sklearn import linear_model
clf = linear_model.LinearRegression()
clf.fit([[getattr(t, 'x%d' % i) for i in range(1, 8)] for t in texts],
        [t.y for t in texts])
```
Puis clf.coef_ aura les coefficients de régression.

sklearn.linear_model dispose également d'une interface semblable à celle de réaliser divers types de régularisations sur la régression.
- Cela renvoie un message d'erreur avec certaines entrées. Toutes les autres solutions disponibles?
- peut sklearn.linear_model.LinearRegression être utilisé pour pondéré de régression multivariée ainsi?
- Pour s'adapter à un terme constant: clf = linear_model.LinearRegression(fit_intercept=True)
- Suivi, savez-vous comment obtenir le niveau de confiance à l'aide de sklearn.linear_model.LinearRegression? Merci.
- qu'entendez-vous par niveau de confiance? Si vous souhaitez que le coefficient de détermination, la score méthode va le faire; sklearn.metrics a un autre modèle de critères d'évaluation. Si vous voulez des trucs comme dans Akavall réponse, statsmodels a plus de R-comme les diagnostics.
- Je vous remercie beaucoup. Je veux que les choses comme dans Akavall réponse, mais je ne trouve pas tels sklearn fonctions pour le faire. Une autre question, j'ai utilisé les données ci-dessus, les coefficients de régression à partir de votre méthode totalement différente de la méthode de Akavall, savez-vous pourquoi?
- Je vérifie juste que j'ai eu les mêmes coefficients de régression à l'aide de cette approche, Akavall, et canary_in_the_data_mine de l'. Ils sont tous d'accord.
- Désolé, C'est mon mauvais. Il dépend fit_intercept=True ou False. J'ai changé c'est Faux, c'est pourquoi je suis totalement différents coefficients. Je vous remercie beaucoup. Avoir une belle journée.
- de la fcf.ajustement accepte poids: ajustement(self, X, y, sample_weight=None)
InformationsquelleAutor Dougal

Ici est un peu de travail autour de ce que j'ai créé. Je l'ai vérifié avec R et il fonctionne correct.

import numpy as np
import statsmodels.api as sm

y = [1,2,3,4,3,4,5,4,5,5,4,5,4,5,4,5,6,5,4,5,4,3,4]

x = [
     [4,2,3,4,5,4,5,6,7,4,8,9,8,8,6,6,5,5,5,5,5,5,5],
     [4,1,2,3,4,5,6,7,5,8,7,8,7,8,7,8,7,7,7,7,7,6,5],
     [4,1,2,5,6,7,8,9,7,8,7,8,7,7,7,7,7,7,6,6,4,4,4]
     ]

def reg_m(y, x):
    ones = np.ones(len(x[0]))
    X = sm.add_constant(np.column_stack((x[0], ones)))
    for ele in x[1:]:
        X = sm.add_constant(np.column_stack((ele, X)))
    results = sm.OLS(y, X).fit()
    return results

Résultat:

print reg_m(y, x).summary()

De sortie:

                            OLS Regression Results                            
==============================================================================
Dep. Variable:                      y   R-squared:                       0.535
Model:                            OLS   Adj. R-squared:                  0.461
Method:                 Least Squares   F-statistic:                     7.281
Date:                Tue, 19 Feb 2013   Prob (F-statistic):            0.00191
Time:                        21:51:28   Log-Likelihood:                -26.025
No. Observations:                  23   AIC:                             60.05
Df Residuals:                      19   BIC:                             64.59
Df Model:                           3                                         
==============================================================================
                 coef    std err          t      P>|t|      [95.0% Conf. Int.]
------------------------------------------------------------------------------
x1             0.2424      0.139      1.739      0.098        -0.049     0.534
x2             0.2360      0.149      1.587      0.129        -0.075     0.547
x3            -0.0618      0.145     -0.427      0.674        -0.365     0.241
const          1.5704      0.633      2.481      0.023         0.245     2.895

==============================================================================
Omnibus:                        6.904   Durbin-Watson:                   1.905
Prob(Omnibus):                  0.032   Jarque-Bera (JB):                4.708
Skew:                          -0.849   Prob(JB):                       0.0950
Kurtosis:                       4.426   Cond. No.                         38.6

pandas fournit un moyen pratique pour exécuter des moindres carrés ordinaires comme indiqué dans cette réponse:

Exécuter une régression des moindres carrés ordinaires avec des Pandas bloc de Données

Le reg_m fonction est inutilement compliqué. x = np.array(x).T, x = sm.add_constant(x) et results = sm.OLS(endog=y, exog=x).fit() est assez.
C'est un bel outil. Juste poser une question: dans ce cas, la valeur t est hors de l'95.5% intervalle de confiance, donc ça veut dire que ce montage n'est pas précis du tout, ou comment expliquez-vous cela?
Juste remarqué que votre x1, x2, x3 sont dans l'ordre inverse dans votre original prédicteur de la liste, i.e., x = [x3, x2, x1]?
vous pouvez simplement ajouter x = x[::-1] au sein de définition de la fonction à obtenir dans le bon ordre
valeur" est juste la façon dont de nombreuses déviations standard, le coefficient est loin de zéro, alors que 95%CI est d'environ coef +- 2 * std err (en fait, les Étudiant-t distribution paramétrée par degrés de liberté dans les résidus). c'est à dire plus absolu des valeurs t impliquent de la Cei en outre à partir de zéro, mais ils ne devraient pas être comparés directement. clarification est un peu en retard, mais j'espère que c'est utile à quelqu'un

InformationsquelleAutor Akavall

44

Juste pour clarifier, l'exemple que vous avez donné est plusieurs de régression linéaire, pas multivariée de régression linéaire consulter. Différence:

Les plus simples cas d'un seul scalaire prédicteur de la variable x et d'un scalaire unique variable de réponse y est connu comme la régression linéaire simple. L'extension à de multiples et/ou un vecteur de la valeur des variables prédictives (notée avec un capital X) est connu comme la régression linéaire multiple, aussi connu comme une régression linéaire multivariable. Presque tous le monde réel des modèles de régression impliquent des facteurs multiples, et la description de base de la régression linéaire sont souvent formulés en termes du modèle de régression multiple. Notez, cependant, que, dans ces cas, la variable de réponse y est encore un scalaire. Un autre terme de régression linéaire multivariée se réfère aux cas où y est un vecteur, c'est à dire, le même que le général de régression linéaire. La différence entre la régression linéaire multivariée et d'une régression linéaire multivariable doit être souligné, car il provoque beaucoup de confusion et d'incompréhension dans la littérature.

En bref:
- plusieurs de régression linéaire: la réponse y est un scalaire.
- multivariée de régression linéaire: la réponse y est un vecteur.
(Un autre source.)
- Cela peut être des informations utiles, mais je ne vois pas en quoi cela répond à la question.
- en utilisant la bonne terminologie est la première étape pour trouver une réponse.
- mais l'OP de la valeur de Y EST un vecteur?
InformationsquelleAutor Franck Dernoncourt

Vous pouvez utiliser numpy.linalg.lstsq:

import numpy as np
y = np.array([-6,-5,-10,-5,-8,-3,-6,-8,-8])
X = np.array([[-4.95,-4.55,-10.96,-1.08,-6.52,-0.81,-7.01,-4.46,-11.54],[-5.87,-4.52,-11.64,-3.36,-7.45,-2.36,-7.33,-7.65,-10.03],[-0.76,-0.71,-0.98,0.75,-0.86,-0.50,-0.33,-0.94,-1.03],[14.73,13.74,15.49,24.72,16.59,22.44,13.93,11.40,18.18],[4.02,4.47,4.18,4.96,4.29,4.81,4.32,4.43,4.28],[0.20,0.16,0.19,0.16,0.10,0.15,0.21,0.16,0.21],[0.45,0.50,0.53,0.60,0.48,0.53,0.50,0.49,0.55]])
X = X.T # transpose so input vectors are along the rows
X = np.c_[X, np.ones(X.shape[0])] # add bias term
beta_hat = np.linalg.lstsq(X,y)[0]
print beta_hat

Résultat:

[ -0.49104607   0.83271938   0.0860167    0.1326091    6.85681762  22.98163883 -41.08437805 -19.08085066]

Vous pouvez voir la sortie estimée avec:

print np.dot(X,beta_hat)

Résultat:

[ -5.97751163,  -5.06465759, -10.16873217,  -4.96959788,  -7.96356915,  -3.06176313,  -6.01818435,  -7.90878145,  -7.86720264]

pouvez-vous me dire quelle est la différence entre l'impression np.point(X,beta_hat)... et mod_wls = sm.WLS(y, X, poids=poids) res = mod_wls.ajustement() predsY=res.predict() qu'ils reviennent tous les Y entraîner

InformationsquelleAutor Imran

Utilisation scipy.optimize.curve_fit. Et pas seulement pour un ajustement linéaire.

from scipy.optimize import curve_fit
import scipy

def fn(x, a, b, c):
    return a + b*x[0] + c*x[1]

# y(x0,x1) data:
#    x0=0 1 2
# ___________
# x1=0 |0 1 2
# x1=1 |1 2 3
# x1=2 |2 3 4

x = scipy.array([[0,1,2,0,1,2,0,1,2,],[0,0,0,1,1,1,2,2,2]])
y = scipy.array([0,1,2,1,2,3,2,3,4])
popt, pcov = curve_fit(fn, x, y)
print popt

InformationsquelleAutor Volodimir Kopey

8

Une fois que vous convertir vos données en les pandas dataframe (df),
```
import statsmodels.formula.api as smf
lm = smf.ols(formula='y ~ x1 + x2 + x3 + x4 + x5 + x6 + x7', data=df).fit()
print(lm.params)
```
Le terme constant est inclus par défaut.

Voir ce portable pour plus d'exemples.
- Ce portable est génial. il montre comment la régression à plusieurs variables indépendantes (x1,x2,x3...) sur Y avec seulement 3 lignes de code et l'utilisation de scikit learn.
- merci pour l'ordinateur portable. comment puis-je tracer la régression linéaire qui possède de nombreuses fonctionnalités? Je ne pouvais pas trouver dans le cahier. tous les pointeurs seront grandement appréciés. -- Merci
- Trouve-t-il l'ordonnée à l'origine, parce que nous devons ajouter l'ordonnée à l'origine par un passage à la smf.add_intercept() en tant que paramètre à ols()
InformationsquelleAutor canary_in_the_data_mine

Je pense que cela peut le plus facilement pour finir ce travail:

from random import random
from pandas import DataFrame
from statsmodels.api import OLS
lr = lambda : [random() for i in range(100)]
x = DataFrame({'x1': lr(), 'x2':lr(), 'x3':lr()})
x['b'] = 1
y = x.x1 + x.x2 * 2 + x.x3 * 3 + 4
print x.head()
x1        x2        x3  b
0  0.433681  0.946723  0.103422  1
1  0.400423  0.527179  0.131674  1
2  0.992441  0.900678  0.360140  1
3  0.413757  0.099319  0.825181  1
4  0.796491  0.862593  0.193554  1
print y.head()
0    6.637392
1    5.849802
2    7.874218
3    7.087938
4    7.102337
dtype: float64
model = OLS(y, x)
result = model.fit()
print result.summary()
OLS Regression Results                            
==============================================================================
Dep. Variable:                      y   R-squared:                       1.000
Model:                            OLS   Adj. R-squared:                  1.000
Method:                 Least Squares   F-statistic:                 5.859e+30
Date:                Wed, 09 Dec 2015   Prob (F-statistic):               0.00
Time:                        15:17:32   Log-Likelihood:                 3224.9
No. Observations:                 100   AIC:                            -6442.
Df Residuals:                      96   BIC:                            -6431.
Df Model:                           3                                         
Covariance Type:            nonrobust                                         
==============================================================================
coef    std err          t      P>|t|      [95.0% Conf. Int.]
------------------------------------------------------------------------------
x1             1.0000   8.98e-16   1.11e+15      0.000         1.000     1.000
x2             2.0000   8.28e-16   2.41e+15      0.000         2.000     2.000
x3             3.0000   8.34e-16    3.6e+15      0.000         3.000     3.000
b              4.0000   8.51e-16    4.7e+15      0.000         4.000     4.000
==============================================================================
Omnibus:                        7.675   Durbin-Watson:                   1.614
Prob(Omnibus):                  0.022   Jarque-Bera (JB):                3.118
Skew:                           0.045   Prob(JB):                        0.210
Kurtosis:                       2.140   Cond. No.                         6.89
==============================================================================

InformationsquelleAutor xmduhan

4

De Régression Linéaire Multiple peut être manipulé à l'aide de la sklearn bibliothèque comme mentionné ci-dessus. Je suis l'aide de l'Anaconda installation de Python 3.6.

Créer votre modèle comme suit:
```
from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X, y)
# display coefficients
print(regressor.coef_)
```
InformationsquelleAutor Eric C. Bohn
3

Vous pouvez utiliser numpy.linalg.lstsq
- Comment pouvez-vous utiliser pour obtenir les coefficents de régression multivariée? Je ne vois comment faire une régression simple... et je ne vois pas comment obtenir les coefficents..
InformationsquelleAutor Moukden

Vous pouvez utiliser la fonction ci-dessous et de le transmettre un DataFrame:

def linear(x, y=None, show=True):
"""
@param x: pd.DataFrame
@param y: pd.DataFrame or pd.Series or None
if None, then use last column of x as y
@param show: if show regression summary
"""
import statsmodels.api as sm
xy = sm.add_constant(x if y is None else pd.concat([x, y], axis=1))
res = sm.OLS(xy.ix[:, -1], xy.ix[:, :-1], missing='drop').fit()
if show: print res.summary()
return res

InformationsquelleAutor Alpha

Voici une alternative et de la méthode de base:

from patsy import dmatrices
import statsmodels.api as sm
y,x = dmatrices("y_data ~ x_1 + x_2 ", data = my_data)
### y_data is the name of the dependent variable in your data ### 
model_fit = sm.OLS(y,x)
results = model_fit.fit()
print(results.summary())

Au lieu de sm.OLS vous pouvez également utiliser sm.Logit ou sm.Probit et etc.

InformationsquelleAutor newbiee

Vous devez vous connecter pour publier un commentaire.