La conversion de LinearSVC de la fonction de décision de probabilités (Scikit apprendre python )

- Je utiliser les SVM linéaire de scikit learn (LinearSVC) pour le problème de classification binaire. Je comprends que LinearSVC peut me donner le prédit de les étiquettes, et la décision scores, mais je voulais estimations de probabilité (la confiance dans l'étiquette). Je veux continuer à utiliser LinearSVC à cause de la vitesse (par rapport à sklearn.svm.SVC linéaire, noyau) Est-il raisonnable d'utiliser la fonction logistique pour convertir la décision scores de probabilités? 

import sklearn.svm as suppmach
# Fit model:
svmmodel=suppmach.LinearSVC(penalty='l1',C=1)
predicted_test= svmmodel.predict(x_test)
predicted_test_scores= svmmodel.decision_function(x_test)

Je veux vérifier si elle fait sens pour obtenir des estimations de Probabilité simplement comme [1 /(1 + exp(-x)) ] où x est la décision score.

Sinon, existe-il d'autres options wrt classificateurs que je peux utiliser pour le faire efficacement?

Grâce.

InformationsquelleAutor chet | 2014-10-21
  1. 11

    J'ai pris un coup d'oeil à l'api dans sklearn.svm.* de la famille. Tous les modèles ci-dessous, par exemple,

    • sklearn.svm.SVC
    • sklearn.svm.NuSVC
    • sklearn.svm.SVR
    • sklearn.svm.NuSVR

    commune interface qui fournit un 

    probability: boolean, optional (default=False)

    paramètre du modèle. Si ce paramètre est défini sur True, libsvm permettra de former une probabilité de transformation de modèle sur le dessus de la SVM sorties basé sur l'idée de Platt Mise À L'Échelle. La forme de la transformation est similaire à la fonction logistique comme vous l'avez souligné, cependant, deux des constantes A et B sont appris dans un post-traitement de l'étape. Voir aussi cette stackoverflow post pour plus de détails.

    La conversion de LinearSVC de la fonction de décision de probabilités (Scikit apprendre python )

    En fait, je ne sais pas pourquoi ce post-traitement n'est pas disponible pour LinearSVC. Sinon, vous devez simplement appeler predict_proba(X) pour obtenir la probabilité d'estimation.

    Bien sûr, si vous venez de demander un naïf logistique transformer, il ne sera pas effectuer ainsi que d'une approche calibrée comme Platt Mise À L'Échelle. Si vous pouvez comprendre le souligner algorithme de platt mise à l'échelle, probablement, vous pouvez écrire votre propre ou de contribuer à la scikit-learn svm de la famille. 🙂 Aussi n'hésitez pas à utiliser les quatre SVM variations de soutien predict_proba.

    • Merci @greeness pour la réponse. Tout ce que vous avez dit ci-dessus prend tout son sens et je l'ai accepté comme réponse. Cependant la raison pour laquelle je ne suis pas en utilisant de toute autre classificateur est parce que leur vitesse est généralement beaucoup moins que celle de sklearn.svm.LinearSVC. Je vais continuer à chercher pour un temps plus et sera mise à jour ici si je trouve quelque chose..
    • Il n'est pas disponible car il n'est pas intégré dans Liblinear, qui met en œuvre LinearSVC, et aussi parce que LogisticRegression est déjà disponible (bien que linéaire SVM + Platt mise à l'échelle peut avoir des avantages sur droite LR, je n'ai jamais essayé). Le Platt mise à l'échelle dans SVC vient de LibSVM.
    • Merci pour les commentaires @larsmans.
    • Un autre problème possible est que l'utilisation de LinearSVC permet de choisir une autre peine que la valeur par défaut 'l2'. SVC ne permettent pas cela, puisque je suppose que LibSVM ne le permet pas.
    • J'ai utilisé les deux SVC(kernel='linear', **kwargs) et CalibratedClassifier(LinearSVC(**kwargs)), mais j'ai obtenu des résultats différents...
    InformationsquelleAutor greeness
  2. 77

    scikit-learn offre CalibratedClassifierCV qui peut être utilisé pour résoudre ce problème: il vous permet d'ajouter de la probabilité de sortie de LinearSVC ou de tout autre classificateur qui implémente decision_function méthode:

     svm = LinearSVC()
 clf = CalibratedClassifierCV(svm) 
 clf.fit(X_train, y_train)
 y_proba = clf.predict_proba(X_test)

    Guide de l'utilisateur a une belle section sur que. Par défaut CalibratedClassifierCV+LinearSVC obtiendrez vous Platt mise à l'échelle, mais il offre également d'autres options (isotonique méthode de régression), et il n'est pas limité à SVM classificateurs.

    • Cela devrait être accepté comme réponse!
    • Une idée de comment cela peut être utilisé dans la grille de recherche? En essayant de définir les paramètres par exemple base_estimator__C mais GridSearchCV ne pas avaler ça.
    • base_estimator__C semble correct. Je suggère de fournir un exemple complet et l'ouverture d'une nouvelle question.
    InformationsquelleAutor Mikhail Korobov
  3. 15

    Si vous voulez de la vitesse, puis il suffit de remplacer les SVM avec sklearn.linear_model.LogisticRegression. Qui utilise exactement le même algorithme de formation comme LinearSVC, mais avec le journal de la perte de la place de la charnière de la perte.

    À l'aide de [1 /(1 + exp(-x))] produit des probabilités, dans un sens formel (les numéros entre zéro et un), mais ils n'adhère pas à tout justifiable modèle de probabilité.

    • Cela fait sens. Merci pour la clarification
    • Ce doit être la vraie réponse. J'ai remplacé mon sklearn.svm.SVC avec sklearn.linear_model.LogisticRegression et pas seulement reçu de semblables courbes ROC, mais la différence de temps est immense pour mon dataset (secondes vs heures) qu'il ne vaut même pas un timeit. Il est intéressant de noter aussi que vous pouvez spécifier votre solveur d'être "liblinear' qui ferait exactement la même que LinearSVC.
    • quelle serait la valeur de x dans l'équation [1 / (1 + exp(-x))]?
    • Je ne considère pas cela comme une solution appropriée pour obtenir les probabilités avec SVM que Fred a fait remarquer. LR est prévu pour l'estimation de la probabilité de signaux indépendants via la fonction logistique. SVM est destiné à fournir une meilleure précision et une tentative de ne pas overfit, mais les estimations de probabilité, vous obtenez sont moins précises via la charnière de la fonction. Il pénalise mispredictions. Les lecteurs, s'il vous plaît comprendre le compromis et choisir la plus appropriée en fonction de vos objectifs d'apprentissage. Je vais avec LinearSVC+CalibratedClassifierCV personnellement.
    InformationsquelleAutor Fred Foo
  4. 1

    Si ce que votre voulez vraiment est une mesure de la confiance plutôt que les probabilités, vous pouvez utiliser la méthode LinearSVC.decision_function(). Voir la la documentation.

    InformationsquelleAutor Syncrossus