SVM contre MLP (Réseau de Neurones): comparaison de la performance et de la précision de la prédiction

Quelques réserves cependant:

performance d'un ML classificateur peut se référer soit à (i) la performance du classificateur lui-même; ou (ii) la performance du prédicat étape: la vitesse d'exécution de la construction du modèle de l'algorithme. En particulier dans ce cas, la réponse est assez différent selon laquelle des deux est prévu dans l'OP, donc je vais répondre à chacun d'eux séparément.

deuxième, par Réseau de Neurones, je vais supposer que vous êtes en se référant à la plus commune de mise en œuvre--c'est à dire, un feed-forward, back-propagation seule couche cachée perceptron.

Temps de formation (la vitesse d'exécution de l'application model builder)

Pour SVM par rapport à NN: les SVMs sont beaucoup plus lents. Il y a une simple raison à cela: SVM formation nécessite la résolution de l'associé de Lagrange double (plutôt que de primal) problème. C'est un quadratique problème d'optimisation dans lequel le nombre de variables est très grand--c'est à dire, égal au nombre de cas (la "longueur" de votre matrice de données).

Dans la pratique, les deux facteurs, si présent dans votre scénario, pourrait annuler cet avantage:

• NN formation est trivial pour paralléliser (via la carte de réduction); la parallélisation de SVM formation n'est pas trivial, mais c'est pas impossible, dans le cadre des huit dernières années, plusieurs implémentations ont été publiés et ayant fait ses preuves (https://bibliographie.uni-tuebingen.de/xmlui/bitstream/handle/10900/49015/pdf/tech_21.pdf)

• mult-classe de la classification problème les SVMs sont deux classes de classificateurs.Ils peuvent être adaptés pour le multi-classe des problèmes, mais ce n'est jamais simple, car les SVMs utilisation directe des fonctions de décision. (Une excellente source pour la modification des SVMs pour multi-classe de problèmes est S. Abe, Machines à Vecteurs de Support pour le Modèle de Classification, Springer, 2005). Cette modification pourrait anéantir tout avantage en termes de performance SVMs ont plus de NNs: Ainsi, par exemple, si vos données ont
  plus de deux classes et vous avez choisi de configurer les SVM en utilisant
  successives classificstaion (aka un-contre-beaucoup de classification)
  lequel des données sont transmises à une première SVM qui classificateurs l'
  point de données soit de classe I ou autres; si la classe est d'autres ensuite
  le point de données est transmis à un deuxième classifieur qui le classe
  de classe II ou autres, etc.

Les Performances de la prédiction (la vitesse d'exécution du modèle)

De la Performance d'un SVM est sensiblement plus élevée par rapport à NN. Pour une à trois couches (une couche cachée) NN, la prédiction nécessite successives de la multiplication d'un vecteur d'entrée par deux les matrices 2D (le poids des matrices). Pour les SVM, la classification consiste à déterminer de quel côté de la décision de la limite en un point donné se trouve, en d'autres termes un cosinus produit.

Précision De La Prédiction

Par "taux de défaillance" je suppose que vous voulez dire taux d'erreur plutôt que d'une défaillance de la classificateur à une utilisation en production. Si ce dernier, alors il y a très peu, voire aucune différence entre les SVM et NN--les deux modèles sont généralement numériquement stable.

La comparaison de la précision de la prédiction des deux modèles, et en supposant que les deux sont configuré de manière compétente et bien formée, la SVM sera mieux que le NN.

La résolution supérieure de SVM contre NN est bien documentée dans la la littérature scientifique. Il est vrai qu'une telle comparaison dépend des données, la configuration et des paramètres de choix de ces deux modèles. En fait, cette comparaison a été largement étudié-dessus peut-être toutes les paramètre de l'espace--et les résultats de manière cohérente, que même l'existence de quelques exceptions près (même si je ne suis pas au courant de tout) en vertu de l'impossible circonstances ne devrait pas interférer avec la conclusion que les SVMs surpasser NNs.

Pourquoi ne SVM surpasser NN?

Ces deux modèles sont basés sur l'fondamentalement différentes stratégies de déblai.

Dans NN, réseau poids (la NN du côté des paramètres, ajusté au cours de la formation) sont ajustés de sorte que la somme des carrés de l'erreur entre la sortie du réseau et la valeur réelle (cible) est réduit au minimum.

La formation d'un SVM, en revanche, signifie une détermination explicite de la décision limites directement à partir des données de formation. C'est évidemment nécessaire que le prédicat étape du problème d'optimisation nécessaire pour construire un modèle SVM: minimiser la somme de la distance entre le maximum de marge hyperplane et les vecteurs de soutien.

En pratique, cependant, il est plus difficile à configurer l'algorithme de former un SVM. La raison en est que les grandes (par rapport à NN) le nombre de paramètres requis pour la configuration:

• choix de noyau

• sélection des paramètres du noyau

• sélection de la valeur du paramètre marge

OriginalL'auteur doug