La compréhension max_features paramètre dans RandomForestRegressor
Lors de la construction de chaque arbre dans la forêt aléatoire à l'aide de bootstrap échantillons, pour chaque nœud terminal, nous sélectionnons les m variables aléatoires à partir de p variables pour trouver la meilleure split (p est le nombre total de fonctions de vos données). Mes questions (pour RandomForestRegressor) sont:
1) Qu'est-max_features correspondent à (m ou p ou autre chose)?
2) Sont des m variables sélectionnées au hasard à partir de max_features variables (quelle est la valeur de m)?
3) Si max_features correspond à m, alors pourquoi voudrais-je définissez égal à p pour la régression (par défaut)? Où est le caractère aléatoire avec ce paramètre (c'est à dire, comment est-il différent d'ensachage)?
Grâce.
Vous devez vous connecter pour publier un commentaire.
Directement à partir de la la documentation:
Donc
max_features
est ce que vous appelez m. Lorsquemax_features="auto"
, m = p et aucun sous-ensemble de la fonctionnalité de sélection est effectuée dans les arbres, de sorte que le "random forest" est en fait un sac ensemble de l'ordinaire, les arbres de régression. Les docs à dire quePar la mise en
max_features
différemment, vous obtiendrez une "vraie" forêt aléatoire.RandomForestRegressor
, on "doit" avoir quemax_features="auto"
⇒max_features=int(n_features / 3.0)
?@lynnyi, max_features est le nombre de fonctionnalités qui sont considérés par niveau de split, plutôt que sur l'ensemble de la décision de la construction de l'arbre. Plus clairement, lors de la construction de chaque arbre de décision, RF continuent d'utiliser toutes les fonctionnalités (n_features), mais c'est seulement à considérer le nombre de "max_features" caractéristiques de fractionnement des nœuds. Et le "max_features" sont sélectionnés au hasard à partir de l'ensemble des fonctionnalités. On pourrait confirmer cela en traçant un arbre de décision à partir d'un RF avec max_features=1, et de vérifier tous les nœuds de l'arbre de compter le nombre de fonctions impliquées.