les valeurs de réglage du ntree et mtry aléatoire de la forêt modèle de régression

Je suis en utilisant le package R randomForest à faire une régression sur certaines données biologiques. Ma formation à la taille des données est 38772 X 201.

Je me demandais---ce serait une bonne valeur pour le nombre d'arbres ntree et le nombre de variables par niveau mtry? Est-il une formule approximative pour trouver de telles valeurs de paramètre?

Chaque ligne de mes données d'entrée est de 200 caractères représentant la séquence d'acides aminés, et je veux construire un modèle de régression à utiliser une telle séquence dans le but de prédire les distances entre les protéines.

  • Cela sonne plus comme un travail pour stats.stackexchange.com
  • Je suis d'accord, même si une amende question, il n'a pas sa place ici. Aussi, peut-être essayer de la rendre plus lisible.
  • Dans la réalité de la construction de forêts aléatoires à partir de grands ensembles de données, ntrees est souvent un compromis entre performance et précision.
InformationsquelleAutor DOSMarter | 2012-12-19
  1. 35

    La valeur par défaut pour mtry est tout à fait raisonnable, donc il n'y a pas vraiment besoin de coucher avec elle. Il y a une fonction tuneRF pour l'optimisation de ce paramètre. Cependant, être conscient que cela peut entraîner des biais.

    Il n'y a pas d'optimisation pour le nombre de bootstrap réplique. Je commence souvent avec ntree=501 et puis parcelle de la forêt aléatoire de l'objet. Cela va vous montrer l'erreur de convergence en fonction de l'OOB erreur. Vous voulez assez d'arbres pour stabiliser l'erreur, mais pas autant que vous sur la corrélation de l'ensemble, ce qui conduit à overfit.

    Ici est la mise en garde: variable interactions se stabiliser à un rythme plus lent que l'erreur donc, si vous avez un grand nombre de variables indépendantes, vous avez besoin de plus de répétitions. Je voudrais garder le ntree un nombre impair donc des liens peut être rompu.

    Pour les dimensions de votre problème, je voudrais commencer ntree=1501. Je voudrais également recommandé à la recherche sur un seul des approches de sélection de variables pour réduire le nombre de vos variables indépendantes.

    • Espérons que vous n'avez pas l'esprit j'ai nettoyé ce un tout petit peu juste pour la rendre plus lisible.
    • Concernant le dernier point de @Jeffrey Evans réponse, je suggère l'utilisation de la rfcv (expliqué ici aussi, stats.stackexchange.com/questions/112556/...). Je l'ai trouvé utile pour enlever le moins important des variables indépendantes.
    InformationsquelleAutor Jeffrey Evans
  2. 18

    La réponse courte est non.

    La randomForest fonction des cours a des valeurs par défaut pour les deux ntree et mtry. La valeur par défaut pour mtry est souvent (mais pas toujours), il est raisonnable, alors que généralement, les gens veulent augmenter ntree, il est par défaut de 500 tout à fait un peu.

    La valeur "correct" pour ntree n'est généralement pas une préoccupation, car il sera tout à fait évident, avec un peu de bricolage que les prédictions du modèle ne change pas beaucoup après un certain nombre d'arbres.

    Vous pouvez passer (lire: les déchets) beaucoup de temps à bricoler avec des choses comme mtry (et sampsize et maxnodes et nodesize etc.), probablement certains avantages, mais dans mon expérience, qui n'est pas beaucoup. Cependant, chaque ensemble de données sera différent. Parfois, vous pouvez voir une grande différence, parfois pas du tout.

    La signe paquet a une fonction très générale train qui permet de faire une grille simple recherche sur des valeurs de paramètre comme mtry pour une grande variété de modèles. Ma seule précaution serait que de le faire avec assez de grands ensembles de données est susceptible d'obtenir beaucoup de temps assez rapidement, alors faites attention pour que.

    Aussi, en quelque sorte, j'ai oublié que le ranfomForest emballage lui-même a une tuneRF fonction qui est spécifiquement pour la recherche de la "optimale" de la valeur pour mtry.

    • Pour info, j'en ai parlé avec Adele Cutler quant à l'optimisation des paramètres RF et elle a indiqué que la progressive des procédures "tuneRF" et "train" utilisation conduit à un biais. Aussi, comme indiqué dans mon post, il est possible de overfit RF par plus de corrélation de l'ensemble. Donc, il y a un équilibre dans le nombre de bootstrap réplique entre l'erreur de convergence, la variable d'interaction et d'éviter overfit.
    InformationsquelleAutor joran
  3. 5

    Puisse ce livre aider ?
    Limiter le Nombre d'Arbres dans les Forêts Aléatoires

    Abstrait. L'objectif de ce papier est de proposer une procédure simple qui
    a priori détermine un nombre minimum de classificateurs pour combiner afin
    pour obtenir une précision de la prédiction niveau similaire à celui obtenu avec les
    la combinaison des ensembles plus larges. La procédure est basée sur le McNemar
    non-paramétrique test de signification. Connaître a priori le minimum
    taille du classificateur ensemble en donnant le meilleur précision de la prédiction, constitue
    un gain de temps et de mémoire de frais, surtout pour les énormes bases de données
    et applications en temps réel. Ici, nous avons appliqué cette procédure à quatre plusieurs
    classificateur systèmes avec le C4.5 arbre de décision (Breiman la mise en sac, Ho
    Aléatoire de sous-espaces, leur combinaison que nous avons appelé ‘Bagfs’, et Breiman la
    Forêts aléatoires) et cinq grandes bases de données de référence. Il est intéressant de remarquer
    que la procédure proposée peut être facilement étendue à d'autres de la base de
    les algorithmes d'apprentissage que d'un arbre de décision ainsi. Les résultats expérimentaux
    a montré qu'il est possible de limiter considérablement le nombre d'arbres. Nous
    ont également montré que le nombre minimum d'arbres requis pour l'obtention de
    la meilleure précision de la prédiction peut varier d'un classificateur combinaison
    méthode à l'autre

    Ils n'utilisez jamais de plus de 200 arbres.

    les valeurs de réglage du ntree et mtry aléatoire de la forêt modèle de régression

    InformationsquelleAutor bastaPasta
  4. 1

    J'utilise le code ci-dessous pour vérifier que j'ai jouer avec ntree et mtry (modifier les paramètres):

    results_df <- data.frame(matrix(ncol = 8))
colnames(results_df)[1]="No. of trees"
colnames(results_df)[2]="No. of variables"
colnames(results_df)[3]="Dev_AUC"
colnames(results_df)[4]="Dev_Hit_rate"
colnames(results_df)[5]="Dev_Coverage_rate"
colnames(results_df)[6]="Val_AUC"
colnames(results_df)[7]="Val_Hit_rate"
colnames(results_df)[8]="Val_Coverage_rate"
trees = c(50,100,150,250)
variables = c(8,10,15,20)
for(i in 1:length(trees))
{
ntree = trees[i]
for(j in 1:length(variables))
{
mtry = variables[j]
rf<-randomForest(x,y,ntree=ntree,mtry=mtry)
pred<-as.data.frame(predict(rf,type="class"))
class_rf<-cbind(dev$Target,pred)
colnames(class_rf)[1]<-"actual_values"
colnames(class_rf)[2]<-"predicted_values"
dev_hit_rate = nrow(subset(class_rf, actual_values ==1&predicted_values==1))/nrow(subset(class_rf, predicted_values ==1))
dev_coverage_rate = nrow(subset(class_rf, actual_values ==1&predicted_values==1))/nrow(subset(class_rf, actual_values ==1))
pred_prob<-as.data.frame(predict(rf,type="prob"))
prob_rf<-cbind(dev$Target,pred_prob)
colnames(prob_rf)[1]<-"target"
colnames(prob_rf)[2]<-"prob_0"
colnames(prob_rf)[3]<-"prob_1"
pred<-prediction(prob_rf$prob_1,prob_rf$target)
auc <- performance(pred,"auc")
dev_auc<-as.numeric(auc@y.values)
pred<-as.data.frame(predict(rf,val,type="class"))
class_rf<-cbind(val$Target,pred)
colnames(class_rf)[1]<-"actual_values"
colnames(class_rf)[2]<-"predicted_values"
val_hit_rate = nrow(subset(class_rf, actual_values ==1&predicted_values==1))/nrow(subset(class_rf, predicted_values ==1))
val_coverage_rate = nrow(subset(class_rf, actual_values ==1&predicted_values==1))/nrow(subset(class_rf, actual_values ==1))
pred_prob<-as.data.frame(predict(rf,val,type="prob"))
prob_rf<-cbind(val$Target,pred_prob)
colnames(prob_rf)[1]<-"target"
colnames(prob_rf)[2]<-"prob_0"
colnames(prob_rf)[3]<-"prob_1"
pred<-prediction(prob_rf$prob_1,prob_rf$target)
auc <- performance(pred,"auc")
val_auc<-as.numeric(auc@y.values)
results_df = rbind(results_df,c(ntree,mtry,dev_auc,dev_hit_rate,dev_coverage_rate,val_auc,val_hit_rate,val_coverage_rate))
}
}
    InformationsquelleAutor Hillary Murefu
  5. 1

    Une belle astuce que j'utilise est de d'abord commencer avec le premier prenant la racine carrée du nombre de prédicteurs et la fiche de la valeur pour "mtry". Il est généralement autour de la même valeur que tunerf fonction dans la forêt au hasard choisir.

    InformationsquelleAutor KHAN irfan