Comment traverser valider RandomForest modèle?

Je veux évaluer une forêt aléatoire en cours de formation sur certaines données. Est-il un utilitaire dans Apache Spark à faire de même ou dois-je effectuer la validation croisée manuellement?

InformationsquelleAutor ashishsjsu | 2015-09-24
  1. 36

    ML fournit CrossValidator classe qui peut être utilisé pour effectuer la validation croisée et les paramètres de recherche. En supposant que vos données sont déjà prétraitées vous pouvez ajouter la validation croisée comme suit:

    import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.tuning.{ParamGridBuilder, CrossValidator}
import org.apache.spark.ml.classification.RandomForestClassifier
import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator

//[label: double, features: vector]
trainingData org.apache.spark.sql.DataFrame = ??? 
val nFolds: Int = ???
val numTrees: Int = ???
val metric: String = ???

val rf = new RandomForestClassifier()
  .setLabelCol("label")
  .setFeaturesCol("features")
  .setNumTrees(numTrees)

val pipeline = new Pipeline().setStages(Array(rf)) 

val paramGrid = new ParamGridBuilder().build() //No parameter search

val evaluator = new MulticlassClassificationEvaluator()
  .setLabelCol("label")
  .setPredictionCol("prediction")
  //"f1" (default), "weightedPrecision", "weightedRecall", "accuracy"
  .setMetricName(metric) 

val cv = new CrossValidator()
  //ml.Pipeline with ml.classification.RandomForestClassifier
  .setEstimator(pipeline)
  //ml.evaluation.MulticlassClassificationEvaluator
  .setEvaluator(evaluator) 
  .setEstimatorParamMaps(paramGrid)
  .setNumFolds(nFolds)

val model = cv.fit(trainingData) //trainingData: DataFrame

    À L'Aide De PySpark:

    from pyspark.ml import Pipeline
from pyspark.ml.classification import RandomForestClassifier
from pyspark.ml.tuning import CrossValidator, ParamGridBuilder
from pyspark.ml.evaluation import MulticlassClassificationEvaluator

trainingData = ... # DataFrame[label: double, features: vector]
numFolds = ... # Integer

rf = RandomForestClassifier(labelCol="label", featuresCol="features")
evaluator = MulticlassClassificationEvaluator() # + other params as in Scala    

pipeline = Pipeline(stages=[rf])
paramGrid = (ParamGridBuilder. 
    .addGrid(rf.numTrees, [3, 10])
    .addGrid(...)  # Add other parameters
    .build())

crossval = CrossValidator(
    estimator=pipeline,
    estimatorParamMaps=paramGrid,
    evaluator=evaluator,
    numFolds=numFolds)

model = crossval.fit(trainingData)
    • Êtes-vous sûr que cela fonctionne pour leave-one-out? Le kFold() l'appel sous le capot ne s'affiche pas de façon déterministe de retour de deux plis de longueur N-1 et 1. Lorsque j'exécute le code ci-dessus avec un RegressionEvaluator et Lasso modèle j'obtiens: Exception in thread "main" java.lang.IllegalArgumentException: exigence échec: Rien n'a été ajouté à cet outil de synthèse.
    • Non, je suis assez sûr il ne le fait pas. MLUtils.kFold est à l'aide de BernoulliCellSampler pour déterminer split. D'autre part, le coût de l'exécution de leave-one-out cross-validation de l'Étincelle est probablement élevée de toute façon à le rendre réalisable dans la pratique.
    • Bonjour @zero323, lorsque vous définissez une métrique dans votre Évaluateur objet comme .setMetricName("précision") . Ma question est, comment puis-je obtenir ces métriques calulated pendant le processus de formation? (Veuillez vous référer à cette question: stackoverflow.com/questions/37778532/...)
    • Hey @zero323 , est-il nécessaire de diviser les données en formation/test lors de l'utilisation de la validation croisée? CV de trains et de test sur un certain nombre de plis, il devrait alors donner une précision de la moyenne de l'exactitude de la formation/test sur les cinq plis? Ou peut-être que je suis loin.
    • Personnellement, je choisirais indépendant hors de confirmation de l'échantillon avec CV ainsi. Pour une raison évidente, vous pouvez omettre l'ensemble de validation si.
    • AFAICT, vous n'avez pas accès au test de tonnes sur l'ensemble de test, seulement l'ensemble de la formation (pour le meilleur modèle).
    • Je pense que vous devriez changer de "précision" avec "exactitude", selon issues.apache.org/jira/browse/SPARK-15771
    • Merci. Nous allons le rendre générique.
    • En fait, je peux être en mesure de mieux comprendre MulticlassClassificationEvaluator résultats, mais il semble qu'il n'y a pas beaucoup d'exemples autour de

    InformationsquelleAutor zero323
  2. 2

    De construire sur zero323 de la grande réponse à l'aide de Random Forest Classificateur, voici un exemple similaire pour une Forêt Aléatoire Régresseur:

    import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.tuning.{ParamGridBuilder, CrossValidator}
import org.apache.spark.ml.regression.RandomForestRegressor //CHANGED
import org.apache.spark.ml.evaluation.RegressionEvaluator //CHANGED
import org.apache.spark.ml.feature.{VectorAssembler, VectorIndexer}
val numFolds = ??? //Integer
val data = ??? //DataFrame
//Training (80%) and test data (20%)
val Array(train, test) = data.randomSplit(Array(0.8,0.2))
val featuresCols = data.columns
val va = new VectorAssembler()
va.setInputCols(featuresCols)
va.setOutputCol("rawFeatures")
val vi = new VectorIndexer()
vi.setInputCol("rawFeatures")
vi.setOutputCol("features")
vi.setMaxCategories(5)
val regressor = new RandomForestRegressor()
regressor.setLabelCol("events")
val metric = "rmse"
val evaluator = new RegressionEvaluator()
.setLabelCol("events")
.setPredictionCol("prediction")
//    "rmse" (default): root mean squared error
//    "mse": mean squared error
//    "r2": R2 metric
//    "mae": mean absolute error 
.setMetricName(metric) 
val paramGrid = new ParamGridBuilder().build()
val cv = new CrossValidator()
.setEstimator(regressor)
.setEvaluator(evaluator) 
.setEstimatorParamMaps(paramGrid)
.setNumFolds(numFolds)
val model = cv.fit(train) //train: DataFrame
val predictions = model.transform(test)
predictions.show
val rmse = evaluator.evaluate(predictions)
println(rmse)

    Évaluateur de tonnes source:
    https://spark.apache.org/docs/latest/api/scala/#org.apache.spark.ml.evaluation.RegressionEvaluator

    InformationsquelleAutor Garren S