Spark - Comment exécuter localement un cluster autonome

Est-il la possibilité d'exécuter le Étincelle autonome cluster localement sur une seule machine (qui est fondamentalement différent de simplement la création d'emplois au niveau local (c'est à dire, local[*]))?.

Jusqu'à présent, je suis en cours d'exécution 2 différentes VMs pour construire un cluster, ce qui si je pouvais courir autonome de cluster sur la même machine, avoir par exemple trois différentes machines virtuelles en cours d'exécution?

Quelque chose comme avoir plusieurs adresses de loopback faire l'affaire?

source d'informationauteur luke

  1. 19

    oui vous pouvez le faire, lancer un maître et un travailleur nœud et vous êtes bon pour aller

    lancement maître

    ./sbin/start-master.sh

    lancement travailleur

    ./bin/spark-class org.apache.spark.deploy.worker.Worker  spark://localhost:7077 -c 1 -m 512M

    exécuter SparkPi exemple

    ./bin/spark-submit  --class org.apache.spark.examples.SparkPi   --master spark://localhost:7077  lib/spark-examples-1.2.1-hadoop2.4.0.jar

    Apache Spark Mode Autonome De La Documentation

  2. 2

    Une petite mise à jour pour le dernière version (la version 2.1.0)la valeur par défaut est de lier le maître pour le nom d'hôte, de sorte que lors du démarrage d'un travailleur localement l'utilisation de la sortie de hostname:

    ./bin/spark-class org.apache.spark.deploy.worker.Worker  spark://`hostname`:7077 -c 1 -m 512M

    Et pour exécuter un exemple, il suffit de lancer la commande suivante:

    bin/run-example SparkPi
  3. 1

    Si vous ne pouvez pas trouver le ./sbin/start-master.sh fichier sur votre ordinateur, vous pouvez démarrer le maître aussi avec

    ./bin/spark-class org.apache.spark.deploy.master.Master