Spark - Erreur “Un maître de l'URL doit être défini dans votre configuration” lors de la soumission d'une application

La TLDR:

.config("spark.master", "local")

une liste des options pour le spark.master spark 2.2.1

Je suis tombé sur cette page après avoir essayé d'exécuter une simple Étincelle SQL programme java en mode local. Pour ce faire, j'ai trouvé que je pouvais étincelle.maître à l'aide de:

SparkSession spark = SparkSession
.builder()
.appName("Java Spark SQL basic example")
.config("spark.master", "local")
.getOrCreate();

Une mise à jour de ma réponse:

Pour être clair, ce n'est pas ce que vous devez faire dans un environnement de production. Dans un environnement de production de l'étincelle.master doit être spécifié dans l'un des quelques autres endroits: soit dans $SPARK_HOME/conf/spark-valeurs par défaut.conf (c'est là que cloudera manager, ou sur la ligne de commande lorsque vous soumettez l'application. (ex-spark-soumettre --maître de fil).

Si vous spécifiez une étincelle.maître pour être "locale" de cette façon, l'étincelle va essayer de s'exécuter dans un seul jvm, comme indiqué par les commentaires ci-dessous. Si vous essayez ensuite de spécifier --déployer en mode cluster, vous obtiendrez un message d'erreur " Cluster déployer mode n'est pas compatible avec le master "local"'. C'est parce que la définition d'étincelle.master=local signifie que vous n'êtes PAS en cours d'exécution en mode cluster.

Au lieu de cela, pour une production à l'application, au sein de votre fonction main (ou dans les fonctions appelées par votre fonction principale), vous devez tout simplement utiliser:

SparkSession
.builder()
.appName("Java Spark SQL basic example")
.getOrCreate();

Cela permettra d'utiliser les configurations spécifiées sur la ligne de commande/dans les fichiers de config.

Aussi, pour être clair sur ce trop: --master et de "l'étincelle.master" sont exactement les même paramètre, juste spécifié dans différentes manières. Réglage de l'allumage.maître dans le code, comme dans ma réponse ci-dessus, remplace toutes les tentatives pour définir --maître, et remplace les valeurs spark-valeurs par défaut.conf, afin de ne pas le faire dans la production. Son grand pour des tests.

aussi, voir cette réponse.
qui des liens vers une liste des options pour le spark.maître et de ce que chacun en fait.

une liste des options pour le spark.master spark 2.2.1

La valeur par défaut de "l'étincelle.master" est spark://HOST:PORT, et le code suivant tente d'obtenir une session à partir de la version autonome de cluster est en cours d'exécution à de l'HÔTE:PORT, et s'attend à ce que l'HÔTE:PORT de la valeur à être dans l'étincelle de fichier de config.

SparkSession spark = SparkSession
.builder()
.appName("SomeAppName")
.getOrCreate();

"org.apache.spark.SparkException: Un maître de l'URL doit être défini dans votre configuration" les etats qui de l'HÔTE:PORT n'est pas définie dans l'étincelle fichier de configuration.

Pour ne pas embêter sur les valeurs de "HOST:PORT", ensemble étincelle.maître comme local

SparkSession spark = SparkSession
.builder()
.appName("SomeAppName")
.config("spark.master", "local")
.getOrCreate();

Ici est le lien pour la liste des formats dans lesquels le maître d'URL peuvent être transmises à l'étincelle.maître

Référence : Spark Tutoriel - Le Programme D'Installation De L'Étincelle De L'Écosystème

Comment étincelle contexte dans votre application, sélectionnez la valeur pour le spark master?

• Vous fournir explcitly dans SparkConf lors de la création SC.
• Ou il choisit de le System.getProperties (où SparkSubmit plus tôt au lendemain de la lecture de votre --master argument).

Maintenant, SparkSubmit fonctionne sur le pilote -- qui dans votre cas est la machine à partir de laquelle vous êtes à l'exécution de la spark-submit script. Et c'est probablement de travail comme prévu pour vous aussi.

Cependant, à partir de l'information que vous avez posté il semble que vous êtes la création d'une étincelle contexte dans le code qui est envoyé à l'exécuteur -- et étant donné qu'il n'est pas spark.master système de propriété qui y sont disponibles, il échoue. (Et vous ne devriez pas vraiment le faire, si c'est le cas.)

Pouvez-vous s'il vous plaît poster le GroupEvolutionES code (en particulier où vous êtes en train de créer SparkContext(s)).

J'ai eu le même problème, Voici mon code avant modification :

package com.asagaama
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
/**
* Created by asagaama on 16/02/2017.
*/
object Word {
def countWords(sc: SparkContext) = {
//Load our input data
val input = sc.textFile("/Users/Documents/spark/testscase/test/test.txt")
//Split it up into words
val words = input.flatMap(line => line.split(" "))
//Transform into pairs and count
val counts = words.map(word => (word, 1)).reduceByKey { case (x, y) => x + y }
//Save the word count back out to a text file, causing evaluation.
counts.saveAsTextFile("/Users/Documents/spark/testscase/test/result.txt")
}
def main(args: Array[String]) = {
val conf = new SparkConf().setAppName("wordCount")
val sc = new SparkContext(conf)
countWords(sc)
}
}

Et après le remplacement de :

val conf = new SparkConf().setAppName("wordCount")

Avec :

val conf = new SparkConf().setAppName("wordCount").setMaster("local[*]")

Il a bien fonctionné !

essayer cette

faire trait

import org.apache.spark.sql.SparkSession
trait SparkSessionWrapper {
lazy val spark:SparkSession = {
SparkSession
.builder()
.getOrCreate()
}
}

étend

object Preprocess extends SparkSessionWrapper {

Si vous utilisez le code suivant

 val sc = new SparkContext(master, "WordCount", System.getenv("SPARK_HOME"))

Puis de les remplacer avec des lignes suivantes

  val jobName = "WordCount";
val conf = new SparkConf().setAppName(jobName);
val sc = new SparkContext(conf)

---

Spark 2.0, vous pouvez utiliser le code suivant

val spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.master("local[*]")//need to add
.getOrCreate()

Vous devez ajouter .maître("local[*]") si runing locale ici * signifie que tous les nœuds , vous pouvez dire insted de 8 1,2 etc

Vous devez définir le Maître de l'URL si sur le cluster