spark 2.1.0 session de paramètres de configuration (pyspark)

Je suis en train de remplacer la bougie d'session/spark contexte par défaut configs, mais c'est la cueillette ensemble de nœuds et de ressource de cluster.

 spark  = SparkSession.builder
                      .master("ip")
                      .enableHiveSupport()
                      .getOrCreate()

 spark.conf.set("spark.executor.memory", '8g')
 spark.conf.set('spark.executor.cores', '3')
 spark.conf.set('spark.cores.max', '3')
 spark.conf.set("spark.driver.memory",'8g')
 sc = spark.sparkContext

Il fonctionne très bien lorsque je l'ai mis dans la configuration de l'étincelle soumettre

spark-submit --master ip --executor-cores=3 --diver 10G code.py

Qu'est-ce que le gestionnaire de ressources ? Spark Autonome/FILS
Spark autonome
Autrement 2.0 est

conf = (SparkConf().set("spark.executor.cores", "3"));  spark  = SparkSession.builder                       .master("ip").conf(conf=conf)                       .enableHiveSupport()                       .getOrCreate()

Désolé, essayé les deux, pas de chance. Pouvez-vous essayer une fois. Je viens de mettre à jour mon étincelle 2.2.0 instantané à venir plus de 64 ko de code de problème de taille(SPARK-16845).

OriginalL'auteur Harish | 2017-01-27

22

Vous n'êtes pas réellement écraser quoi que ce soit avec ce code. De sorte que vous pouvez voir par vous-même essayez les solutions suivantes.

Dès que vous commencez à pyspark shell type:
```
sc.getConf().getAll()
```
Cela va vous montrer tous les paramètres de configuration. Alors tentez votre code et de le faire à nouveau. Rien ne change.

Ce que vous devez faire à la place est de créer une nouvelle configuration et l'utiliser pour créer un SparkContext. De faire comme ceci:
```
conf = pyspark.SparkConf().setAll([('spark.executor.memory', '8g'), ('spark.executor.cores', '3'), ('spark.cores.max', '3'), ('spark.driver.memory','8g')])
sc.stop()
sc = pyspark.SparkContext(conf=conf)
```
Ensuite, vous pouvez vérifier vous-même comme ci-dessus avec:
```
sc.getConf().getAll()
```
Ce doit refléter la configuration que vous vouliez.

Dans spark 2.1.0/2.2.0 nous pouvons définir sc = pyspark.SparkContext comme ça. Pas de possibilité de passer le paramètre.
Vous dites que ce n'est pas possible de le passer? Les docs ont encore répertorié comme un argument, voir ici
[Voir ici spark.apache.org/docs/latest/api/python/... . je ne suis pas clair quel est le point d'entrée de maintenant?
Si vous faites référence à ceci de la ligne, qui se réfère à la vérification de l'existant étincelle objet de contexte. Ainsi par exemple, lorsque vous commencez à pyspark la sparkcontext existe déjà en tant que sc. En tapant sc est essentiellement similaire à la saisie SparkSession.SparkContext et renvoie le contexte actuel de l'objet. Ma compréhension est que vous voulez créer un contexte avec une configuration différente.
J'ai fait des petites chnages et cela a fonctionné ..Merci.. spark = SparkSession.builder.config(conf=conf1).getOrCreate() sc = spark.sparkContext ici conf1 est ce que vous avez défini ci-dessus (conf = **)

OriginalL'auteur Grr

configuration de mise à jour dans Étincelle 2.3.1

Modifier la valeur par défaut de l'étincelle configurations, vous pouvez suivre ces étapes:

Importer les classes nécessaires

from pyspark.conf import SparkConf
from pyspark.sql import SparkSession

Obtenir les configurations par défaut

spark.sparkContext._conf.getAll()

Mettre à jour les configurations par défaut

conf = spark.sparkContext._conf.setAll([('spark.executor.memory', '4g'), ('spark.app.name', 'Spark Updated Conf'), ('spark.executor.cores', '4'), ('spark.cores.max', '4'), ('spark.driver.memory','4g')])

D'arrêter la Spark Session

spark.sparkContext.stop()

De créer une Étincelle Session

spark = SparkSession.builder.config(conf=conf).getOrCreate()

Fonctionne également avec 2.2.0. Merci pour cette réponse.

OriginalL'auteur bob

Paramètre 'étincelle.le pilote.accueil " à "localhost" dans la config fonctionne pour moi

spark = SparkSession \
    .builder \
    .appName("MyApp") \
    .config("spark.driver.host", "localhost") \
    .getOrCreate()

OriginalL'auteur Vivek

Vous devez vous connecter pour publier un commentaire.