spark soumettre ajouter plusieurs pots dans le classpath

Je suis en train de lancer une étincelle programme où j'ai plusieurs fichiers jar, si j'avais un seul pot, je ne suis pas en mesure d'exécuter. Je tiens à ajouter à la fois les fichiers jar qui sont dans le même emplacement. J'ai essayé de le ci-dessous, mais il montre une erreur de dépendance

spark-submit \
  --class "max" maxjar.jar Book1.csv test \
  --driver-class-path /usr/lib/spark/assembly/lib/hive-common-0.13.1-cdh​5.3.0.jar

Comment puis-je ajouter un autre fichier jar qui est dans le même répertoire?

Je veux ajouter /usr/lib/spark/assembly/lib/hive-serde.jar.

  • Bienvenue @avinash, pour votre prochain post, je le conseille votre choix pour avoir un coup d'oeil à stackoverflow.com/editing-help
  • spark-submit [restofyouroptions] --conf "spark.driver.extraClassPath=myjarfile.jar"
  • plusieurs fichiers jar: "spark.driver.extraClassPath=/path/myjarfile1.jar:/path/myjarfile2.jar"
InformationsquelleAutor Avinash Nishanth S | 2015-03-17
  1. 3

    J'ai été d'essayer de se connecter à mysql depuis le code python qui a été exécutée à l'aide de spark-submit.

    J'ai été en utilisant HDP sandbox qui a été à l'aide de Ambari. Essayé beaucoup d'options telles que --jars, --driver-class-path, etc, mais aucune n'a fonctionné.

    Solution

    Copier le jar dans /usr/local/miniconda/lib/python2.7/site-packages/pyspark/jars/

    Comme de maintenant, je ne suis pas sûr si c'est une solution ou d'un hack, mais depuis que je suis en train de travailler sur POC et donc cela fonctionne pour moi.

    • pourquoi avez-vous proposer la suppression de "Cheers!" - vous demandez-vous
    • meta.stackoverflow.com/q/288160/1434041 si elle fait plus de sens pour supprimer ceux qui sont partie de la modifier.
    InformationsquelleAutor Ayush Vatsyayan
  2. 29

    Suffit d'utiliser la --jars paramètre. Étincelle va partager ces pots (séparées par des virgules) avec les exécuteurs testamentaires.

    • j'ai essayé séparées par des virgules étincelle soumettre --classe "max" maxjar.jar Classeur1.csv test /usr/lib/spark/assembly/lib/hive-common-0.13.1-cdh5.3.0.jar,hive-serde.jar . mais il n'est pas de lire ni de les pots . J'ai cette erreur la org/apache/hadoop/ruche/conf/HiveConf
    • Je voulais dire, l'utiliser comme ceci: spark-soumettre --master master_url --pots jar1,jar2 --classe classname application_jar
    • en fait, je veux ajouter plusieurs pots dans mon classpath .je n'ai pas accès à la copie thejars dans mes paramètres régionaux de fichier, donc je suis juste accès aux les pots à travers le chemin de classe
    InformationsquelleAutor pzecevic
  3. 27

    La spécification du chemin d'accès complet pour tous les autres pots de les travaux.

    ./bin/spark-submit --class "SparkTest" --master local[*] --jars /fullpath/first.jar,/fullpath/second.jar /fullpath/your-program.jar

    Ou ajouter des pots de conf/spark-valeurs par défaut.conf en ajoutant des lignes comme:

    spark.driver.extraClassPath /fullpath/firs.jar:/fullpath/second.jar
spark.executor.extraClassPath /fullpath/firs.jar:/fullpath/second.jar
    InformationsquelleAutor user3688187
  4. 12

    Vous pouvez utiliser * pour importer tous les bocaux dans un dossier lors de l'ajout dans conf/spark-valeurs par défaut.conf .

    spark.driver.extraClassPath /fullpath/*
spark.executor.extraClassPath /fullpath/*
    • Êtes-vous sûr? J'ai eu "16/10/20 19:56:43 ERREUR SparkContext: Jar pas trouvé dans le fichier:/root/.ivy2/jars/*.jar"
    • Il fonctionne pour moi avec spark 1.5.2
    • Chemin d'accès relatif travaille trop! Mon réglage est "l'étincelle.le pilote.extraClassPath lib/*", où lib est un sous-répertoire de allumage à la maison et tous les 3ème partie pots sont là.
    InformationsquelleAutor Claudio Cavalcante
  5. 3

    Spark 2.3 vous devez simplement régler le --pots option. Le chemin d'accès au fichier doit être préfixé par le schéma si ie file:///<absolute path to the jars>
    Par exemple : file:////home/hadoop/spark/externaljsrs/* ou file:////home/hadoop/spark/externaljars/abc.jar,file:////home/hadoop/spark/externaljars/def.jar

    InformationsquelleAutor Binita Bharati
  6. 0

    Pour moi --pots option fonctionne toujours mais c'est trop verbeux. Pour économiser un peu de temps, vous pouvez mettre les bocaux dans un répertoire dire "myJars', puis utiliser cette commande pour envoyer:

    spark-submit --master local[*] --jars "/path/to/myJars/*.jar"    --class <ClassName> <application_jar_name>.jar arg1 arg2
    • Je souhaite que cela a fonctionné, mais ce n'est pas pour spark-submit
    InformationsquelleAutor AB9KT
  7. 0

    Pour --driver-class-path option que vous pouvez utiliser : comme délimiteur de passer plusieurs bocaux.
    Ci-dessous est l'exemple avec spark-shell commandement, mais je suppose que la même chose devrait travailler avec spark-submit ainsi

        spark-shell --driver-class-path /path/to/example.jar:/path/to/another.jar

    Spark version: 2.2.0

    InformationsquelleAutor user2720864