Vous avez besoin pour construire l'Allumage avant d'exécuter ce programme erreur lors de l'exécution bin/pyspark

Je me suis prise en main avec Spark.

Je reçois un problème lors du démarrage de l'étincelle.

J'ai téléchargé à partir de l'étincelle site officiel, je suis en train de démarrage rapide de cette https://spark.apache.org/docs/0.9.0/quick-start.html

Je l'ai téléchargé, le programme d'installation sparkhome., et quand j'ai essayé de courir ./pyspark de répertoire bin, j'obtiens cette erreur :

soundarya@soundarya:~/Downloads/spark-1.5.0/bin$ sudo ./pyspark
[sudo] password for soundarya: 
ls: cannot access /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10: No such file or directory
Failed to find Spark assembly in /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10.
You need to build Spark before running this program.
soundarya@soundarya:~/Downloads/spark-1.5.0/bin$

Quelqu'un peut m'aider à comprendre cela?

OriginalL'auteur Soundarya Thiagarajan | 2015-11-09

  1. 1

    Si vous souhaitez utiliser la source de la distribution, vous devez construire la première Étincelle. Vous pouvez trouver plus de détails dans la La Construction De L'Étincelle.

    Sinon, il suffit de télécharger une distribution binaire (pré-construits) à partir de téléchargements:

    Vous avez besoin pour construire l'Allumage avant d'exécuter ce programme erreur lors de l'exécution bin/pyspark

    Aussi, ne pas utiliser d'anciennes documentation. Vous pouvez utiliser soit le dernier:

    http://spark.apache.org/docs/latest

    ou spécifiques à la version

    http://spark.apache.org/docs/1.5.0

    Salut, merci pour votre réponse. J'ai essayé de l'exécuter. 15/11/09 14:28:03 ERREUR NettyTransport: failed to bind to /192.168.0.109:0, arrêt de Netty transport 15/11/09 14:28:03 ERREUR SparkContext: Erreur lors de l'initialisation SparkContext. java.net.BindException: Failed to bind to: /192.168.0.109:0: "Service de sparkDriver' a échoué après 16 tentatives! py4j.le protocole.Py4JJavaError: Une erreur s'est produite lors d'un appel Aucun.org.apache.spark.l'api.java.JavaSparkContext. : java.net.BindException: Failed to bind to: /192.168.0.109:0: "Service de sparkDriver' a échoué après 16 tentatives!
    J'ai téléchargé l'étincelle-1.5.0-bin-hadoop2.4/bin
    Ce qui est dans votre conf/spark-env.sh fichier? Avez-vous essayez d'ouvrir une étincelle shell en premier? (bin/spark-shell)
    Quand j'ai essayé de courir spark-shell je suis d'erreur : OpenJDK 64-Bit Server VM avertissement: INFO: os::commit_memory(0x00000000bff80000, 716177408, 0) a échoué; erreur='Ne peut allouer de la mémoire' (errno=12) # # la mémoire est insuffisante pour l'Environnement d'Exécution Java pour continuer. # Natif d'allocation de mémoire (malloc) n'a pas pu allouer 716177408 octets pour l'engagement de la mémoire réservée. # Un rapport d'erreurs de fichier avec plus d'informations sont enregistrés comme: # /home/soundarya/Téléchargements/spark-1.5.0-bin-hadoop2.4/bin/hs_err_pid16684.journal soundarya@soundarya:~/Téléchargements/spark-1.5.0-bin-hadoop2.4/bin$
    c'est parce que vous êtes de ne pas avoir suffisamment de mémoire sur votre ordinateur. Qu'est-ce que l'exécuteur de la mémoire/mémoire pilote que vous allouez? et combien de mémoire vous avez sur votre machine?

    OriginalL'auteur

  2. 0

    Télécharger la pré-version de spark comme zero323 suggéré. Aussi, Il n'est pas une bonne pratique pour exécuter étincelle en mode sudo.

    Salut, j'ai essayé de télécharger comme l'a suggéré : spark-1.5.0-bin-hadoop2.4 (paquetage version)..mais encore i m a tenu avec des erreurs.. OpenJDK 64-Bit Server VM avertissement: INFO: os::commit_memory(0x00000007d5500000, 716177408, 0) a échoué; erreur='Ne peut allouer de la mémoire' (errno=12) # # la mémoire est insuffisante pour l'Environnement d'Exécution Java pour continuer. # Natif d'allocation de mémoire (malloc) n'a pas pu allouer 716177408 octets pour l'engagement de la mémoire réservée. # Un rapport d'erreurs de fichier avec plus d'informations sont enregistrés comme: # /home/soundarya/Téléchargements/spark-1.5.0/hs_err_pid18440.journal
    De combien de mémoire vous avez sur votre machine? Ses un Segment de la JVM d'erreur et n'a rien à voir avec spark. Vous pouvez essayer le réglage de l'allumage.le pilote.de la mémoire et de la bougie.exécuteur testamentaire.la mémoire dans la conf/spark-valeurs par défaut.fichier conf. Ou tout simplement faire un export _JAVA_OPTIONS=-Xmx1g à partir de votre terminal.
    Je n'ai exportation _JAVA_OPTIONS=-Xmx1g ; Ramassé _JAVA_OPTIONS: -Xmx1g raise Exception("Java passerelle processus quitté avant d'envoyer le pilote de son numéro de port") Exception: Java passerelle processus quitté avant d'envoyer le pilote de son numéro de port >>> # Il n'y a que la mémoire est insuffisante pour l'Environnement d'Exécution Java pour continuer.
    "La mémoire est insuffisante pour l'Environnement d'Exécution Java pour continuer. "- Combien de mémoire vous avez sur votre machine?
    Salut AkhID, je l'ai posté en tant que séparé de réponse.

    OriginalL'auteur AkhlD

  3. 0

    Vérifier l'espace dans votre étincelle nom de dossier comme la spark 2.4, puis le retirer et faire des étincelles 2.4 vais corriger problème

    OriginalL'auteur vaquar khan