Comment faire pour démarrer une Étincelle Shell à l'aide de pyspark dans Windows?

Je suis un débutant dans Spark et à essayer de suivre les instructions à partir de là, comment initialiser Étincelle shell Python en utilisant cmd: http://spark.apache.org/docs/latest/quick-start.html

Mais quand je lance cmd suivantes:

C:\Users\Alex\Desktop\spark-1.4.1-bin-hadoop2.4\>c:\Python27\python bin\pyspark

puis je recevoir le message d'erreur suivant:

File "bin\pyspark", line 21 
export SPARK_HOME="$(cd ="$(cd "`dirname "$0"`"/..; pwd)" 
SyntaxError: invalid syntax

Ce que je fais mal ici?

P. S. Quand cmd j'essaie juste C:\Users\Alex\Desktop\spark-1.4.1-bin-hadoop2.4>bin\pyspark

puis-je recevoir ""python" is not recognized as internal or external command, operable program or batch file".

InformationsquelleAutor Alex | 2015-07-28
  1. 2

    Vous avez besoin d'avoir Python disponible dans le chemin d'accès au système, vous pouvez l'ajouter avec setx:

    setx path "%path%;C:\Python27"
    • Merci!!!! Qui fonctionne très bien!
    InformationsquelleAutor maxymoo
  2. 1

    Je suis assez nouvelle Étincelle de l'utilisateur (à compter d'aujourd'hui, vraiment). Je suis à l'aide de l'étincelle 1.6.0 sur Windows 10 et 7 machines. Le suivant a fonctionné pour moi:

    import os

import sys

spark_home = os.environ.get('SPARK_HOME', None)

if not spark_home:

raise ValueError('SPARK_HOME environment variable is not set')

sys.path.insert(0, os.path.join(spark_home, 'python'))

sys.path.insert(0, os.path.join(spark_home, 'C:/spark-1.6.0-bin-hadoop2.6/python/lib/py4j-0.9-src.zip'))

execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))

    À l'aide du code ci-dessus, j'ai été en mesure de lancer Étincelle dans un IPython notebook et mon Enthought Verrière Python IDE. Avant, cela, je n'ai pu lancer pyspark grâce à une invite de cmd. Le code ci-dessus ne fonctionnera que si vous avez vos Variables d'Environnement définies correctement pour Python et Spark (pyspark).

    InformationsquelleAutor Jon
  3. 0

    Avec la référence et de l'aide de l'utilisateur "maxymoo" j'ai été en mesure de trouver un moyen de définir un chemin PERMANENT est Windows 7 aussi. Les instructions sont ici:

    http://geekswithblogs.net/renso/archive/2009/10/21/how-to-set-the-windows-path-in-windows-7.aspx

    InformationsquelleAutor Alex
  4. 0

    - Je exécuter ces ensemble de paramètres de chemin chaque fois que je commence pyspark dans ipython:

    import os
import sys
# Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.0.3" "sparkr-shell"') for R
### MANNN restart spart using ipython notebook --profile=pyspark --packages com.databricks:spark-csv_2.10:1.0.3  
os.environ['SPARK_HOME']="G:/Spark/spark-1.5.1-bin-hadoop2.6"

sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/bin") 
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python") 
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/pyspark/") 
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/pyspark/sql")
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/pyspark/mllib")
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/lib") 
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/lib/pyspark.zip")
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/lib/py4j-0.8.2.1-src.zip") 
sys.path.append("G:/Spark/spark-1.5.1-bin-hadoop2.6/python/lib/pyspark.zip")

from pyspark import SparkContext 
from pyspark import SparkConf
from pyspark import SQLContext 

##sc.stop() # IF you wish to stop the context
sc = SparkContext("local", "Simple App")
    InformationsquelleAutor KarthikS
  5. 0

    Simplement définir le chemin d'accès dans Système -> Variables d'Environnement -> Chemin

    • R Chemin dans mon système C:\Program Files\R\R-3.2.3\bin
    • Python Chemin dans mon système c:\python27
    • Étincelle Chemin dans mon système c:\spark-2

    Le chemin d'accès doit être séparé par un ";" et il doit y avoir aucun espace entre les chemins

    InformationsquelleAutor Zeeshan Anwar