Comment faire pour exécuter un script dans PySpark

Je suis en train d'exécuter un script dans le pyspark environnement, mais jusqu'à présent, je n'ai pas pu. Comment puis-je exécuter un script comme python script.py mais dans pyspark? Grâce

InformationsquelleAutor Daniel Rodríguez | 2016-10-13
  1. 27

    Que vous pouvez faire: ./bin/spark-submit mypythonfile.py

    Lancer python applications par le biais de pyspark n'est pas pris en charge comme de Spark 2.0.

    • Merci pour la réponse, pouvez-vous me dire comment le faire dans Windows?
    • Doit être le même. L'étincelle dossier que vous avez téléchargé devrait avoir un spark-submit fichier
    • Il me dit que " sc " n'est pas défini, et quand je lance étincelle soumettre après l'ouverture de pyspark il déclenche une erreur de syntaxe non valide
    • Il sonne comme vous ne l'avez pas initialisé un 'sc' variable avec SparkContext(). Jetez un oeil à cette page, si vous ne l'avez pas déjà fait spark.apache.org/docs/0.9.0/python-programming-guide.html. Il est difficile de dire ce que vous pourriez faire de mal sans voir votre code.
    InformationsquelleAutor Ulas Keles
  2. 16

    pyspark 2.0 et plus tard exécuter le fichier de script dans la variable d'environnement PYTHONSTARTUP, de sorte que vous pouvez exécuter:

    PYTHONSTARTUP=code.py pyspark

    Par rapport à spark-submit répondre à cette question est utile pour l'exécution de code d'initialisation de l'avant à l'aide de l'interactif pyspark shell.

    • je ne comprends pas les instructions sur la marche à suivre ici. comment dois-je faire vos instructions?
    • Fonctionne comme un charme. @Dr DOOM il suffit de taper dans votre shell
    • belle technique, qui fonctionne pour moi, merci!
    InformationsquelleAutor Jussi Kujala
  3. 10

    Juste spark-submit mypythonfile.py devrait être suffisant.

    • de travail dans spark 2.2, merci
    • de travail dans spark 2.4.2, merci!
    InformationsquelleAutor Selva