Comment dois-je intégrer Jupyter portable et pyspark sur Ubuntu 12.04?
Je suis de nouveau pour Pyspark. J'ai installé "bash Anaconda2-4.0.0-Linux-x86_64.sh" sur ubuntu. Également installé pyspark. Tout fonctionne bien dans le terminal. Je veux travailler sur jupyter. Quand j'ai créé le fichier de profil dans mon ubuntu terminal comme suit:
wanderer@wanderer-VirtualBox:~$ ipython profile create pyspark
[ProfileCreate] Generating default config file: u'/home/wanderer/.ipython/profile_pyspark/ipython_config.py'
[ProfileCreate] Generating default config file: u'/home/wanderer/.ipython/profile_pyspark/ipython_kernel_config.py'
wanderer@wanderer-VirtualBox:~$ export ANACONDA_ROOT=~/anaconda2
wanderer@wanderer-VirtualBox:~$ export PYSPARK_DRIVER_PYTHON=$ANACONDA_ROOT/bin/ipython
wanderer@wanderer-VirtualBox:~$ export PYSPARK_PYTHON=$ANACONDA_ROOT/bin/python
wanderer@wanderer-VirtualBox:~$ cd spark-1.5.2-bin-hadoop2.6/
wanderer@wanderer-VirtualBox:~/spark-1.5.2-bin-hadoop2.6$ PYTHON_OPTS=”notebook” ./bin/pyspark
Python 2.7.11 |Anaconda 4.0.0 (64-bit)| (default, Dec 6 2015, 18:08:32)
Type "copyright", "credits" or "license" for more information.
IPython 4.1.2 -- An enhanced Interactive Python.
? -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help -> Python's own help system.
object? -> Details about 'object', use 'object??' for extra details.
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
16/04/24 15:27:42 INFO SparkContext: Running Spark version 1.5.2
16/04/24 15:27:43 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/04/24 15:27:53 INFO BlockManagerMasterEndpoint: Registering block manager localhost:33514 with 530.3 MB RAM, BlockManagerId(driver, localhost, 33514)
16/04/24 15:27:53 INFO BlockManagerMaster: Registered BlockManager
Welcome to
____ __
/__/__ ___ _____//__
_\ \/_ \/_ `/__/ '_/
/__ /.__/\_,_/_//_/\_\ version 1.5.2
/_/
Using Python version 2.7.11 (default, Dec 6 2015 18:08:32)
SparkContext available as sc, HiveContext available as sqlContext.
In [1]: sc
Out[1]: <pyspark.context.SparkContext at 0x7fc96cc6fd10>
In [2]: print sc.version
1.5.2
In [3]:
Ci-dessous sont les versions de jupyter et ipython
wanderer@wanderer-VirtualBox:~$ jupyter --version
4.1.0
wanderer@wanderer-VirtualBox:~$ ipython --version
4.1.2
J'ai essayé d'intégrer jupyter portable et pyspark, mais chaque chose a échoué. Je veux faire de l'exercice dans jupyter et n'ont aucune idée de comment intégrer jupyter portable et pyspark.
Quelqu'un peut-il montrer comment intégrer les composantes ci-dessus?
Cochez cette Lien jupyter et pyspark
Excellent... enfin le problème est résolu et a commencé à pratiquer sur pyspark.. Le lien donné effacé mon obstacle.!!!
Excellent... enfin le problème est résolu et a commencé à pratiquer sur pyspark.. Le lien donné effacé mon obstacle.!!!
OriginalL'auteur Wanderer | 2016-04-24
Vous devez vous connecter pour publier un commentaire.
Il suffit d'exécuter la commande:
OriginalL'auteur MKatleast3
Ajouter à pyspark les deux lignes à l'aide de nano ou vim:
OriginalL'auteur volonte volonte
MODIFIER 2017-Oct
Avec Spark 2.2 findspark cela fonctionne bien, pas besoin de ceux env vars
VIEUX
Le moyen le plus rapide que j'ai trouvé était à exécuter:
Ou équivalent pour jupyter. Cela devrait ouvrir une ipython notebook avec pyspark activé. Vous pouvez également regarder Bécher portable.
IPYTHON_OPTS="notebook" $SPARK_HOME/bin/pyspark
. iciIPYTHON_OPTS="notebook" $SPARK_HOME/bin/pyspark
semble avoir été supprimée dans Spark 2.0+OriginalL'auteur citynorman