L'installation d'Apache Spark sur Ubuntu 14.04
Au début, j'ai une machine virtuelle à laquelle j'ai accès via ubuntu, et cette VM est aussi Ubuntu 14.04. J'ai besoin d'installer Apache Spark dès que possible, mais je ne peux pas trouver quelque chose qui peut m'aider ou me donner des références où c'est mieux expliqué.
J'ai essayé une fois de l'installer sur ma machine locale Ubuntu 14.04, mais il a échoué , mais le truc c'est que je ne veux pas l'installer sur un cluster.
Toute aide, s'il vous plaît???
Manière la plus simple est de télécharger leurs pré-construit des versions, décompressez-le et vous êtes prêt à aller.
Ce qui signifie qu'au premier abord, je vais avoir à installer Hadoop afin de procéder à une installation Étincelle pour certains pré-construit Hadoop version??
Et avez-vous une idée de comment je peux l'installer? Parce que je travaille dans ma Machine Virtuelle
Non, vous n'avez pas besoin d'Hadoop. Vous venez juste d'obtenir leur pré version construite et suivez les instructions. Si vous êtes à l'aide de python, je peux vous donner un processus étape par étape, pour l'apprentissage. Pour la prod de déploiement, vous feriez mieux de suivre les instructions de déploiement sur la Spark site.
Ce qui signifie qu'au premier abord, je vais avoir à installer Hadoop afin de procéder à une installation Étincelle pour certains pré-construit Hadoop version??
Et avez-vous une idée de comment je peux l'installer? Parce que je travaille dans ma Machine Virtuelle
Non, vous n'avez pas besoin d'Hadoop. Vous venez juste d'obtenir leur pré version construite et suivez les instructions. Si vous êtes à l'aide de python, je peux vous donner un processus étape par étape, pour l'apprentissage. Pour la prod de déploiement, vous feriez mieux de suivre les instructions de déploiement sur la Spark site.
OriginalL'auteur JPerk | 2015-05-27
Vous devez vous connecter pour publier un commentaire.
Vous pouvez installer et commencer à utiliser étincelle dans trois étapes faciles:
Naviguer vers le dossier téléchargé à partir de terminal et exécutez la commande suivante:
Naviguer vers le dossier extrait et exécutez la commande suivante:
Vous êtes maintenant prêt à jouer avec spark.
vérifier ceci..
Il y a une erreur sur ubuntu. Ce peut être en raison de ubuntu est intéressant de l'environnement java. ubuntu@ip-172-31-60-32:~/Téléchargements/spark-1.4.1$ ./bin/pyspark JAVA_HOME n'est pas définie
vous devez définir votre JAVA_HOME pour ce.. vous pouvez suivre ce lien
choisissez la dernière étincelle de la version.. et si vous ne voulez pas construire étincelle explicitement, vous pouvez choisir de télécharger les prédéfinis version de spark avec hadoop (ne nécessite pas l'installation d'hadoop)
OriginalL'auteur karthik manchala
Le processus à suivre est essentiellement ceci:
Assurez-vous que vous disposez de la version 7 ou 8 du Kit de Développement Java installé
Dans la prochaine étape, installer Scala.
Puis ajoutez ce qui suit à la fin de la
~/.bashrc
fichierredémarrer bashrc.
Dans la prochaine étape, installation de git. Spark construire dépend git.
Enfin télécharger l'étincelle de la distribution de ici
Bâtiment
SBT(Simple Outil de construction) est utilisé pour la construction de l'Étincelle, qui est livré avec. Pour compiler le code
Bâtiment prendre un certain temps.
Consultez cet article de blog, ici vous trouverez de plus amples étapes pour installer Apache Spark sur Ubuntu 14.04
J'obtiens l'Erreur: Invalides ou corrompus jarfiles build/sbt-launch-0.13.7.jar
OriginalL'auteur prabeesh
Ce post explique les étapes détaillées pour configurer Apache Spark-2.0 dans Ubuntu/Linux de la machine. Pour l'exécution de l'Étincelle dans Ubuntu machine doit avoir Java et Scala installé. L'étincelle peut être installé avec ou sans Hadoop, ici, dans ce post nous allons traiter uniquement avec l'installation de Spark 2.0 Autonome. L'installation de l'Étincelle-2.0 sur Hadoop est expliqué dans un autre post. Nous allons également faire comment installer Jupyter cahiers pour l'exécution d'Étincelle applications à l'aide de Python avec pyspark module.
Donc, nous allons commencer par la vérification et l'installation de java et scala.
Ces commandes doivent imprimer les versions si scala et java est déjà installé d'autre, vous pouvez aller pour l'installation de ces en utilisant les commandes suivantes.
Vous pouvez encore vérifier en utilisant la version de commandes si java et scala est installé correctement, ce qui va à l'affichage
Scala code runner version 2.10.4 -- Copyright 2002-2013, LAMPE/EPFL et pour java il doit afficher
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b14, en mode mixte)
Et mise à jour de la .bashrc fichier en ajoutant ces lignes à la fin.
Et redémarrez bashrc par l'utilisation de cette commande
L'Installation D'Étincelle
Tout d'abord Télécharger Étincelle de https://spark.apache.org/downloads.html à l'aide de ces options
Spark Realease : 2.0.0
Type d'emballage: pré-monté avec Hadoop de 2,7 et de téléchargement Direct.
Maintenant, a obtenu à $HOME/Téléchargements et utiliser la commande suivante pour extraire l'étincelle de goudron de fichier et le déplacer à l'emplacement donné.
Ajouter la ligne suivante dans ~/.bashrc fichier. Cela signifie l'ajout de l'emplacement, où l'étincelle fichier du logiciel sont situés à la variable PATH.
Nouveau redémarrage de l'environnement .bashrc par l'utilisation de ces commandes
source ~/.bashrc
ouMaintenant, vous pouvez commencer à spark-shell à l'aide de ces commandes
OriginalL'auteur Abir J.
Vous pouvez commencer par aller à http://spark.apache.org/downloads.html pour télécharger Apache Spark. Si vous ne disposez pas d'un cluster Hadoop/de l'installation, vous devez exécuter contre vous pouvez sélectionner l'une des options. Cela vous donnera une .tgz fichier vous pouvez extraire avec
tar -xvf [filename]
. À partir de là, vous pouvez lancer l'étincelle shell et commencer en mode local. Il n'y a plus d'informations dans le guide de démarrage à http://spark.apache.org/docs/latest/ .OriginalL'auteur Holden
J'ai fait le travail par la création d'un projet Maven et puis inséré la dépendance de la bougie dans le pom.xml fichier. C'était à quel point elle a travaillé pour moi, parce que j'ai eu à programmer avec Java et pas de la Scala.
OriginalL'auteur JPerk