Spark Impossible de charger la bibliothèque native-hadoop pour votre plate-forme
Je suis un mannequin sur Ubuntu 16.04, tente désespérément de faire de l'Étincelle de travail.
J'ai essayé de résoudre mon problème en utilisant les réponses trouvées ici sur stackoverflow mais je ne pouvais pas résoudre quoi que ce soit.
Le lancement de l'étincelle avec la commande ./spark-shell
de dossier bin je reçois ce message d'
WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable".
Je suis en utilisant la version Java est
java version "1.8.0_101
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode).
Spark est la dernière version: 2.0.1 avec Hadoop 2. 7.
Aussi, je l'ai retenté avec un vieux paquet de Spark, la 1.6.2 avec Hadoop 2.4 mais j'obtiens le même résultat. J'ai aussi essayé d'installer Étincelle sur Windows, mais il semble plus difficile que de le faire sur Ubuntu.
J'ai aussi essayé de lancer quelques commandes sur la Spark à partir de mon portable: je peux définir un objet, je peux créer un RDD et de le stocker dans le cache et je peux utiliser la fonction comme .map()
mais lorsque j'essaie d'exécuter la fonction .reduceByKey()
- je recevoir plusieurs chaînes de messages d'erreur.
Peut-être est-ce la Hadoop bibliothèque qui est compilé pour 32bits, alors que je suis sur 64 bits?
Grâce.
source d'informationauteur cane_mastino
Vous devez vous connecter pour publier un commentaire.
Étapes pour résoudre:
HADOOP_HOME
pour pointer vers ce répertoire.$HADOOP_HOME/lib/native
àLD_LIBRARY_PATH
.(vous pouvez en choisir une autre version hadoop si vous le souhaitez et modifier les prochaines étapes en conséquence)
tar-zxvf hadoop_file_name
Source: Installer PySpark sur ubuntu