Hadoop "Impossible de charger la bibliothèque native-hadoop pour votre plate-forme" erreur sur docker-spark?
Je suis en utilisant docker-spark. Après le démarrage de spark-shell
c'sorties:
15/05/21 04:28:22 DEBUG NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError:no hadoop in java.library.path
15/05/21 04:28:22 DEBUG NativeCodeLoader: java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
Les variables d'environnement de cette spark container
sont:
bash-4.1# export
declare -x BOOTSTRAP="/etc/bootstrap.sh"
declare -x HADOOP_COMMON_HOME="/usr/local/hadoop"
declare -x HADOOP_CONF_DIR="/usr/local/hadoop/etc/hadoop"
declare -x HADOOP_HDFS_HOME="/usr/local/hadoop"
declare -x HADOOP_MAPRED_HOME="/usr/local/hadoop"
declare -x HADOOP_PREFIX="/usr/local/hadoop"
declare -x HADOOP_YARN_HOME="/usr/local/hadoop"
declare -x HOME="/"
declare -x HOSTNAME="sandbox"
declare -x JAVA_HOME="/usr/java/default"
declare -x OLDPWD
declare -x PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/java/default/bin:/usr/local/spark/bin:/usr/local/hadoop/bin"
declare -x PWD="/"
declare -x SHLVL="3"
declare -x SPARK_HOME="/usr/local/spark"
declare -x SPARK_JAR="hdfs:///spark/spark-assembly-1.3.0-hadoop2.4.0.jar"
declare -x TERM="xterm"
declare -x YARN_CONF_DIR="/usr/local/hadoop/etc/hadoop"
Après en se référant Hadoop “Impossible de charger le natif hadoop bibliothèque pour votre plate-forme” erreur sur CentOSj'ai effectué les opérations suivantes:
(1) la Vérification de la hadoop
bibliothèque:
bash-4.1# file /usr/local/hadoop/lib/native/libhadoop.so.1.1.0
/usr/local/hadoop/lib/native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped
Oui, c'est 64-bit
bibliothèque.
(2) Essayez d'ajouter le HADOOP_OPTS
variable d'environnement:
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/native"
Ça ne fonctionne pas, et les rapports de la même erreur.
(3) Essayez d'ajouter le HADOOP_OPTS
et HADOOP_COMMON_LIB_NATIVE_DIR
variable d'environnement:
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
Cela ne fonctionne toujours pas, et les rapports de la même erreur.
Quelqu'un pourrait donner des indices sur la question?
source d'informationauteur Nan Xiao
Vous devez vous connecter pour publier un commentaire.
L'ajout de la
Hadoop
bibliothèque dansLD_LIBRARY_PATH
résoudre ce problème: