De la valeur pour HADOOP_CONF_DIR de Cluster

J'ai la configuration d'un cluster(FIL) à l'aide de Ambari avec 3 VMs en tant qu'hôtes.

Où je peux trouver la valeur de HADOOP_CONF_DIR ?

# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn-cluster \  # can also be `yarn-client` for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000
Je ne sais pas beaucoup au sujet de l'Étincelle. Mais, ne pouvez-vous pas trouver le HADOOP_CONF_DIR de la HADOOP_HOME? Généralement HADOOP_CONF_DIR est "$HADOOP_HOME\etc\hadoop"

OriginalL'auteur nish1013 | 2015-12-17

  1. 7

    Installer Hadoop. Dans mon cas, je l'ai installé dans le répertoire /usr/local/hadoop

    De Configuration De L'Environnement Hadoop Variables 

    export HADOOP_INSTALL=/usr/local/hadoop

    Puis définissez le répertoire conf

    export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop

    OriginalL'auteur Saurabh

  2. 1

    De /etc/spark/conf/spark-env.sh:

    export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/etc/hadoop/conf}
    Je vous remercie. Dans mon cas, l'Étincelle est en cours d'exécution dans un cluster. Et son modèle, je peux voir à l'exportation HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-{{hadoop_conf_dir}}}

    OriginalL'auteur Atul Soman