Apache Spark - Connexion refusée pour travailleur

Salut j'ai la nouvelle version d'apache spark et j'étais en train de l'apprendre

Tout en créant un nouvel opus de cluster, j'ai rencontré cette erreur.

J'ai commencé mon maître et il est actif dans le port 7077, je peux voir que dans l'interface utilisateur (port 8080)

Tout startting le serveur à l'aide de la commande

 ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.0.56:7077

Je suis à la réunion avec une connexion refusé d'erreur

14/07/22 13:18:30 ERROR EndpointWriter: AssociationError [akka.tcp://sparkWorker@node-        physical:55124] -> [akka.tcp://[email protected]:7077]: Error [Association failed     with [akka.tcp://[email protected]:7077]] [
akka.remote.EndpointAssociationException: Association failed with [akka.tcp://[email protected]:7077]
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2:     Connection refused: /192.168.0.56:7077

S'il vous plaît aidez-moi avec le message d'erreur je suis sruck ici pour un long moment.

J'espère que l'information est suffisante. S'il vous plaît aider

pouvez-vous faire telnet 192.168.0.56 7077 à partir d'un travailleur nœud et obtenir une connexion?
non, je ne peux pas faire cela en Essayant 192.168.0.56...: telnet: Unable to connect to remote host: Connexion refusée
Alors c'est un problème de réseau. Quelle est la topologie de votre réseau? Est le Maître, et les travailleurs sur le même réseau? Peuvent-ils résoudre les uns des autres par le nom d'hôte, adresse ip ou les deux?
ouais ils sont reliés par le même réseau lan ...
Quel est l'ip du travailleur nœud? Vous devriez être en mesure de telnet pour le maître à partir d'un travailleur et d'obtenir une connexion. Vérifiez vos paramètres.

OriginalL'auteur user2728024 | 2014-07-22

akka apache-spark

4

Dans mon cas, je suis allé dans /etc/hosts et :
- supprimé la ligne avec 127.0.1.1 et cela a fonctionné.
- a écrit "MASTER_IP NOM_MACHINE"
Simplement en commentant la 127.0.1.1 ligne a fonctionné parfaitement pour moi.

OriginalL'auteur tdebroc
3

Essayer "./sbin/start-master-h ". Il fonctionne, quand je spécifier le nom d'hôte, adresse IP.

Fonctionne dans mon cas.

OriginalL'auteur user2395069
1

Vérifier si votre pare-feu est désactivé car il bloque peut-être le travailleur connexion en désactivant le pare-feu temporairement:
```
$ sudo service iptables stop
```
ou de façon permanente:
```
$ sudo chkconfig iptables off
```
OriginalL'auteur Jorge Luis
1

il semble que l'étincelle est très pointilleux sur IP et les noms de machine. ainsi, lors du démarrage de votre maître, il va utiliser le nom de votre ordinateur pour enregistrer étincelle maître. si ce nom n'est pas accessible à partir de vos travailleurs, il sera presque impossible à atteindre.

un moyen de le résoudre, est de commencer votre maître comme ceci:
```
SPARK_MASTER_IP=YOUR_SPARK_MASTER_IP ${SPARK_HOME}/sbin/start-master.sh
```
ensuite, vous serez en mesure de connecter vos esclaves comme ce

${SPARK_HOME}/sbin/start-slave.sh spark://YOUR_SPARK_MASTER_IP:PORT

j'espère que cela aide!

OriginalL'auteur dsncode
1

Changer le SPARK_MASTER_HOST=< ip> dans le spark-env.sh du nœud maître.

Puis redémarrez le maître, si vous grep le processus que vous verrez des changements à partir de

java -cp /spark/conf/:/spark/jars/* -Xmx1g org.apache.spark.déployer.maître.Master-host < NOM d'HÔTE> --port 7077 --webui-port 8080

à

java -cp /spark/conf/:/spark/jars/* -Xmx1g org.apache.spark.déployer.maître.Master-host < IP de l'HÔTE> --port 7077 --webui-port 8080

OriginalL'auteur Hohenheimsenberg
0

avez-vous d'ajouter les entrées du maître et de l'ouvrier nœuds etc/hosts, si ce n'est ajouter toutes les machines ip et nom d'hôte mappages dans toutes les machines.

OriginalL'auteur napster

Vous devez vous connecter pour publier un commentaire.