FetchFailedException ou MetadataFetchFailedException lors du traitement des big data set

En plus de la mémoire et de réseau config questions décrites ci-dessus, il est intéressant de noter que pour de grandes tables (par exemple, plusieurs to ici), org.apache.spark.shuffle.FetchFailedException peuvent survenir à cause du délai d'attente de la récupération shuffle partitions. Pour résoudre ce problème, vous pouvez définir les options suivantes:

SET spark.reducer.maxReqsInFlight=1;  -- Only pull one file at a time to use full network bandwidth.
SET spark.shuffle.io.retryWait=60s;  -- Increase the time to wait while retrieving shuffle partitions before retrying. Longer times are necessary for larger files.
SET spark.shuffle.io.maxRetries=10;

D'accord, c'est un vieux thread et il y a assez peu de réponses autour de sur Stackoverflow mais j'ai perdu une couple de jours pour cette erreur et je pense que le partage de l'histoire peut aider.

Il ya effectivement un couple de façons cela peut arriver. Comme Glennie la grande réponse mentionné, il s'agit probablement d'un problème de mémoire donc, assurez-vous que vous avez assez de mémoire pour tout. Il y a le conteneur de mémoire, je SUIS de la mémoire, de la carte-mémoire, de réduire la mémoire, etc. les configurations de regarder dehors pour. La lecture cette peut avoir beaucoup d'aide pour trouver la bonne configuration. Vous devez choisir les numéros de vous-même, mais voici quelques-unes des propriétés que j'ai mis.

yarn-site.xml

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>32768</value>
</property>

<property>
    <name>yarn.app.mapreduce.am.resource.mb</name>
    <value>4096</value>
</property>

<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>4096</value>
</property>

mapred-site.xml

<property>
    <name>mapreduce.map.memory.mb</name>
    <value>4096</value>
</property>

<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>4096</value>
</property>

Ces permet de résoudre certains autres erreurs que vous pourriez rencontrer, comme PySpark shell plantage au démarrage. Mais dans mon cas, bien que certaines erreurs ont disparu (comme le MetadataFetchFailed erreurs), le problème a persisté. L'erreur exacte était:

org.apache.spark.shuffle.FetchFailedException: impossible de se connecter à
DB-ETA-C/x.x.x.x:34085

Après avoir joué avec tous les possible de FILS d'Allumage et de la propriété de l'Étincelle délais d'attente pour le FIL shuffle service, j'ai fini par réaliser que dans les journaux d'erreur de l'échec du conteneur est à la recherche d' x.x.x.x, le local (interne) IP lors de l'exécution de netstat -tulpn | grep <PORT NUM> y renvoyée.y.y.y:34085 dans qui y de la.y.y.y est le externe adresse IP. Ce n'était pas un problème de mémoire, c'était simplement un problème de configuration réseau.

L'Étincelle de service a été de liaison à l'interface externe seulement, parce que le nom a été associé à l'adresse IP externe dans /etc/hosts. Après la mise à jour de la /etc/hosts fichier le problème a été résolu.

Bas de ligne:
L'erreur indique bien évidemment certains conteneur n'est pas en mesure d'atteindre un autre. C'est généralement en raison de l'échec des conteneurs à cause de problèmes de mémoire, mais il peut aussi bien être un problème de réseau montre donc pour ceux qui sont trop, surtout si vous avez plusieurs interfaces sur vos nœuds.