Comment limiter le nombre de tentatives sur la Spark échec de la tâche?

Nous proposons une Étincelle d'emploi via spark-submit, et je peux voir que le travail sera de nouveau soumis dans le cas de l'échec.

Comment puis-je arrêter d'avoir tentative #2 dans le cas de fils de rupture du conteneur ou que ce soit l'exception?

Comment limiter le nombre de tentatives sur la Spark échec de la tâche?

Nice! J'ai rêvé du cas d'utilisation où j'ai pu voir l'application tente d'augmenter. Savez-vous quelle est la cause de ce qui s'est passé?
J'ai eu ce qui s'est passé lorsque le conteneur échec d'allocation en raison d'un manque de mémoire et de "GC généraux limite dépassée".

OriginalL'auteur codingtwinky | 2016-08-01

  1. 20

    Il y a deux paramètres qui contrôlent le nombre de tentatives (c'est à dire le nombre maximum de ApplicationMaster les tentatives d'enregistrement avec des FILS est considéré comme échoué et, partant, l'ensemble de l'Étincelle de l'application):

    • spark.yarn.maxAppAttempts - Étincelle du milieu. Voir MAX_APP_ATTEMPTS:

      private[spark] val MAX_APP_ATTEMPTS = ConfigBuilder("spark.yarn.maxAppAttempts")
  .doc("Maximum number of AM attempts before failing the app.")
  .intConf
  .createOptional

    • yarn.resourcemanager.am.max-attempts - FILS de son propre réglage avec valeur par défaut est 2.

    (Comme vous pouvez le voir dans YarnRMClient.getMaxRegAttempts) le nombre réel est le minimum de la configuration des paramètres de FILS d'Allumage et de FILS à tricoter est être le dernier recours.

    OriginalL'auteur Jacek Laskowski

  2. 6

    Une API/langage de programmation indépendant solution serait de définir le fils de max tentatives comme un argument de ligne de commande:

    spark-submit --conf spark.yarn.maxAppAttempts=1 <application_name>

    Voir @code " s réponse

    OriginalL'auteur RNHTTR

  3. 2

    Ajouter la propriété yarn.resourcemanager.am.max-attempts à votre yarn-default.xml fichier. Il spécifie le nombre maximal d'application tente.

    Pour plus de détails, regardez dans cette lien

    OriginalL'auteur Hamza Zafar