Spark Tuer Application En Cours D'Exécution

J'ai une course d'application Spark où il occupe tous les cœurs, où mes autres applications ne sont pas alloué de ressources.

J'ai fait quelques recherches rapides et les gens ont suggéré d'utiliser du FIL de tuer ou /bin/spark-classe de tuer la commande. Cependant, je suis en utilisant le CDH version et /bin/spark-catégorie n'existe même pas du tout, les FILS de tuer l'application ne fonctionne pas non plus.

Spark Tuer Application En Cours D'Exécution

Quelqu'un peut-il avec moi?

  • si vous êtes dans un essai env : ps aux | grep spark -> obtenir le pid de l'étincelle et de le tuer en ligne de commande
  • env", pour moi, le travail est déjà distribués.
  • vous voulez tuer un emploi dans la production????
  • Ouais... un emploi dans la production d'suis bloqué en raison de la défaillance de l'un d'hôte.
InformationsquelleAutor B.Mr.W. | 2015-04-10
  1. 160
    • copie passé l'Id de l'application de l'étincelle planificateur, par exemple application_1428487296152_25597
    • se connecter au serveur qui ont lancer le travail
    • yarn application -kill application_1428487296152_25597
    InformationsquelleAutor Gérald Reinhart
  3. 0

    Il peut prendre beaucoup de temps pour obtenir tous les Id d'application à partir de FILS et de les tuer un par un. Vous pouvez utiliser un Bash pour la boucle pour accomplir cette tâche répétitive rapidement et plus efficacement, comme indiqué ci-dessous:

    Tuer toutes les applications sur le FILS qui sont ACCEPTÉES état:

    for x in $(yarn application -list -appStates ACCEPTED | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

    Tuer toutes les applications sur le FILS qui sont en cours d'EXÉCUTION:

    for x in $(yarn application -list -appStates RUNNING | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

    InformationsquelleAutor Anil Kumar K B