Que signifie “le Stade Sauté” dans Apache Spark INTERFACE web?
De mon Étincelle de l'INTERFACE utilisateur. Que signifie par ignorés?
OriginalL'auteur Aravind R. Yarram | 2016-01-03
Vous devez vous connecter pour publier un commentaire.
De mon Étincelle de l'INTERFACE utilisateur. Que signifie par ignorés?
OriginalL'auteur Aravind R. Yarram | 2016-01-03
Vous devez vous connecter pour publier un commentaire.
Typiquement, cela signifie que les données ont été extraites à partir du cache et il n'y a pas besoin de re-exécuter stade donné. Il est compatible avec votre DAG qui indique que la prochaine étape exige de brassage (
reduceByKey
). Chaque fois qu'il y a de brassage impliqués Étincelle place automatiquement les données générées:Si j'ai correctement, une Étincelle d'ignorer ces dire qu'ils ne se produisent pas et ils peuvent être retirés à partir du code tous ensemble? ou le code est très efficace avec le cache, afin de le laisser? @zero323
Pas de. Cela signifie que ces étapes ont été évalués avant, et le résultat est disponible sans ré-exécution.
une autre question, pouvez et de mise en cache sautant des étapes de rendre les données de sortie différent?
OriginalL'auteur zero323