Quels sont les avantages de définir "hive.exec.parallel" à false dans Hive?
Je suis venu pour savoir que lors de la ruche.exec.parallèle est définie sur true dans la ruche je.e
set hive.exec.parallel=true;
puis en autonomie des tâches dans une requête peuvent s'exécuter en parallèle.
Grâce à Qubole pour cela:
Sont les avantages de ce paramètre à false?
Je vais effectuer une itération moi-même ici: Évidemment, chaque fois que possible, vous voulez faire les choses en parallèle et d'avoir plus de débit. Pourquoi quelqu'un voudrait-il définir ce paramètre à false - il des inconvénients?
source d'informationauteur Mayank Jaiswal | 2013-08-13
Vous devez vous connecter pour publier un commentaire.
C'est tout simplement un paramètre car quand il s'est introduit, il n'était pas clair à quelle stable, il serait, et donc vous devriez être en mesure de l'éteindre. Une fois que suffisamment de gens ont essayé et trouvé la stabilité du défaut passé à true:
https://issues.apache.org/jira/browse/HIVE-1033
Il n'est pas réaliste d'inconvénient à ce moment.
Dans mon expérience, le seul inconvénient est l'utilisation des ressources. Si vous avez des ressources limitées disponibles, il peut être préférable de détenir de requêtes exécutées en série. Lorsque les requêtes s'exécutent en parallèle, une requête peut gérer plusieurs tâches en même temps, ce qui pourrait priver le cluster de ressources. Si vous n'avez pas besoin de la vitesse et un cluster avec beaucoup de charge de travail, il pourrait être préférable en général de laisser les choses en série.
Mayank, Cette propriété a également des avantages avec quelques étoiles condition. Je veux dire que la Ruche a une fonction de verrouillage de base de données, tandis que plusieurs requêtes en cours d'exécution sur la base de données.
J'ai récemment été confronté à ce problème et l'a résolu en faisant de cette propriété "FAUX".
J'espère que cette réponse peut vous aider à comprendre dans ce scénario, nous avons à faire à de faux.