La Technique ou de l'utilitaire pour minimiser Java “warm-up” de temps?

Je suis supportant Java application de messagerie requiert une latence faible (< 300 microsecondes traitement de chaque message). Cependant, notre profilage montre que le Soleil de la Machine Virtuelle Java s'exécute lentement au début, et accélère après la première 5000 messages ou plus. Les 5 000 premiers messages ont des temps de latence de 1 à 4 millisecondes. Après environ 5000 premiers, les messages suivants ont ~250 microsecondes de latence, avec parfois des valeurs aberrantes.

Il est généralement entendu que c'est un comportement typique d'une application Java. Cependant, à partir d'un point de vue commercial, il n'est pas acceptable de dire au client qu'ils doivent attendre pour la JVM de "réchauffer" avant de voir la performance de ils exigent. La demande doit être "chaud" avant le premier client message est traité

La JVM de Sun 1.6.0 mise à jour 4.

Des idées pour résoudre ce problème:

  1. JVM paramètres, tels que:- XX:CompileThreshold=
  2. Ajouter un composant de "réchauffer" l'application au démarrage, par exemple par l'envoi de faux messages" par le biais de l'application.
  3. Charge statique de l'application et les classes du JDK lors du démarrage de l'application, de sorte que les classes ne sont pas chargés de Pots lors du traitement des messages client.
  4. Une certaine utilité ou Java agent qui accomplit une ou l'autre de ces deux idées, de sorte que je n'ai pas ré-inventer la roue.

REMARQUE: Évidemment, pour cette solution, je suis à la recherche de tous les facteurs, y compris la puce arc, type de disque et de la configuration et des paramètres du système d'exploitation. Cependant, pour cette question, je veux me concentrer sur ce qui peut être fait pour optimiser l'application Java et de minimiser les temps "d'échauffement".

  • Je pense que vous feriez mieux de regarder la cause sous-jacente de ce délai initial. Des outils de profilage pourrait aider.
  • Envoyer 5000 faux messages sur le serveur en tant que partie de l'installation et de la procédure de démarrage.
  • 5000 faux messages (même si c'était une bonne idée) sonne comme il serait ajouter 5 à 20 secondes pour le temps de démarrage de l'application.
  • J'aime l'idée de 3, si c'est ce qui est vraiment la cause de la latence.
  • Pouvez-vous expliquer les caractéristiques de cette applicatioon? - est-il prévu que l'application de processus de plus de ~5000 messages à chaque fois qu'il démarre? Ou ne l'app besoin pour démarrer et arrêter souvent?
  • Avez-vous essayé avec une autre JVM à la JRE de Sun? J'ai vu 20 à 30% de la vitesse-ups avec un plus rapide temps de préchauffage à l'aide de BEA JRockit sur les machines Windows.
  • Aussi, pouvez-vous dresser une liste de toutes les options de la JVM vous utilisez aujourd'hui? J'aime l'idée d'un l'aide d'un Profileur, mais je soupçonne que les résultats qu'il donne peut vous aider à optimiser les caractéristiques de performance du code que vous écrivez, mais pas tellement pour optimiser les effets de point d'accès ou de potentiel de classloading warm-up.
  • Pour ceux qui éprouvent ce post via les moteurs de recherche, l'application de warm-up est répertorié comme une technique dans le très bon livre blanc sur la haute performance Java: cinnober.com/news/benefits-using-java-highperformance-language
  • Précédent URL 404. Nouvelle URL : cinnober.com/white-papers/...

InformationsquelleAutor noahlz | 2009-09-26
  1. 31

    "Warm-up" en Java est généralement environ deux choses:

    (1): Plateau de chargement de classe: Ce peut être contourner par la force à se charger.

    Le moyen facile de le faire est d'envoyer un faux message. Vous devez être sûr que le faux message de déclencher tous les accès aux classes. Par exemple, si vous envoyez un message vide, mais votre progrom va vérifier si le message est vide et éviter de faire certaines choses, alors cela ne fonctionnera pas.

    Une autre façon de le faire est de forcer l'initialisation de classe en accédant à la classe lorsque vous programme démarre.

    (2): L'optimisation en temps réel: Au moment de l'exécution, la machine virtuelle Java permettra d'optimiser certaines parties du code. C'est la principale raison pour laquelle il y a un temps de préchauffage à tous.

    Pour faciliter cela, vous pouvez envoyé des tas de faux (mais regardez réel) des messages, de sorte que l'optimisation ne peut se terminer avant votre utilisateur de l'utiliser.

    Un autre que vous peut aider à soulager c'est de soutenir inline comme l'utilisation privée et final, comme beaucoup que vous le pouvez. la raison en est que, la machine virtuelle n'a pas besoin de regarder pour l'héritage de la table pour voir quelle méthode pour être effectivement appelé.

    Espère que cette aide.

    InformationsquelleAutor NawaMan
  2. 15

    Votre problème n'est pas de chargement de classe, mais "juste à temps" de la compilation.

    Essayer -XX:CompileThreshold=1

    Qui va les obliger à Java de tout compiler la première fois qu'il l'exécute. Il va ralentir le démarrage de votre code un peu, mais pas de VM code (car qui sera compilé lorsque Java est installé). Il y a un bug ouvert pour permettre à Java compiler personnalisé Pots de la même manière et enregistrer la suite pour plus tard exécutions, qui permettrait de réduire considérablement ces coûts, mais il n'y a pas de pression pour corriger ce bug, n'importe quand bientôt.

    Une deuxième option serait d'envoyer 5'000 faux messages de l'application pour "réchauffer". De vendre ce que "assurer que tout est correctement configuré".

    [MODIFIER] Quelques informations de fond dans la précompilation des classes: Classe De Partage De Données

    Vous pouvez essayer d'IBM version de Java depuis ici, vous pouvez ajouter des classes à la piscine partagée: Présentation de la classe de partage de données

    [EDIT2] Pour répondre aux préoccupations soulevées par kittylyst: Il est vrai que ce sera rapidement remplir votre cache de code avec des méthodes qui sont utilisées qu'une seule fois. Et il pourrait même faire votre ensemble de l'application plus lente.

    Si vous définissez ce paramètre sur une valeur faible, le temps de démarrage de votre application peut devenir horriblement lent. C'est parce que le JIT optimisation + exécutant le code compilé est plus cher que l'exécution du code, une fois en mode interprété.

    Le principal problème ici est que le code est toujours compilé "juste à temps". Tant que vous ne pouvez pas exécuter de chaque méthode que vous avez besoin au moins une fois, l'application "hoquet" de quelques millisecondes à chaque fois qu'il rencontre quelque chose qui n'a pas été compilé avant.

    Mais si vous avez la RAM, votre application est de petite taille ou vous pouvez augmenter la taille du cache de code et vous n'avez pas l'esprit de l'heure de démarrage lent, vous pouvez donner à ceci un essai. Généralement, le paramètre par défaut est assez bonne.

    • Suggestion: Modifier pour ajouter un lien vers un réel rapport de bogue.
    • Où est-ce un bug? J'ai eu cette discussion avec un Soleil compilateur gars et il m'a convaincu, ce serait "très difficile" et beaucoup plus compliqué que de prime abord, semble indiquer.
    • J'étais sûr que j'ai ouvert un bug, mais j'ai peut-être parlé avec un dev Java. De toute façon, j'ai ajouté quelques liens qui pourraient aider à comprendre le problème et de le résoudre.
    • Le contrôle de retour sur cette question mois plus tard... je suis désolé d'annoncer que CompileThreshold n'améliore PAS les performances et peut effectivement nuire à la performance. La raison en est que le HotSpot compilateur n'ont pas la chance de faire d'analyse de l'exécution et d'optimiser le code de manière efficace.
    • Je pense que la raison est plus que de la compilation prend du temps (surtout de l'optimisation), qui est pourquoi il est plus rapide d'interpréter le code de la première et de compilation uniquement quand il est utilisé à plusieurs reprises. Si le Soleil VM permettrait de sauver la compilation résultat, elle permettrait d'accélérer le processus beaucoup.
    • Par ailleurs, c'est terrible de conseils, et j'ai peur de bons de souscription d'un downvote. Le CompileThreshold devraient être laissés seuls dans presque toutes les circonstances. Ce que vous avez proposé ici serait gravement nuire à la performance de l'application, car il consomme de l'ensemble de la cache de code très rapidement et de le remplir avec de l'aléatoire des méthodes qui peuvent ou peuvent ne pas être chaud. Ne PAS le faire.
    • Si j'ai assez de RAM et j'augmente le code de la taille du cache, qu'est-ce que le mal? En plus de perdre une partie ou même beaucoup de RAM.
    • Le problème est que l'OP n'est manifestement pas comprendre même les bases de la compilation JIT, sinon il ne serait pas à poser des questions sur "pourquoi faut-il accélérer après 5000 itérations". Je suis sûr que vous savoir sur le cache de code et on peut faire confiance à l'accorder correctement, et à prendre des décisions au sujet de sacrifier les informations de profilage et de l'augmentation de la pression sur la compilation fil. Cependant, je maintiens que c'est "loaded gun" conseils à la main pour un novice.
    • Les gens seulement d'améliorer lorsqu'ils sont autorisés à faire des erreurs.
    • +1 - le drapeau a beaucoup aidé, je ne savais pas qu'il existait. La raison pourquoi c'est utile, c'est parce que OSR compilation JIT et direct compilation JIT ne produisent pas toujours les mêmes résultats - OSR peut produire plus lente code.
    • Cette option est ignorée lorsque les niveaux de compilation est activé. Ref: docs.oracle.com/javase/8/docs/technotes/tools/unix/java.html

    InformationsquelleAutor Aaron Digulla
  3. 6

    Il suffit d'exécuter un tas de non-op des messages via le système avant d'être ouvert pour une véritable clientèle. 10k messages est le numéro habituel.

    Financière des applications (par exemple, CORRECTION), ce qui est souvent fait par l'envoi de commandes (à un prix loin de la nuit dernière près, juste au cas où) pour le marché avant qu'il s'ouvre. Ils vont tous être rejetée, mais qui n'a pas d'importance.

    Si le protocole que vous utilisez est homebrew, alors la prochaine fois que vous mettez à niveau les bibliothèques pour cela, ajouter la prise en charge explicite d'un "warm-up" ou "TEST" ou "SANITYCHECK" type de message.

    Bien sûr, ce ne sera probablement pas de la compilation de votre application à la logique des voies spécifiques, mais dans un décent application de messagerie, la partie traitant du trafic réseau sera presque certainement être la partie dominante de la pile, de sorte que n'a pas d'importance.

    • Oui, c'est la démarche que nous avons pris. Mais, nous n'avons pas de spam, pas le Marché. Nous avons créé de faux connexions de "bouclage".
    • Il est important que votre code touche le réel de l'application à chaud de chemins ou de ne pas la réchauffer. Quelqu'un peut me corriger si je me trompe 🙂 Mais vous avez raison sur le réchauffement de la pile réseau - c'est une énorme partie.
    • Répondre en grande partie pour @jocull - c'est vraiment un vieux thread et de l'OMI montre le déclin de l'utilité de la SORTE tant que développeur de ressources au fil du temps. Le monde a évolué sur une énorme quantité dans les 9 dernières années, et des questions comme cela devrait vraiment être archivés ou supprimés.
    • J'aimerais plus de détails sur la façon dont les choses ont changé, si vous en avez! Même juste starter liens à faire 🙂
    • Cela pourrait faire un bon article merci pour l'idée. Il y a un certain nombre d'informations dans mon livre "l'Optimisation de Java" (O'Reilly) et dans mon Oracle Java des articles de magazine, mais il n'est pas spécifiquement organisé autour de la façon dont les choses ont changé.
    InformationsquelleAutor kittylyst
  4. 3

    Êtes-vous en utilisant le client ou le serveur de la JVM? Essayez de démarrer votre programme avec:

    java -server com.mycompany.MyProgram

    Lors de l'exécution du Soleil JVM dans ce mode, le JIT compiler le bytecode en code natif plus tôt; à cause de cela, le programme va prendre plus de temps à démarrer, mais il sera exécuté plus rapidement après que.

    Référence: Questions fréquemment Posées Sur le Java HotSpot VM

    Citation:

    Quelle est la différence entre le client et les systèmes de serveur?

    Ces deux systèmes sont différents fichiers binaires. Ils sont essentiellement de deux différents compilateurs (Emr)l'interfaçage avec le même système d'exécution. Le système client est optimal pour des applications qui nécessitent des temps de démarrage rapides ou de petites empreintes de pas, le serveur est optimal pour des applications où la performance globale est plus importante. En général le système est mieux adapté pour les applications interactives telles que des Interfaces utilisateur graphiques. Certains des autres différences comprennent la compilation de la politique de,segment par défaut, et un alignement de la politique.

    • Il est en cours d'exécution en mode serveur par défaut, car il est en cours d'exécution sur un serveur "classe" de la machine (mémoire de 16 GO, 8 cœurs)
    • Ok, vous n'avez pas dit que dans votre question ci-dessus.
    • le serveur et le client en mode deux n'compilation JIT. La différence est dans le nombre de l'effectif de la méthode des appels (3000 pour le client et 10000 pour le mode serveur). Aussi, avec une JVM 64 bits, le mode de serveur est utilisé comme valeur par défaut.
    • Il y a une autre différence, je crois - client VM va utiliser la C1 compilateur qui compile les plus rapides, mais optimise moins. Cela peut conduire à de mauvaises performances dans les applications serveur par rapport à un serveur VMs qui va utiliser le C2 compilateur. Dans les gradins mode de compilation nous utilisons à la fois la C1 et C2, de sorte que les lignes se brouillent. Mais, vous remarquerez que les niveaux de mode n'est pas disponible dans le client de machines virtuelles.
    InformationsquelleAutor Jesper
  5. 3

    Si en cours d'exécution dans la zone serveur de mode contemporain de matériel (avec 2 ou plus de cœurs par PROCESSEUR) et avec la dernière version de JDK puis option suivante peut être utilisée pour l'accélération du réchauffement:

    -serveur -XX:+TieredCompilation
    InformationsquelleAutor Andriy Plokhotnyuk
  6. 2

    Vieux thread, je sais, mais j'ai trouvé cela sur internet:

    Très intéressant, c'est l'influence de l'option-XX:CompileThreshold=1500 SUN JVM HotSpot. La valeur par défaut est de 10 000 pour le Serveur de VM et 1500 pour le Client VM. Pour autant il à 1500 pour le Serveur VM le rend plus rapide que Client VM. Un réglage à 100 actuellement diminue le rendement. Et l'utilisation de l'option-Xcomp (ce qui signifie que tout le code est compilé avant utilisation) donne même une baisse de rendement, ce qui est surprenant.

    Maintenant vous savez quoi faire.

    • Je crois que le rendement est inférieur aux précédentes compilation parce que les statistiques sur il code n'ont pas ou ne peuvent pas être réunis. De sorte qu'ils sont beaucoup moins optimisé.
    InformationsquelleAutor mark
  7. -4

    Semble que votre projet puisse bénéficier en temps réel des garanties:

    Voir: Temps Réel Java

    • Non, absolument pas. "Temps réel" est au sujet de la cohérence de la réponse, pas de valeur absolue. Temps réel Java s'exécute généralement beaucoup plus lent que Java ordinaire, mais avec une réduction de la variance dans le profil de performance. Ce n'est généralement pas adapté pour de faibles temps de latence des applications.
    InformationsquelleAutor