Comment surveiller Linux UDP tampon de l'espace disponible?

J'ai une application java sur linux qui s'ouvre socket UDP et attend messages.

Après quelques heures, sous une lourde charge, il y a une perte de paquets, c'est à dire que les paquets sont reçus par le noyau, mais pas par mon application (nous voyons les paquets perdus en sniffer, nous voyons des paquets UDP perdu dans netstat, on ne voit pas ces paquets dans notre application de journaux).

Nous avons essayé de l'élargissement de prise tampons mais ce n'est pas aider - nous avons commencé à perdre des paquets plus tard, alors avant, mais c'est tout.

Pour le débogage, je veux savoir comment complète de l'OS udp tampon est, à un moment donné. Googlé, mais ne trouve rien. Pouvez-vous m'aider?

P. S. les Gars, je suis conscient que le protocole UDP n'est pas fiable. Cependant mon ordinateur reçoit tous les messages UDP, alors que mon application n'est pas en mesure de consommer certains d'entre eux. Je veux optimiser mon application pour le max, c'est la raison pour laquelle la question. Merci.

InformationsquelleAutor Yoni Roit | 2010-02-18
  1. 42

    Linux fournit les fichiers /proc/net/udp et /proc/net/udp6, qui répertorie tous ouvrir des sockets UDP (pour IPv4 et IPv6, respectivement). Dans deux d'entre eux, les colonnes tx_queue et rx_queue afficher les appels entrants et sortants des files d'attente en octets.

    Si tout fonctionne comme prévu, généralement, vous ne verrez pas de valeur différente de zéro dans ces deux colonnes: dès que votre application génère des paquets, ils sont envoyés à travers le réseau, et dès les paquets arrivent à partir du réseau de votre application va se réveiller et de les recevoir (le recv appel retourne immédiatement). Vous pouvez voir le rx_queue aller si votre application a la socket ouvert, mais n'est pas en invoquant recv pour recevoir les données, ou si elle n'est pas le traitement de ces données assez rapidement.

    • Qui dit qu'il peut choisir le protocole à utiliser? Peut-être qu'il est la mise en œuvre d'un protocole basé sur udp pour servir les clients existants.
    • Affiche veut savoir sur le contrôle UDP stats, pas des avis sur le protocole à utiliser. En identifiant d'abord où, dans les couches de perte se produit, on peut alors travailler sur un correctif.
    InformationsquelleAutor Juliano
  2. 63

    UDP est parfaitement viable protocole. C'est le même vieux cas de le bon outil pour le bon travail!

    Si vous avez un programme qui attend les datagrammes UDP, et puis s'en va les traiter avant de retourner à attendre pour un autre, alors votre écoulé le temps de traitement doit toujours être plus rapide que le pire des cas, taux d'arrivée des datagrammes. Si elle ne l'est pas, alors le socket UDP file d'attente de réception va commencer à se remplir.

    Ce qui peut être toléré pour de courtes rafales. La file d'attente est exactement ce qu'il est censé faire, et la file d'attente des datagrammes jusqu'à ce que vous êtes prêt. Mais si la moyenne des taux d'arrivée régulièrement provoque un retard dans la file d'attente, il est temps de revoir la conception de votre programme. Il y a deux choix ici: réduire l'écoulement de la durée de traitement par crafty des techniques de programmation et/ou multi-thread de votre programme. L'équilibrage de la charge entre plusieurs instances de votre programme peuvent également être utilisés.

    Comme mentionné, sur Linux, vous pouvez examiner le système de fichiers /proc pour obtenir le statut au sujet de ce que UDP est jusqu'à. Par exemple, si je cat la /proc/net/udp nœud, j'obtiens quelque chose comme ceci:

    $ cat /proc/net/udp   
  sl  local_address rem_address   st tx_queue rx_queue tr tm->when retrnsmt   uid  timeout inode ref pointer drops             
  40: 00000000:0202 00000000:0000 07 00000000:00000000 00:00000000 00000000     0        0 3466 2 ffff88013abc8340 0           
  67: 00000000:231D 00000000:0000 07 00000000:0001E4C8 00:00000000 00000000  1006        0 16940862 2 ffff88013abc9040 2237    
 122: 00000000:30D4 00000000:0000 07 00000000:00000000 00:00000000 00000000  1006        0 912865 2 ffff88013abc8d00 0

    À partir de cela, je ne vois qu'une prise appartenant à l'utilisateur id 1006, est à l'écoute sur le port 0x231D (8989) et que la file d'attente de réception est d'environ 128 KO. Comme 128KO est la taille max sur mon système, cela me dit que mon programme est terriblement faible, au maintien en place avec l'arrivée des datagrammes. Il y a eu 2237 gouttes jusqu'à présent, ce qui signifie la couche UDP ne peut pas mettre plus de datagrammes dans le support de la file d'attente, et doit les déposer.

    Vous pouvez regarder votre programme de comportement au fil du temps en utilisant par exemple:

    watch -d 'cat /proc/net/udp|grep 00000000:231D'

    Également de noter que la commande netstat ne à propos de la même chose: netstat -c --udp -an

    Ma solution pour ma petite bite programme multi-thread.

    Cheers!

    • comment avez-vous connu votre système max udp taille de file d'attente est de 128 ko ?
    • @Chinaxing cat /proc/sys/net/core/rmem_max
    InformationsquelleAutor RickS
  3. 4

    rx_queue vais vous dire la longueur de file d'attente à un instant donné, mais il ne vous dira pas comment complète de la file d'attente a été, c'est à dire la highwater marque. Il n'y a aucun moyen de surveiller constamment l'évolution de cette valeur, et aucun moyen de l'obtenir par programmation (voir Comment puis-je obtenir la quantité de données en file d'attente pour socket UDP?).

    La seule façon que je peux imaginer la surveillance de la longueur de file d'attente est de déplacer la file d'attente dans votre propre programme. En d'autres termes, commencer deux fils-l'un est de la lecture de la prise aussi vite qu'il le peut et le dumping des datagrammes dans votre file d'attente; et l'autre est votre programme en tirant de cette file d'attente et de traitement de paquets. Cela suppose bien sûr que vous pouvez assurer à chaque thread est sur un autre PROCESSEUR. Maintenant, vous pouvez surveiller la longueur de votre propre file d'attente et de garder trace de la highwater marque.

    InformationsquelleAutor Anne
  4. 0

    Le processus est simple:

    1. Si vous le souhaitez, mettre en pause le processus de demande.

    2. Ouvrir le socket UDP. Vous pouvez accrocher à partir du processus en cours d'exécution à l'aide de /proc/<PID>/fd si nécessaire. Ou vous pouvez ajouter ce code à l'application elle-même et envoyer un signal-il y aura déjà le socket ouvert, bien sûr.

    3. Appel recvmsg dans une boucle serrée, aussi rapidement que possible.

    4. De compter le nombre de paquets/octets que vous avez obtenu.

    Cela, vous perdrez toutes les datagrammes actuellement mise en mémoire tampon, mais si les pauses de votre demande, votre demande a déjà été cassé.

    • J'étais sur le point de downvote cette réponse, mais, à la réflexion, il est hilarant. J'espère juste que personne n'a essayé de mettre en œuvre la présente 🙂
    InformationsquelleAutor David Schwartz