Comment puis-je vider la mémoire du GPU en utilisant CUDA (la réinitialisation physique n'est pas disponible)

Mon CUDA programme s'est écrasé lors de l'exécution, avant que la mémoire a été rincé. En conséquence, la mémoire de l'appareil est resté occupé.

Je suis en cours d'exécution sur une GTX 580, pour qui nvidia-smi --gpu-reset n'est pas pris en charge.

Placer cudaDeviceReset() dans le début de ce programme est seulement une incidence sur le contexte actuel créé par le processus et ne permet pas d'évacuer la mémoire allouée avant.

Je suis de l'accès à une Fedora server avec ce GPU à distance, afin de réinitialisation physique est assez compliqué.

Donc, la question est - Est-il un moyen de vider la mémoire de l'appareil dans cette situation?

source d'informationauteur timdim

9

Bien qu'il devrait être inutile de le faire dans rien d'autre que des circonstances exceptionnelles, la méthode recommandée pour ce faire sur linux hosts est de décharger le pilote nvidia en faisant
```
$ rmmod nvidia 
```
adapté avec les privilèges de root, puis de le recharger avec
```
$ modprobe nvidia
```
Si la machine est sous X11, vous devez arrêter manuellement à l'avance, et de le redémarrer par la suite. Le pilote d'intialisation processus devrait éliminer tout avant d'état sur l'appareil.

Cette réponse a été assemblé à partir des commentaires et affichée comme une communauté wiki pour obtenir ce hors de question réponse à la liste pour le CUDA de la balise

vérifier ce qui est de l'utilisation de votre mémoire GPU avec

sudo fuser -v /dev/nvidia*

Votre sortie devrait ressembler à quelque chose comme ceci:

                     USER        PID  ACCESS COMMAND
/dev/nvidia0:        root       1256  F...m  Xorg
                     username   2057  F...m  compiz
                     username   2759  F...m  chrome
                     username   2777  F...m  chrome
                     username   20450 F...m  python
                     username   20699 F...m  python

Puis tuer le PID que vous n'avez plus besoin sur htop ou avec

sudo kill -9 PID.

Dans l'exemple ci-dessus, Pycharm était en train de manger une grande quantité de mémoire, j'ai donc tué 20450 et 20699.

5

J'ai également eu le même problème, et j'ai vu une bonne solution dans quora, à l'aide de
```
sudo kill -9 PID.
```
voir https://www.quora.com/How-do-I-kill-all-the-computer-processes-shown-in-nvidia-smi
4

sur macOS (/OS X), si quelqu'un d'autre est d'avoir de la difficulté avec l'OS apparemment une fuite de mémoire:
- https://github.com/phvu/cuda-smi est utile pour vérifier rapidement la mémoire libre
- L'abandon des applications semble libérer la mémoire qu'ils utilisent. Quitter tout ce que vous n'avez pas besoin, ou quittez les applications une par une pour voir la quantité de mémoire utilisée.
- Si cela ne coupe pas (cesser d'environ 10 applications libéré environ 500 mo /15% pour moi), le plus gros consommateur de loin, c'est WindowServer. Vous pouvez Forcer la fermeture, ce qui va aussi tuer toutes les applications que vous avez en cours d'exécution et vous connecter. Mais c'est un peu plus rapide qu'un redémarrage et m'a repris à 90% de mémoire libre sur le cuda de l'appareil.

Vous devez vous connecter pour publier un commentaire.