J'essaie de surveiller un processus qui utilise CUDA et MPI, y a-t-il un moyen de le faire, quelque chose comme la commande "top" mais qui surveille aussi le GPU ?
nvidia-smi -l 1
Cela va boucler et appeler la vue à chaque seconde.
Si vous ne souhaitez pas conserver les traces passées de l'appel en boucle dans l'historique de la console, vous pouvez également le faire :
watch -n0.1 nvidia-smi
Où 0,1 est l'intervalle de temps, en secondes.
Interroger la carte toutes les 0,1 secondes ? Cela va-t-il entraîner une charge sur la carte ? De plus, en utilisant watch, vous démarrez un nouveau processus toutes les 0,1 secondes.
@MickT Est-ce un gros problème ? Comme le Nvidia-smi ont cette boucle de construction ! La commande "watch" est-elle très différente de la commande nvidia-smi -l ?
C'est possible, j'ai vu des cartes bas de gamme avoir des blocages étranges et je pense que c'est parce que trop d'utilisateurs utilisaient nvidia-smi sur les cartes. Je pense que l'utilisation de 'nvidia-smi -l' est une meilleure solution car vous n'avez pas à forker un nouveau processus à chaque fois. De plus, vérifier la carte toutes les 0,1 secondes est exagéré, je le ferais toutes les secondes si j'essaie de déboguer un problème, sinon je le fais toutes les 5 minutes pour surveiller les performances. J'espère que cela vous aidera ! :)
Je trouve gpustat très utile. In peut être installé avec pip install gpustat et imprime la répartition de l'utilisation par processus ou par utilisateur.
Après avoir mis watch gpustat -cp vous pouvez voir les statistiques en continu mais les couleurs ont disparu. Comment réparer cela ? @Alleo
@AbhimanyuAryan use watch -c . @Roman Orac, Merci, cela a également fonctionné pour moi sur redhat 8 lorsque j'obtenais une erreur due à l'importation de _curses dans python.
Je ne suis pas au courant de quelque chose qui combine ces informations, mais vous pouvez utiliser la fonction nvidia-smi pour obtenir les données brutes, comme ceci (merci à @jmsu pour le conseil sur -l) :
$ nvidia-smi -q -g 0 -d UTILIZATION -l
==============NVSMI LOG==============
Timestamp : Tue Nov 22 11:50:05 2011
Driver Version : 275.19
Attached GPUs : 2
GPU 0:1:0
Utilization
Gpu : 0 %
Memory : 0 %
Je pense que si vous ajoutez un -l à cela, vous obtenez une mise à jour continue qui surveille efficacement l'utilisation du GPU et de la mémoire.
@natorro On dirait que nVidia a abandonné le support pour certaines cartes. Vérifiez ce lien forums.nvidia.com/index.php?showtopic=205165
Prograide est une communauté de développeurs qui cherche à élargir la connaissance de la programmation au-delà de l'anglais.
Pour cela nous avons les plus grands doutes résolus en français et vous pouvez aussi poser vos propres questions ou résoudre celles des autres.
0 votes
"nvidia-smi pmon -i 0" peut surveiller tous les processus tournant sur le GPU nvidia 0.