tensorflow sur GPU : pas de périphériques connus, bien que deviceQuery de cuda renvoie un résultat "PASS".

Question

Note : cette question a été initialement demandé sur github mais il a été demandé d'être ici à la place

J'ai des difficultés à faire fonctionner tensorflow sur le gpu, et cela ne semble pas être le problème habituel de configuration de cuda, car tout semble indiquer que cuda est correctement configuré.

Le symptôme principal : lorsque je lance tensorflow, mon gpu n'est pas détecté ( le code en cours d'exécution y son rendement ).

Ce qui diffère des problèmes habituels, c'est que cuda semble correctement installé et fonctionne. ./deviceQuery à partir des échantillons cuda est réussie ( sortie ).

J'ai deux cartes graphiques :

• une vieille GTX 650 utilisée pour mes moniteurs (je ne veux pas utiliser celle-là avec tensorflow)
• une GTX 1060 que je veux dédier à tensorflow

J'utilise :

• tensorflow-1.0.0
• cuda-8.0 ( ls -l /usr/local/cuda/lib64/libcud* )
• cudnn-5.1.10
• python-2.7.12
• nvidia-drivers-375.26 (installé par cuda, il a remplacé le paquetage de pilotes de ma distribution)

J'ai essayé :

• en ajoutant /usr/local/cuda/bin/ a $PATH
• forcer le placement du gpu dans le script de tensorflow à l'aide de with tf.device('/gpu:1'): (et with tf.device('/gpu:0'): quand il a échoué, pour faire bonne mesure)
• en mettant sur liste blanche le gpu que je voulais utiliser avec CUDA_VISIBLE_DEVICES au cas où la présence de ma vieille carte non supportée causerait des problèmes.
• exécuter le script avec sudo (parce que pourquoi pas)

Voici les sorties de nvidia-smi y nvidia-debugdump -l si c'est utile.

À ce stade, j'ai l'impression d'avoir suivi toutes les pistes et je n'ai aucune idée de ce que je pourrais essayer d'autre. Je ne sais même pas si je suis en train d'envisager un bogue ou un problème de configuration. Tout conseil sur la façon de déboguer ce problème serait grandement apprécié. Merci !

Mise à jour Avec l'aide de Yaroslav sur github, j'ai obtenu plus d'informations sur le débogage en augmentant le niveau du journal, mais cela ne semble pas dire grand chose sur la sélection du périphérique : https://gist.github.com/oelmekki/760a37ca50bf58d4f03f46d104b798bb

Mise à jour 2 : L'utilisation de theano détecte correctement le gpu, mais il est intéressant de noter qu'il se plaint que cuDNN est trop récent, puis se rabat sur le cpu ( le code a été exécuté , sortie ). Peut-être que cela pourrait être le problème avec tensorflow également ?

Answer 1

Cette erreur peut être causée par la capacité de calcul de votre GPU. CUDA prend officiellement en charge la capacité de calcul des GPU entre 3.5 et 5.0, vous pouvez vérifier ici : https://en.wikipedia.org/wiki/CUDA

Dans mon cas, l'erreur était la suivante :

Ignorer le périphérique gpu visible (device : 0, name : GeForce GT 640M, pci bus id : 0000:01:00.0, compute capability : 3.0) avec la capacité de calcul Cuda 3.0. La capacité Cuda minimale requise est de 3.5.

Pour l'instant, nous ne pouvons compiler à partir du code source que sur Linux (ou mac OS) pour dépasser la limite de '3.5~5.0'.

Answer 2

Il y a plusieurs problèmes d'incompatibilité du système.

Les exigences en matière de bibliothèques peuvent varier selon la version de TensorFlow.

Lors de l'utilisation de python en mode interactif, beaucoup d'informations utiles sont imprimées dans stderr . Ce que je suggère pour TensorFlow avec la version 2.0 ou plus à appeler :

python3.8 -c "import tensorflow as tf ; print('tf version:', tf. version ) ; tf.config.list_physical_devices()"

Après cette commande, vous observerez les bibliothèques manquantes (ou une version de celle-ci) pour travailler avec GPU en plus des exigences :

• https://www.tensorflow.org/install/gpu#software_requirements
• https://www.tensorflow.org/install/gpu#hardware_requirements

p.s. CUDA_VISIBLE_DEVICES ne devrait pas avoir de lien réel avec TensorFlow, ou alors c'est plus général - c'est un moyen de personnaliser les GPUs disponibles pour tous les processus lancés.

Answer 3

Pour les utilisateurs d'anaconda . J'ai installé tensorflow-gpu via une interface graphique en utilisant Anaconda Navigator et en configurant le GPU NVIDIA comme dans guide tensorflow mais tensorflow n'a pas pu trouver le GPU de toute façon. J'ai alors désinstallé tensorflow, toujours via l'interface graphique (voir aquí ) et l'a réinstallé via la ligne de commande dans une émission de prompt anaconda :

conda install -c anaconda tensorflow-gpu

et alors tensorflow pourrait trouver le GPU correctement.