Est-ce que TensorFlow utilise par défaut tous les GPU disponibles sur la machine?

Voir: À L'Aide De Gpu

Manuel de l'emplacement des dispositifs de

Si vous souhaitez une opération à exécuter sur l'appareil de votre choix au lieu de ce qui est automatiquement sélectionné pour vous, vous pouvez l'utiliser avec tf.device pour créer un périphérique de contexte tels que toutes les opérations dans ce contexte, ils auront le même dispositif de cession.

# Creates a graph.
with tf.device('/cpu:0'):
  a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
  b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
c = tf.matmul(a, b)
# Creates a session with log_device_placement set to True.
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
# Runs the op.
print(sess.run(c))

Vous verrez que maintenant a et b sont affectés à cpu:0. Depuis un périphérique n'a pas été explicitement spécifié pour le MatMul opération, le TensorFlow runtime choisissez l'une basée sur l'exploitation et les périphériques disponibles (gpu:0 dans cet exemple) et de les copier automatiquement les tenseurs entre les périphériques si nécessaire.

Device mapping:
/job:localhost/replica:0/task:0/gpu:0 -> device: 0, name: Tesla K40c, pci bus
id: 0000:05:00.0
b: /job:localhost/replica:0/task:0/cpu:0
a: /job:localhost/replica:0/task:0/cpu:0
MatMul: /job:localhost/replica:0/task:0/gpu:0
[[ 22.  28.]
 [ 49.  64.]]

---

Plus Tôt La Réponse 2.

Voir: À L'Aide De Gpu

À l'aide d'un seul GPU sur un multi-GPU

Si vous avez plus d'un GPU dans votre système, le GPU avec le plus petit ID sera sélectionné par défaut. Si vous souhaitez exécuter sur un autre GPU, vous devez spécifier la préférence de manière explicite:

# Creates a graph.
with tf.device('/gpu:2'):
  a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
  b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
  c = tf.matmul(a, b)
# Creates a session with log_device_placement set to True.
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
# Runs the op.
print sess.run(c)

---

Plus Tôt De Réponse 1.

De CUDA_VISIBLE_DEVICES de Masquage Gpu

Votre CUDA application doivent porter sur les GPU? Si vous êtes
écrit GPU permis code, en règle générale, vous utilisez un appareil requête
sélectionnez le Gpu. Toutefois, une solution rapide et facile pour
le test est d'utiliser la variable d'environnement CUDA_VISIBLE_DEVICES à
limiter les périphériques que votre CUDA application voit. Cela peut être
utile si vous essayez de partager des ressources sur un nœud ou vous voulez
votre GPU est activé exécutable à une cible spécifique GPU.

Variable D'Environnement Syntaxe

Résultats

CUDA_VISIBLE_DEVICES=1 Seul appareil 1 sera vu
CUDA_VISIBLE_DEVICES=0,1 Dispositifs de 0 et de 1 sera visible
CUDA_VISIBLE_DEVICES=”0,1” comme ci-dessus, les guillemets sont facultatifs
CUDA_VISIBLE_DEVICES=0,2,3 Dispositifs de 0, 2, 3 sera visible; appareil 1
est masqué

CUDA va énumérer les appareils visibles en commençant à zéro. Dans la dernière
cas, des dispositifs de 0, 2, 3 apparaissent comme des dispositifs de 0, 1, 2. Si vous modifiez
l'ordre de la chaîne pour “2,3,0”, les appareils 2,3,0 seront énumérés
comme 0,1,2, respectivement. Si CUDA_VISIBLE_DEVICES est fixé à un appareil
n'existe pas, tous les appareils seront masqués. Vous pouvez spécifier un mélange de
valides et non valides et les numéros de périphérique. Tous les appareils avant de la valeur non valide
seront énumérés, alors que tous les appareils après la valeur non valide sera
masqué.

Pour déterminer l'ID de l'appareil pour la mise à disposition du matériel de votre système,
vous pouvez exécuter NVIDIA deviceQuery exécutable inclus dans le CUDA SDK.
Bonne programmation!

Chris Mason