TensorBoard - Parcelle de formation et de validation des pertes sur le même graphique?

Plutôt que d'afficher les deux lignes séparément, vous pouvez au lieu de tracer la différence entre la validation et de la formation des pertes comme son propre scalaire résumé de suivre la divergence.

Cela ne donne pas autant d'informations sur une seule parcelle (en comparaison avec l'ajout de deux résumés), mais il aide à être en mesure de comparer plusieurs pistes (et non pas à l'ajout de plusieurs résumés par run).

Un grand merci à niko pour l'astuce sur les Scalaires.

J'ai été confondu par le fonctionnaire custom_scalar_demo.py car il y a tellement de choses à faire, et j'ai dû l'étudier pendant un bon moment avant que je compris comment ça fonctionnait.

Pour montrer exactement ce qui doit être fait pour créer un scalaire graphique pour un modèle déjà existant, j'ai mis en place la suite de l'exemple complet:

# + <
# We need these to make a custom protocol buffer to display custom scalars.
# See https://developers.google.com/protocol-buffers/
from tensorboard.plugins.custom_scalar import layout_pb2
from tensorboard.summary.v1 import custom_scalar_pb
#   > 
import tensorflow as tf
from time import time
import re
# Initial values
(x0, y0) = (-1, 1)
# This is useful only when re-running code (e.g. Jupyter).
tf.reset_default_graph()  
# Set up variables.
x = tf.Variable(x0, name="X", dtype=tf.float64)
y = tf.Variable(y0, name="Y", dtype=tf.float64)
# Define loss function and give it a name.
loss = tf.square(x - 3*y) + tf.square(x+y)
loss = tf.identity(loss, name='my_loss')
# Define the op for performing gradient descent.
minimize_step_op = tf.train.GradientDescentOptimizer(0.092).minimize(loss)
# List quantities to summarize in a dictionary 
# with (key, value) = (name, Tensor).
to_summarize = dict(
X = x,
Y_plus_2 = y + 2,
)
# Build scalar summaries corresponding to to_summarize.
# This should be done in a separate name scope to avoid name collisions
# between summaries and their respective tensors. The name scope also
# gives a title to a group of scalars in TensorBoard.
with tf.name_scope('scalar_summaries'):
my_var_summary_op = tf.summary.merge(
[tf.summary.scalar(name, var) 
for name, var in to_summarize.items()
]
)
# + <
# This constructs the layout for the custom scalar, and specifies
# which scalars to plot.
layout_summary = custom_scalar_pb(
layout_pb2.Layout(category=[
layout_pb2.Category(
title='Custom scalar summary group',
chart=[
layout_pb2.Chart(
title='Custom scalar summary chart',
multiline=layout_pb2.MultilineChartContent(
# regex to select only summaries which 
# are in "scalar_summaries" name scope:
tag=[r'^scalar_summaries\/']
)
)
])
])
)
#   >
# Create session.
with tf.Session() as sess:
# Initialize session.
sess.run(tf.global_variables_initializer())
# Create writer.
with tf.summary.FileWriter(f'./logs/session_{int(time())}') as writer:
# Write the session graph.
writer.add_graph(sess.graph) # (not necessary for scalars)
# + <
# Define the layout for creating custom scalars in terms
# of the scalars.
writer.add_summary(layout_summary)
#   >
# Main iteration loop.
for i in range(50):
current_summary = sess.run(my_var_summary_op)
writer.add_summary(current_summary, global_step=i)
writer.flush()
sess.run(minimize_step_op)   

Le dessus se compose d'un "modèle original" complétée par trois blocs de code indiqué par

# + <
[code to add custom scalars goes here]
#   >

Mon "modèle original" a ces scalaires:

et ce graphique:

Mon modèle modifié a la même scalaires et graphique, ainsi que les éléments suivants personnalisé scalaire:

Cette coutume scalaire graphique est tout simplement une mise en page qui combine les deux scalaires tableaux.

Malheureusement, le graphe obtenu est difficile à lire parce que les deux valeurs ont la même couleur. (Ils se distinguent uniquement par le marqueur.) Ce n'est cependant cohérente avec TensorBoard de la convention d'avoir une couleur pour chaque journal.

Explication

L'idée est la suivante. Vous avez un groupe de variables que vous voulez tracer à l'intérieur d'une seule carte. Comme condition préalable, TensorBoard devrait être traçage de chaque variable individuellement dans le cadre du "SCALAIRES" en-tête. (Ceci est accompli par la création d'un scalaire résumé pour chaque variable, et puis l'écriture de ces résumés pour le journal. Rien de nouveau ici.)

De tracer plusieurs variables dans le même tableau, nous dire TensorBoard laquelle de ces résumés de groupe ensemble. Le spécifiée résumés sont ensuite combinés en un seul graphique en vertu de la "COUTUME SCALAIRES" en-tête. Nous accomplissons cela en écrivant une "Mise en page" une fois au début du journal. Une fois TensorBoard reçoit la mise en page, il produit automatiquement un tableau combiné dans la section "CUSTOM SCALAIRES" comme à l'ordinaire "SCALAIRES" sont mis à jour.

En supposant que votre "modèle original" est en train d'envoyer vos variables (comme scalaire résumés) à TensorBoard, la seule modification nécessaire, consiste à injecter de la mise en page avant votre principale itération de la boucle commence. Chaque scalaire graphique permet de sélectionner les résumés de l'intrigue par le biais d'une expression régulière. Ainsi, pour chaque groupe de variables qui doivent être représentés ensemble, il peut être utile de placer les variables respectives des résumés dans un nom de champ. (De cette façon, votre regex suffit de sélectionner tous les résumés sous ce nom l'étendue).

Remarque importante: L'op qui génère le résumé d'une variable est distincte de la variable elle-même. Par exemple, si j'ai une variable ns1/my_var, je peux créer un résumé ns2/summary_op_for_myvar. La coutume scalaires mise en page graphique ne se préoccupe que de la synthèse de l'op, pas le nom ou la portée de la variable d'origine.

Voici un exemple, la création de deux tf.summary.FileWriters qui partagent le même répertoire racine. La création d'un tf.summary.scalar partagé par les deux tf.summary.FileWriters. À chaque pas de temps, obtenir le summary et mise à jour chaque tf.summary.FileWriter.

import os
import tqdm
import tensorflow as tf
def tb_test():
sess = tf.Session()
x = tf.placeholder(dtype=tf.float32)
summary = tf.summary.scalar('Values', x)
merged = tf.summary.merge_all()
sess.run(tf.global_variables_initializer())
writer_1 = tf.summary.FileWriter(os.path.join('tb_summary', 'train'))
writer_2 = tf.summary.FileWriter(os.path.join('tb_summary', 'eval'))
for i in tqdm.tqdm(range(200)):
# train
summary_1 = sess.run(merged, feed_dict={x: i-10})
writer_1.add_summary(summary_1, i)
# eval
summary_2 = sess.run(merged, feed_dict={x: i+10})            
writer_2.add_summary(summary_2, i)
writer_1.close()
writer_2.close()
if __name__ == '__main__':
tb_test()

Voici le résultat:

La ligne orange indique le résultat de l'étape de l'évaluation, et, en conséquence, la ligne bleue illustre les données de suivre la formation.

Aussi, il est très utile post par la TF de l'équipe à laquelle vous pouvez vous référer.