Surveillance de la formation/processus de validation Caffe

Je suis de formation Caffe Modèle de Référence pour la classification des images.
Mon travail m'oblige à surveiller le processus de formation par le dessin graphique de la précision du modèle après 1000 itérations sur l'ensemble de l'ensemble d'apprentissage et l'ensemble de validation qui a 100K et 50K images respectivement.
Maintenant, Im prenant l'approche naïve, faire des captures après 1000 itérations, exécutez le C++ classififcation code qui lit les raw JPEG de l'image et de l'avant sur le net et la sortie prédite étiquettes. Toutefois, cela prend trop de temps sur ma machine (avec une Geforce GTX 560 Ti)

Est-il un moyen plus rapide que je peux faire pour avoir le graphique de la précision de la capture instantanée sur les deux modèles de formation et de validation des ensembles?

Je pensais à l'aide de LMDB format plutôt que les images raw. Cependant, je ne trouve pas de documentation/code à propos de faire de la classification en C++ à l'aide de LMDB format.

  • Pourquoi n'êtes-vous pas à l'aide de CHIFFRES pour vous aider dans le processus de formation? Il a une accumulation de capacités de surveillance.
InformationsquelleAutor DucCuong | 2015-08-13
  1. 24

    1) Vous pouvez utiliser le NVIDIA CHIFFRES app pour surveiller vos réseaux. Ils fournissent une interface utilisateur graphique, y compris dataset de préparation, de sélection de modèle, et la courbe d'apprentissage de la visualisation. De plus, ils utilisent un caffe distribution permettant multi-GPU de la formation.

    2) Ou, vous pouvez simplement utiliser le journal de l'analyseur à l'intérieur de caffe.

    /pathtocaffe/build/tools/caffe train --solver=solver.prototxt 2>&1 | tee lenet_train.log

    Cela vous permet de vous enregistrer en train de journal dans "lenet_train.journal". Ensuite, à l'aide de:

    python /pathtocaffe/tools/extra/parse_log.py lenet_train.log .

    vous analysez votre train de journal dans deux fichiers csv, contenant de la formation et le test de perte. Vous pouvez ensuite les imprimer en utilisant le script python ci -

    import pandas as pd
from matplotlib import *
from matplotlib.pyplot import *

train_log = pd.read_csv("./lenet_train.log.train")
test_log = pd.read_csv("./lenet_train.log.test")
_, ax1 = subplots(figsize=(15, 10))
ax2 = ax1.twinx()
ax1.plot(train_log["NumIters"], train_log["loss"], alpha=0.4)
ax1.plot(test_log["NumIters"], test_log["loss"], 'g')
ax2.plot(test_log["NumIters"], test_log["acc"], 'r')
ax1.set_xlabel('iteration')
ax1.set_ylabel('train loss')
ax2.set_ylabel('test accuracy')
savefig("./train_test_image.png") #save image as png
    • Merci pour la réponse détaillée. CHIFFRES semble être un bon outil pour cela, je vais l'utiliser pour les prochaines expériences
    • Je suis un peu confus, le "test_log" dont vous parlez est en fait la "Validation" ou est un véritable "test" ?
    • C'est une validation. Mais il semble que dans caffe 'val' et 'test' dire la même chose.
    • les importations manquant
    • Salut Jia, j'ai essayé votre méthode mais j'ai "Pas de l'écriture .\monjournal.journal.train; pas de lignes à écrire" quand j'essaie d'analyser à travers elle. Des idées pourquoi?
    InformationsquelleAutor Jia Li
  2. 1

    Caffe crée des journaux à chaque fois que vous essayez de former quelque chose, et est situé dans le dossier tmp (linux et windows).

    J'ai aussi écrit un complot script en python qui vous pouvez facilement l'utiliser pour visualiser votre/de la perte de précision.

    Il suffit de placer vos journaux d'entraînement avec .log extension à côté du script et double-cliquez dessus.
    Vous pouvez utiliser l'invite de commande en tant que bien, mais pour la facilité d'utilisation, lorsqu'il est exécuté, il charge tous les journaux (*.journal), il peut se trouver dans le répertoire courant.
    il montre également le top 4 des précisions et dont la précision qu'ils ont été atteints.

    vous pouvez le trouver ici : https://gist.github.com/Coderx7/03f46cb24dcf4127d6fa66d08126fa3b

    InformationsquelleAutor Breeze
  3. 1
    python /pathtocaffe/tools/extra/parse_log.py lenet_train.log

    commande génère l'erreur suivante:

    usage: parse_log.py [-h] [--verbose] [--delimiter DELIMITER]
                logfile_path output_dir
parse_log.py: error: too few arguments

    Solution:

    Pour l'exécution réussie de "parse_log.py la commande", nous devrions passer les deux arguments:

    1. fichier journal
    2. chemin d'accès de répertoire de sortie

    Donc le bon de commande se présente comme suit:

    python /pathtocaffe/tools/extra/parse_log.py lenet_train.log output_dir
    • ajouter un "." (un point sans bébé) à la fin de la commande et essayez à nouveau
    InformationsquelleAutor Muhammad Farooq