keras: comment économiser de l'histoire de la formation

Un history objets a un history champ est un dictionnaire qui organise différentes formations métriques fractionné sur toutes les formations de l'époque. Si par exemple la history.history['loss'][99] sera de retour d'une perte de votre modèle dans une 100e de l'époque de la formation. Afin d'économiser que vous pourriez pickle ce dictionnaire ou simple d'enregistrer différentes listes à partir de ce dictionnaire de fichier approprié.

Je suis tombé sur le problème que les valeurs à l'intérieur de la liste dans keras ne sont pas json seriazable. Donc j'ai écrit ces deux fonctions pratiques pour mon utilisation cause.

import json,codecs
import numpy as np
def saveHist(path,history):

    new_hist = {}
    for key in list(history.history.keys()):
        if type(history.history[key]) == np.ndarray:
            new_hist[key] == history.history[key].tolist()
        elif type(history.history[key]) == list:
           if  type(history.history[key][0]) == np.float64:
               new_hist[key] = list(map(float, history.history[key]))

    print(new_hist)
    with codecs.open(path, 'w', encoding='utf-8') as f:
        json.dump(new_hist, f, separators=(',', ':'), sort_keys=True, indent=4) 

def loadHist(path):
    with codecs.open(path, 'r', encoding='utf-8') as f:
        n = json.loads(f.read())
    return n

où saveHist juste besoin d'obtenir le chemin d'accès au fichier json doit être enregistré, et l'histoire de l'objet renvoyé à partir de la keras fit ou fit_generator méthode.

Je suis sûr qu'il ya beaucoup de façons de le faire, mais j'ai trafiqué autour et est venu avec une version de mon propre.

Tout d'abord, une fonction de rappel personnalisée permet à l'accaparement et à la mise à jour de l'histoire à la fin de chaque époque. Là j'ai aussi un rappel pour enregistrer le modèle. Ces deux sont pratiques, car en cas d'accident ou d'arrêt, vous pouvez ramasser de la formation lors de la dernière époque.

class LossHistory(Callback):

    # https://stackoverflow.com/a/53653154/852795
    def on_epoch_end(self, epoch, logs = None):
        new_history = {}
        for k, v in logs.items(): # compile new history from logs
            new_history[k] = [v] # convert values into lists
        current_history = loadHist(history_filename) # load history from current training
        current_history = appendHist(current_history, new_history) # append the logs
        saveHist(history_filename, current_history) # save history from current training

model_checkpoint = ModelCheckpoint(model_filename, verbose = 0, period = 1)
history_checkpoint = LossHistory()
callbacks_list = [model_checkpoint, history_checkpoint]

Deuxième, voici quelques 'helper' fonctions pour faire exactement les choses qu'ils disent qu'ils font. Ces sont tous appelés à partir de la LossHistory() de rappel.

# https://stackoverflow.com/a/54092401/852795
import json, codecs

def saveHist(path, history):
    with codecs.open(path, 'w', encoding='utf-8') as f:
        json.dump(history, f, separators=(',', ':'), sort_keys=True, indent=4) 

def loadHist(path):
    n = {} # set history to empty
    if os.path.exists(path): # reload history if it exists
        with codecs.open(path, 'r', encoding='utf-8') as f:
            n = json.loads(f.read())
    return n

def appendHist(h1, h2):
    if h1 == {}:
        return h2
    else:
        dest = {}
        for key, value in h1.items():
            dest[key] = value + h2[key]
        return dest

Après cela, tous vous avez besoin est de mettre en history_filename à quelque chose comme data/model-history.json, ainsi que de définir model_filesname à quelque chose comme data/model.h5. Un dernier tweak pour faire en sorte de ne pas gâcher votre histoire à la fin de la formation, en supposant que vous arrêtez et démarrez, ainsi que le bâton dans les rappels, est pour ce faire:

new_history = model.fit(X_train, y_train, 
                     batch_size = batch_size, 
                     nb_epoch = nb_epoch,
                     validation_data=(X_test, y_test),
                     callbacks=callbacks_list)

history = appendHist(history, new_history.history)

Chaque fois que vous voulez, history = loadHist(history_filename) obtient votre histoire.

La funkiness vient du json et les listes, mais je n'étais pas en mesure de le faire fonctionner sans la convertir en une itération. De toute façon, je sais que cela fonctionne parce que j'ai été manivelle sur elle pendant des jours maintenant. Le pickled.dump réponse à https://stackoverflow.com/a/44674337/852795 peut-être mieux, mais je ne sais pas ce que c'est. Si j'ai manqué de quoi que ce soit ici ou vous ne pouvez pas l'obtenir pour travailler, laissez-moi savoir.