Comment charger un modèle à partir d'une HDF5 fichier dans Keras?

Comment charger un modèle à partir d'une HDF5 fichier dans Keras?

Ce que j'ai essayé:

model = Sequential()

model.add(Dense(64, input_dim=14, init='uniform'))
model.add(LeakyReLU(alpha=0.3))
model.add(BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None))
model.add(Dropout(0.5))

model.add(Dense(64, init='uniform'))
model.add(LeakyReLU(alpha=0.3))
model.add(BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None))
model.add(Dropout(0.5))

model.add(Dense(2, init='uniform'))
model.add(Activation('softmax'))


sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='binary_crossentropy', optimizer=sgd)

checkpointer = ModelCheckpoint(filepath="/weights.hdf5", verbose=1, save_best_only=True)
model.fit(X_train, y_train, nb_epoch=20, batch_size=16, show_accuracy=True, validation_split=0.2, verbose = 2, callbacks=[checkpointer])

Le code ci-dessus avec succès sauve le meilleur modèle dans un fichier nommé poids.hdf5. Ce que je veux faire est ensuite charger ce modèle. Le code ci-dessous montre comment j'ai essayé de le faire:

model2 = Sequential()
model2.load_weights("/Users/Desktop/SquareSpace/weights.hdf5")

C'est l'erreur que je reçois:

IndexError                                Traceback (most recent call last)
<ipython-input-101-ec968f9e95c5> in <module>()
      1 model2 = Sequential()
----> 2 model2.load_weights("/Users/Desktop/SquareSpace/weights.hdf5")

/Applications/anaconda/lib/python2.7/site-packages/keras/models.pyc in load_weights(self, filepath)
    582             g = f['layer_{}'.format(k)]
    583             weights = [g['param_{}'.format(p)] for p in range(g.attrs['nb_params'])]
--> 584             self.layers[k].set_weights(weights)
    585         f.close()
    586 

IndexError: list index out of range
InformationsquelleAutor pr338 | 2016-01-29
  1. 57

    load_weights définit uniquement le poids de votre réseau. Vous devez toujours définir son architecture avant d'appeler load_weights:

    def create_model():
   model = Sequential()
   model.add(Dense(64, input_dim=14, init='uniform'))
   model.add(LeakyReLU(alpha=0.3))
   model.add(BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None))
   model.add(Dropout(0.5)) 
   model.add(Dense(64, init='uniform'))
   model.add(LeakyReLU(alpha=0.3))
   model.add(BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None))
   model.add(Dropout(0.5))
   model.add(Dense(2, init='uniform'))
   model.add(Activation('softmax'))
   return model

def train():
   model = create_model()
   sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)
   model.compile(loss='binary_crossentropy', optimizer=sgd)

   checkpointer = ModelCheckpoint(filepath="/tmp/weights.hdf5", verbose=1, save_best_only=True)
   model.fit(X_train, y_train, nb_epoch=20, batch_size=16, show_accuracy=True, validation_split=0.2, verbose=2, callbacks=[checkpointer])

def load_trained_model(weights_path):
   model = create_model()
   model.load_weights(weights_path)
    • Si vous souhaitez charger le modèle COMPLET, pas juste le poids: from keras.models import load_model puis model = load_model('model.h5')
    • pouvez-vous me donner une astuce avec ce DONC post? stackoverflow.com/questions/55050339/...
    InformationsquelleAutor Mikael Rousson
  2. 133

    Si vous avez stocké le modèle complet, non seulement le poids, dans la HDF5 fichier, puis c'est aussi simple que

    from keras.models import load_model
model = load_model('model.h5')
    • un modèle de la formation proprement dite des données, aussi bien lors du calcul du modèle de la mémoire? Comment pourriez-vous vous charger un modèle qui est plus grand que votre mémoire disponible?
    • Un modèle n'est PAS (explicitement) d'inclure les données d'entraînement. Vous ne pouvez pas charger un modèle qui est plus grand que votre mémoire disponible (bon, ok, c'est possible, mais ce sera très difficile et vous aurez besoin de passer par vous-même... mais si votre modèle est trop grand pour charger, vous devez (a) d'obtenir plus de mémoire, ou (b) de former un plus petit modèle)
    • Je suis l'aide de la méthode suggérée par vous. Je vais essayer d'obtenir une couche de la chargé de modèle et d'essayer de voir, c'est le poids par: encoder = autoencoder.layers[0] encoder.get_weights() Mais je suis arriver: FailedPreconditionError: Attempting to use uninitialized value lstm_1/kernel
    • ce doit être la accepté de répondre à
    • J'apprécie le compliment 🙂 Pour faire un point pour la accepté de répondre: - je pu imaginer qu'en ne stockant que le poids est plus robuste. Si keras changements, le poids pourrait encore être importés alors que la chose complète ne peut pas être importé. D'autre part, on peut installer une ancienne version, le vidage du poids et de faire comme avant.
    • Veuillez envisager de mettre à jour votre réponse.

    InformationsquelleAutor Martin Thoma
  3. 24

    Voir l'exemple de code suivant sur la façon de Construire une base Keras, réseau Neuronal Modèle, Modèle d'enregistrement (JSON) & Poids (HDF5) et de les charger:

    # create model
model = Sequential()
model.add(Dense(X.shape[1], input_dim=X.shape[1], activation='relu')) #Input Layer
model.add(Dense(X.shape[1], activation='relu')) #Hidden Layer
model.add(Dense(output_dim, activation='softmax')) #Output Layer

# Compile & Fit model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(X,Y,nb_epoch=5,batch_size=100,verbose=1)    

# serialize model to JSON
model_json = model.to_json()
with open("Data/model.json", "w") as json_file:
    json_file.write(simplejson.dumps(simplejson.loads(model_json), indent=4))

# serialize weights to HDF5
model.save_weights("Data/model.h5")
print("Saved model to disk")

# load json and create model
json_file = open('Data/model.json', 'r')
loaded_model_json = json_file.read()
json_file.close()
loaded_model = model_from_json(loaded_model_json)

# load weights into new model
loaded_model.load_weights("Data/model.h5")
print("Loaded model from disk")

# evaluate loaded model on test data 
# Define X_test & Y_test data first
loaded_model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
score = loaded_model.evaluate(X_test, Y_test, verbose=0)
print ("%s: %.2f%%" % (loaded_model.metrics_names[1], score[1]*100))
    • Cela a fonctionné pour moi sur le chargement d'un modèle de json et h5. Assurez-vous que si vous utilisez @InheritedGeek exemple vous vous souvenez du modèle.compiler(). Il est nécessaire avant que vous pouvez appeler modèle.évaluer. Exemple parfait, Merci!
    InformationsquelleAutor Inherited Geek
  4. 2

    Selon la documentation officielle
    https://keras.io/getting-started/faq/#how-can-i-install-hdf5-or-h5py-to-save-my-models-in-keras

    que vous pouvez faire :

    premier test si vous avez h5py installé en exécutant la

    importation h5py

    si vous n'avez pas d'erreurs lors de l'importation h5py vous êtes bon à enregistrer:

    from keras.models import load_model

model.save('my_model.h5')  # creates a HDF5 file 'my_model.h5'
del model  # deletes the existing model

# returns a compiled model
# identical to the previous one
model = load_model('my_model.h5')

    Si vous avez besoin d'installer h5py http://docs.h5py.org/en/latest/build.html

    InformationsquelleAutor Richardd
  5. 0

    J'ai fait de cette façon

    from keras.models import Sequential
from keras_contrib.losses import import crf_loss
from keras_contrib.metrics import crf_viterbi_accuracy

# To save model
model.save('my_model_01.hdf5')

# To load the model
custom_objects={'CRF': CRF,'crf_loss': crf_loss,'crf_viterbi_accuracy':crf_viterbi_accuracy}

# To load a persisted model that uses the CRF layer 
model1 = load_model("/home/abc/my_model_01.hdf5", custom_objects = custom_objects)
    InformationsquelleAutor TRINADH NAGUBADI