Comment voulez-vous créer une fonction d'activation avec Keras?

Parfois le défaut standard activations comme ReLU, tanh, softmax, ... et la avancée des activations comme LeakyReLU ne sont pas assez. Et il pourrait également ne pas être en keras-contrib.

Comment voulez-vous créer votre propre fonction d'activation?

OriginalL'auteur Martin Thoma | 2017-05-11

  1. 31

    Crédits à cette Github question commentaire par Ritchie Ng.

    from keras.layers import Activation
from keras import backend as K
from keras.utils.generic_utils import get_custom_objects

def custom_activation(x):
    return (K.sigmoid(x) * 5) - 1

get_custom_objects().update({'custom_activation': Activation(custom_activation)})

model.add(Activation(custom_activation))

    Veuillez garder à l'esprit que vous devez importer cette fonction lorsque vous enregistrez et restaurer le modèle. Voir la note de keras-contrib.

    En outre, il peut être passé en paramètre à une couche, tels que model.add(Dense(10,activation=custom_activation))
    Vous pourriez également être intéressé par Comment puis-je import * à partir d'un module chargé avec imp?
    Il pourrait être utile de noter que le moyen privilégié pour accéder à l'objet personnalisé piscine dans keras est par custom_object_scope()
    Si c'est un custom fonction d'activation, ne keras savez comment sauvegarder propager que par la différenciation. (comme Théano)
    Oui, Keras ne autodifferenciation

    OriginalL'auteur Martin Thoma

  2. 0

    Disons que vous souhaitez ajouter swish ou gelu de keras, les méthodes précédentes sont sympas inline insertions. Mais vous pouvez également insérer dans l'ensemble de keras fonctions d'activation, de sorte que vous vous appeler personnalisé fucntion comme vous le feriez appel ReLU. J'ai testé avec keras 2.2.2 (tout v2 ferait). Ajouter à ce fichier $HOME/anaconda2/lib/python2.7/site-packages/keras/activations.py la définition de votre fonction personnalisée (peut être différent pour vous de python et anaconda version).

    Dans keras interne:

    $HOME/anaconda2/lib/python2.7/site-packages/keras/activations.py

def swish(x):
    return (K.sigmoid(beta * x) * alpha *x)

    Ensuite dans votre fichier python:

    $HOME/Documents/neural_nets.py

model = Sequential()
model.add(Activation('swish'))

    OriginalL'auteur Julien Nyambal

  3. 0

    Légèrement plus simple que Martin Thoma réponse: il vous suffit de créer un élément personnalisé-sage back-end de la fonction et de l'utiliser comme paramètre. Vous avez encore le besoin d'importer cette fonction avant le chargement de votre modèle.

    from keras import backend as K

def custom_activation(x):
    return (K.sigmoid(x) * 5) - 1

model.add(Dense(32 , activation=custom_activation))

    OriginalL'auteur Eponymous