Comment initialiser les préjugés dans un Keras modèle?

Je suis en train de construire un modèle synthétique dans Keras, et j'ai besoin d'assigner des valeurs pour les poids et les biais. L'attribution du poids est facile, je suis en utilisant les instructions fournies ici: https://keras.io/initializations/.
Cependant, je ne pouvais pas trouver toutes les instructions sur la façon d'attribuer les préjugés. Des idées?

OriginalL'auteur Mohammad Amin | 2016-11-20

  1. 7

    Vous trouverez la réponse ici.
    https://keras.io/layers/core/

    poids: liste des tableaux Numpy définir comme poids initiaux. La liste
    doit avoir 2 éléments, de forme (input_dim, output_dim) et
    (output_dim,) pour les poids et les biais respectivement.

    Lors de l'ajout d'une nouvelle couche, vous pouvez définir l'argument de "poids", une liste qui contient initiale w et b la forme de la speicified.

    model.add(Dense(50, input_dim= X_train.shape[1], weights = [np.zeros([692, 50]), np.zeros(50)]))

    L'initialisation de tous les poids de zéros (ou, d'ailleurs, de toute valeur, où tous les neurones sont identiques) est une très mauvaise idée. Un random_normal (ou truncated_normal) initialiseur doit être utilisé avec un biais en fonction de la fonction d'activation utilisée.
    Je suis d'accord avec @Peteris ici. Vous devriez au moins d'initialisation du noyau de poids pour autre chose que des zéros.

    OriginalL'auteur Hengda Qi

  2. 13

    Vous pouvez également utiliser bias_initializer comme ceci:

    model.add(Dense(64,
                kernel_initializer='random_uniform',
                bias_initializer='zeros')

    C'est à partir de https://keras.io/initializers/

    OriginalL'auteur StatsSorceress

  3. 2

    Initialiser les préjugés avec petite valeur positive tels que 0,1

    Puisque nous l'utilisons ReLU les neurones, il est aussi une bonne pratique pour les initialiser avec un effet légèrement positif initial en biais, pour éviter la "mort des neurones".

    OriginalL'auteur daoliker

  4. 0

    Poids et les biais d'initialisation pour chaque couche peut être réglé via le kernel_initializer et bias_initializer mot-clé arguments, respectivement, à layers.Dense(). Si pas défini par l'utilisateur, les paramètres par défaut de kernel_initializer='glorot_uniform' et bias_initializer='zeros' sont appliquées.

    Par exemple, si vous souhaitez initialiser une couche de poids, l'initialisation aléatoire uniforme au lieu de glorot et de la polarisation de l'initialisation de 0.1 au lieu de 0, vous pouvez définir une couche donnée comme suit:

    from keras import layers, initializers

layer = layers.Dense(64,
                     activation='relu',
                     kernel_initializer='random_uniform',
                     bias_initializer=initializers.Constant(0.1))(previous_layer)

    Voir calques/core/ pour plus de détails sur la couche Dense mot-clé arguments et initializers/ pour prédéfinis et personnalisables initialiseur options

    OriginalL'auteur Trevor Witter