La compréhension de l'Étincelle de la sérialisation

Pour sérialiser un objet de moyens pour la conversion de son état à un flux d'octets, de sorte que le flux d'octets peut être repris dans une copie de l'objet. Un objet Java est sérialisable si sa classe ou de l'une de ses superclasses met en œuvre le java.io.L'interface Serializable ou de ses subinterface, java.io.Externalizable.

Une classe n'est jamais sérialisé seulement un objet d'une classe est sérialisé. Sérialisation d'un objet est nécessaire si l'objet doit être conservé ou transmis sur le réseau .

Class Component            Serialization
instance variable           yes
Static instance variable    no
methods                     no
Static methods              no
Static inner class          no
local variables             no

Prenons un exemple Étincelle code et allez par le biais de divers scénarios

public class SparkSample {

      public int instanceVariable                =10 ;
      public static int staticInstanceVariable   =20 ;

      public int run(){

         int localVariable                       =30;

         //create Spark conf
         final SparkConf sparkConf = new SparkConf().setAppName(config.get(JOB_NAME).set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");

         //create spark context 
         final JavaSparkContext sparkContext = new JavaSparkContext(sparkConf);

        //read DATA 
        JavaRDD<String> lines = spark.read().textFile(args[0]).javaRDD(); 


        //Anonymous class used for lambda implementation
        JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
                @Override
                public Iterator<String> call(String s) {
                //How will the listed varibles be accessed in RDD across driver and Executors 
                System.out.println("Output :" + instanceVariable + " " + staticInstanceVariable + " " + localVariable);
                return Arrays.asList(SPACE.split(s)).iterator();
        });

        //SAVE OUTPUT
        words.saveAsTextFile(OUTPUT_PATH));

      }

       //Inner Static class for the funactional interface which can replace the lambda implementation above 
       public static class MapClass extends FlatMapFunction<String, String>() {
                @Override
                public Iterator<String> call(String s) {
                System.out.println("Output :" + instanceVariable + " " + staticInstanceVariable + " " + localVariable);
                return Arrays.asList(SPACE.split(s)).iterator();
        }); 

        public static void main(String[] args) throws Exception {
            JavaWordCount count = new JavaWordCount();
            count.run();
        }
}

De l'accessibilité et de Serializability de la variable d'instance à partir de l'intérieur d'une Classe interne des objets de la classe

 Inner class           |   Instance Variable (Outer class)   | Static Instance Variable (Outer class)      |  Local Variable (Outer class)

     Anonymous class   |     Accessible And Serialized       | Accessible yet not Serialized                   |  Accessible And Serialized 

    Inner Static class | Not Accessible                      | Accessible yet not Serialized                   | Not Accessible 

Règle de base lors de la compréhension de l'Étincelle de l'emploi est :

1. Tous les lambda fonctions écrites à l'intérieur de la RDD sont instanciés sur le conducteur et les objets sont sérialisés et envoyé aux exécuteurs

2. Si tout extérieur de la classe des variables d'instance sont accessibles à l'intérieur de la classe, le compilateur appliquer une logique différente pour y accéder, donc extérieur de la classe est sérialisée ou non dépend de quoi avez-vous accès.

3. En termes de Java, tout le débat est sur la classe vs Intérieur de la classe et comment l'accès externe références de classe et les variables conduit à la sérialisation.

Différents scénarios:

Extérieur de la classe les variables accessibles dans la classe Anonyme :

---

Variable d'Instance (à l'Extérieur de la classe)

Compilateur par défaut insère constructeur dans le byte code de la

Classe anonyme avec référence à l'Extérieur de la classe de l'objet .

L'extérieur de la classe d'objet est utilisé pour accéder à la variable d'instance

Anonyme-classe(){

 final Outer-class reference;

 Anonymous-class( Outer-class outer-reference){

reference = outer-reference;

}

}

L'extérieur de la classe est sérialisé et envoyé avec le
objet sérialisé de l'intérieur de la classe anonyme

---

Statique de la Variable d'Instance (à l'Extérieur de la classe)

Comme variables statiques ne sont pas numérotés , extérieur de la classe
l'objet est toujours insérée dans l'anonymat le constructeur de la classe .

La valeur de la variable statique est pris à partir de l'état de classe

présents sur cet exécuteur testamentaire .

---

Variable locale (à l'Extérieur de la classe)

Compilateur par défaut insère constructeur dans le byte code de la

Classe anonyme avec référence à l'objet de classe ET la variable locale refrence.

L'extérieur de la classe d'objet est utilisé pour accéder à la variable d'instance

Anonyme-classe(){

 final Outer-class reference;

final Local-variable localRefrence ;

 Anonymous-class( Outer-class outer-reference, Local-variable localRefrence){

reference = outer-reference;

this.localRefrence = localRefrence;

}

}

L'extérieur de la classe est sérialisé , et la variable locale de l'objet est également

sérialisé et envoyé en même temps que l'objet sérialisé de l'intérieur de la classe anonyme

Que la variable locale devient un membre de l'instance à l'intérieur de la classe anonyme il doit être sérialisé . De l'extérieur de la classe point de vue de la variable locale ne peut jamais être sérialisé

----------

Extérieur de variables de classe accessible avec Statique à l'intérieur de la classe.

Variable d'Instance (à l'Extérieur de la classe)

ne peut pas être consulté

---

Variable locale (à l'Extérieur de la classe)

ne peut pas être consulté

---

Statique de la Variable d'Instance (à l'Extérieur de la classe)

Comme variables statiques ne sont pas numérotés, donc pas extérieur de la classe d'objet est sérialisé.

La valeur de la variable statique est pris à partir de l'état de classe

présents sur cet exécuteur testamentaire .

Extérieur de la classe n'est pas sérialisé et de l'envoyer avec la sérialisé Statique à l'intérieur de la classe

---

Points à réfléchir:

1. La Sérialisation Java règles sont suivies pour sélectionner la classe de l'objet doit être sérialisé .

2. Utilisation javap -p -c "abc.class" déballer le byte code et de voir le code généré par le compilateur,

3. En fonction de ce que vous essayez d'accéder à l'intérieur de la classe de l'extérieur de la classe, le compilateur génère différents de byte code.

4. Vous n'avez pas besoin de créer des classes de mettre en œuvre la Sérialisation qui sont uniquement accessibles sur le conducteur .

5. Anonyme/classe statique (toutes les fonction lambda sont la classe anonyme) utilisé à l'intérieur CA va être instancié sur le pilote .

6. Toute classe/variable utilisée à l'intérieur CA va être instancié sur le conducteur et envoyé aux exécuteurs .

7. Toute variable d'instance a déclaré transitoire ne sera pas sérialisé sur le conducteur.

   1. Par défaut Anonyme classes va vous forcer à faire l'extérieur de la classe sérialisable.
   2. Toute variable locale/objet n'ont pas besoin d'être sérialisable .
   3. Seulement si la variable locale est utilisée à l'intérieur de la classe Anonyme doit être sérialisé
   4. L'on peut créer de singleton à l'intérieur de la méthode call() de la paire,mapToPair de la fonction , afin de s'assurer que son jamais initialisé sur pilote
   5. les variables statiques sont jamais sérialisé par conséquent, ne sont jamais envoyés
      à partir du pilote d'exécuteurs
8. si u besoin de tous les services pour être exécutées que sur l'exécuteur testamentaire , de les rendre champs statiques à l'intérieur de la fonction lambda , ou de les rendre transitoire et singelton et vérifier la valeur null condition de les instancier

OriginalL'auteur KrazyGautam