Quelle est la différence entre memory_only et memory_and_disk la mise en cache de niveau spark?

Comment est le comportement de memory_only et memory_and_disk la mise en cache de niveau spark diffèrent-ils?

InformationsquelleAutor Sandip | 2015-05-29
  1. 34

    Documentation dit ---

    Niveau De Stockage

    Sens

    MEMORY_ONLY

    Magasin de RDD comme désérialiser des objets Java dans la JVM. Si le CA n'a pas
    tenir en mémoire, certaines partitions ne seront pas mises en cache et sera
    recalculées à la volée à chaque fois qu'ils sont nécessaires. C'est la valeur par défaut
    niveau.

    MEMORY_AND_DISK

    Magasin de RDD comme désérialiser des objets Java dans la JVM. Si le CA n'a pas
    tenir en mémoire, magasin de partitions qui ne rentrent pas sur le disque, et de lire
    à partir de là où ils sont requis.

    MEMORY_ONLY_SER

    Magasin de RDD comme des objets Java sérialisés (un tableau d'octets par partition).
    C'est généralement plus efficace que désérialiser des objets,
    en particulier lors de l'utilisation d'un rapide sérialiseur, mais plus gourmandes en ressources PROCESSEUR pour
    lire.

    MEMORY_AND_DISK_SER

    Similaire à MEMORY_ONLY_SER, mais déversement des partitions qui ne rentrent pas dans
    mémoire sur le disque au lieu de recalculer à la volée à chaque fois
    ils sont nécessaires.

    DISK_ONLY

    Magasin de la RDD partitions uniquement sur le disque.

    MEMORY_ONLY_2, MEMORY_AND_DISK_2, etc.

    Même que les niveaux ci-dessus, mais répliquer chaque partition sur deux cluster
    les nœuds.

    OFF_HEAP (expérimental)

    Magasin de RDD en format sérialisé dans Tachyon. Par rapport à
    MEMORY_ONLY_SER, OFF_HEAP réduit la collecte des ordures frais généraux et
    permet exécuteurs à être plus petits et de partager un pool de mémoire, de prise de
    il attrayants dans des environnements avec de grands tas ou simultané de plusieurs
    des applications. En outre, comme la Rdd résident dans Tachyon, le crash de
    un exécuteur testamentaire ne conduit pas à la perte de la mémoire cache. Dans ce mode,
    la mémoire dans le Tachyon est discardable. Ainsi, Tachyon ne tente pas
    pour reconstruire un bloc qu'il expulse de la mémoire.

    Cela signifie pour Mémoire SEULEMENT, étincelle va essayer de garder les partitions dans la mémoire pour toujours. Si certaines partitions ne peuvent pas être gardés en mémoire, ou pour le nœud perte de certaines partitions sont supprimées de la mémoire RAM, étincelle va recalculer en utilisant les informations de lignage. Dans la mémoire-et-disque niveau de la spark qui vous permettra de toujours garder les partitions calculé et mis en cache. Il va essayer de garder en mémoire vive, mais si elle ne rentre pas alors partitions sera renversé sur le disque.

    InformationsquelleAutor ayan guha
  2. 30

    Comme expliqué dans la la documentation, la Persistance de niveaux en termes d'efficacité:

    Niveau de l'Espace temps de calcul En mémoire Sur le disque Sérialisé 
------------------------------------------------------------------------- 
MEMORY_ONLY Haut Bas O N N 
MEMORY_ONLY_SER Faible Élevée o N O 
MEMORY_AND_DISK Élevée Moyenne Certains Certains Certains 
MEMORY_AND_DISK_SER Faible Élevé Certains Certains Y 
DISK_ONLY Bas Haut N o O

    MEMORY_AND_DISK et MEMORY_AND_DISK_SER déversement sur le disque si il y a trop de données pour tenir en mémoire.

    • S'il vous plaît ne pas utiliser d'images pour les tables; utiliser le bloc de code ou <pre> format et à la main-alignés, les colonnes de la place. Le texte de l'Image ne peuvent pas être recherchés et n'est pas accessible.
    • Nice a expliqué sous forme de tableaux.
    InformationsquelleAutor Julina