Supprimer les données d'étincelles du cache

Je suis en utilisant Étincelle 1.3.0 avec l'api python. Tout en transformant énorme dataframes, je cache beaucoup de DFs pour une exécution plus rapide;

df1.cache()
df2.cache()

Une fois l'utilisation de certains dataframe est plus et n'est plus nécessaire comment puis-je déposer DF à partir de la mémoire (ou de l'onu-cache??)?

Par exemple, df1 est utilisé à travers le code tout en df2 est utilisé pour le peu de transformations et d'après cela, il n'est jamais nécessaire. Je veux avec force drop df2 pour libérer plus d'espace mémoire.

source d'informationauteur ankit patel

  1. 25

    juste faire ce qui suit:

    df1.unpersist()
df2.unpersist()

    Étincelle surveille automatiquement l'utilisation du cache sur chaque nœud et tombe
    anciennes partitions de données dans un moins récemment utilisés (LRU) de la mode. Si vous
    voudrais supprimer manuellement un EDR au lieu d'attendre qu'il tombe
    hors de la mémoire cache, l'utilisation de la RDD.unpersist() la méthode.

  2. 3

    Si le dataframe enregistré comme une table pour les opérations SQLcomme 

    df.createGlobalTempView(tableName) //or some other way as per spark verision

    puis le cache peuvent être déposés avec les commandes suivantes, -cours étincelle aussi le fait automatiquement

    Spark >= 2.x

    Ici spark est un objet de SparkSession

    • Déposez une table spécifique/df à partir du cache

      spark.catalog.uncacheTable(tableName)

    • Déposer tous les tableaux/dfs de cache

      spark.catalog.clearCache()

    Spark <= 1.6.x

    • Déposez une table spécifique/df à partir du cache

      sqlContext.uncacheTable(tableName)

    • Déposer tous les tableaux/dfs de cache

      sqlContext.clearCache()