Comment trouver la taille de l'étincelle RDD / Dataframe?

Je sais comment trouver la taille du fichier en scala.Mais comment trouver un RDD/dataframe taille spark?

Scala:

object Main extends App {
  val file = new java.io.File("hdfs://localhost:9000/samplefile.txt").toString()
  println(file.length)
}

Étincelle:

val distFile = sc.textFile(file)
println(distFile.length)

mais si je le traiter ne pas obtenir la taille du fichier. Comment trouver le RDD taille?

source d'informationauteur Venu A Positive

  1. 32

    Si vous êtes simplement à la recherche pour compter le nombre de lignes dans la rddn':

    val distFile = sc.textFile(file)
println(distFile.count)

    Si vous êtes intéressé dans les octets, vous pouvez utiliser le SizeEstimator:

    import org.apache.spark.util.SizeEstimator
println(SizeEstimator.estimate(distFile))

    https://spark.apache.org/docs/latest/api/java/org/apache/spark/util/SizeEstimator.html

  2. 10

    Oui j'ai Finalement trouvé la solution.
    Inclure ces bibliothèques.

    import org.apache.spark.sql.Row
import org.apache.spark.rdd.RDD
import org.apache.spark.rdd
import org.apache.spark.util.SizeEstimator

    Comment trouver le RDD Taille:

    def calcRDDSize(rdd: RDD[String]): Long = {
  rdd.map(_.getBytes("UTF-8").length.toLong)
     .reduce(_+_) //add the sizes together
}

    Fonction pour trouver DataFrame taille:
    (Cette fonction, il suffit de convertir DataFrame de RDD en interne)

    val dataFrame = sc.textFile(args(1)).toDF() //you can replace args(1) with any path

val rddOfDataframe = dataFrame.rdd.map(_.toString())

val size = calcRDDSize(rddOfDataframe)
  3. 4

    Ci-dessous est une façon en dehors de SizeEstimator.J'utilise fréquemment

    De savoir à partir de code sur un EDR si il est mis en cache, et, plus précisément, comment de nombreux de ses partitions sont mis en cache dans la mémoire et comment beaucoup de sont mis en cache sur le disque? pour obtenir le niveau de stockage, également voulez connaître l'actuelle mise en cache d'état.pour Connaître la consommation de mémoire.

    Étincelle Contexte a developer api méthode getRDDStorageInfo()
    Occasionnellement, vous pouvez utiliser ce.

    Retour d'informations sur ce Rdd sont mis en cache, si ils sont en mem ou
    sur le disque, la quantité d'espace qu'ils prennent, etc.

    Par Exemple :

    scala> sc.getRDDStorageInfo
       res3: Array[org.apache.spark.storage.RDDInfo] = 
       Array(RDD "HiveTableScan [name#0], (MetastoreRelation sparkdb, 
       firsttable, None), None " (3) StorageLevel: StorageLevel(false, true, false, true, 1);  CachedPartitions: 1;

    TotalPartitions: 1;
    MemorySize: 256.0 B; ExternalBlockStoreSize: 0.0 B; DiskSize: 0.0 B)

    Semble que l'étincelle de l'interface utilisateur a également utilisé les mêmes à partir de ce code

    • Voir cette question de la Source SPARK-17019 qui décrit...

    Description

    Avec SPARK-13992, Étincelle prend en charge la conservation des données dans
    hors de segment de mémoire, mais l'utilisation de off-heap n'est pas exposé actuellement,
    il n'est pas si commode pour l'utilisateur de surveiller et de profil, donc ici
    proposer d'exposer hors de segment de mémoire ainsi que d'un tas utilisation de la mémoire dans
    divers lieux:

    1. Étincelle de l'INTERFACE utilisateur de l'exécuteur page affiche les deux sur le tas et off-heap utilisation de la mémoire.
    2. RESTE requête renvoie à la fois sur le tas et hors de segment de mémoire.
    3. Aussi, ces deux l'utilisation de la mémoire peut être obtenue par programmation à partir de SparkListener.