Spark dataframe: collect () vs select ()

Appel collect() sur un EDR sera de retour l'ensemble du jeu de données pour le conducteur qui peut causer de la mémoire et nous devons éviter que des.

Sera collect() se comportent de la même façon si elle est appelée sur un dataframe?
Quel est le select() méthode?
Ne travaillent de la même manière que collect() si elle est appelée sur un dataframe?

OriginalL'auteur Mrinal | 2017-05-25

  1. 24

    Actions vs Transformations

    • Recueillir (Action) - de Retour de tous les éléments du jeu de données dans un tableau au programme pilote. C'est généralement utile après un filtre ou
      autre opération qui renvoie suffisamment petit sous-ensemble de données.

    spark-sql doc

    sélectionnez(*cols) (transformation) - Projets d'un ensemble d'expressions et retourne une nouvelle DataFrame.

    Paramètres: cols – liste de noms de colonnes (string) ou des expressions
    (Colonne). Si l'un des noms de colonne est"*", cette colonne est élargi
    pour inclure toutes les colonnes dans le courant DataFrame.**

    df.select('*').collect()
[Row(age=2, name=u'Alice'), Row(age=5, name=u'Bob')]
df.select('name', 'age').collect()
[Row(name=u'Alice', age=2), Row(name=u'Bob', age=5)]
df.select(df.name, (df.age + 10).alias('age')).collect()
[Row(name=u'Alice', age=12), Row(name=u'Bob', age=15)]

    Exécution select(column-name1,column-name2,etc) méthode sur un dataframe, renvoie une nouvelle dataframe qui contient uniquement les colonnes qui ont été sélectionnés dans le select() fonction.

    par exemple, en supposant que df a plusieurs colonnes, y compris "nom" et "valeur" et quelques autres.

    df2 = df.select("name","value")

    df2 tiendra seulement deux colonnes ("nom" et "valeur") de l'ensemble des colonnes de df

    df2 comme le résultat de select sera dans les exécuteurs testamentaires et pas dans le pilote (comme dans le cas de l'utilisation de collect())

    sql-programmation-guide

    df.printSchema()
# root
# |-- age: long (nullable = true)
# |-- name: string (nullable = true)

# Select only the "name" column
df.select("name").show()
# +-------+
# |   name|
# +-------+
# |Michael|
# |   Andy|
# | Justin|
# +-------+

    Vous pouvez courir collect() sur un dataframe (spark docs)

    >>> l = [('Alice', 1)]
>>> spark.createDataFrame(l).collect()
[Row(_1=u'Alice', _2=1)]
>>> spark.createDataFrame(l, ['name', 'age']).collect()
[Row(name=u'Alice', age=1)]

    spark docs

    Pour imprimer tous les éléments sur le pilote, on peut utiliser le collect() la méthode
    d'abord apporter la RDD pour le pilote nœud ainsi:
    rdd.collect().foreach(println). Cela peut amener le pilote à exécuter
    de mémoire, bien que, parce que collect() récupère la totalité de la RDD à un
    seule machine    ; si vous avez seulement besoin d'imprimer quelques-uns des éléments de la RDD, un
    approche plus sûre est d'utiliser le prendre(): rdd.prendre(100).foreach(println).

    OriginalL'auteur Yaron

  2. 4

    appel select sera le résultat est lazy d'évaluation: par exemple:

    val df1 = df.select("col1")
val df2 = df1.filter("col1 == 3")

    les deux déclarations ci-dessus caisse paresseux chemin qui sera exécutée lorsque vous appelez action sur la df, comme show, collect etc.

    val df3 = df2.collect()

    utilisation .explain à la fin de votre transformation à suivre son plan
    voici plus d'informations détaillées Les Transformations et les Actions

    OriginalL'auteur Karol Sudol

  3. 2

    Select est utilisé pour la projection de certains ou de tous les champs d'une dataframe. Il ne vous donnera pas un value de sortie, mais une nouvelle dataframe. Ses un transformation.

    OriginalL'auteur Rajat Mishra

  4. 1

    Select est une transformation, pas une action, c'est donc paresseusement évalué (ne sera pas réellement faire les calculs associez les opérations). Collect est une action.

    Essayer:

    df.limit(20).collect()

    OriginalL'auteur Jason