Joindre des dataframes Spark sur la clé

J'ai construit deux dataframes. Comment peut-on joindre plusieurs Étincelle dataframes ?

Par Exemple :

PersonDfProfileDf avec une colonne commune comme personId comme (clé).
Maintenant, comment pouvons-nous avoir un Dataframe combinant PersonDf et ProfileDf?

source d'informationauteur Bindumalini KK

  1. 24

    Alias Approche à l'aide de la scala :

    Vous pouvez utiliser la classe de cas pour préparer l'échantillon de données, ...
    ce qui est optionnel pour ex: vous pouvez obtenir DataFrame de hiveContext.sql ainsi.. 

    import org.apache.spark.sql.functions.col

case class Person(name: String, age: Int, personid Int)

case class Profile(name: String, personid  int , profileDescription: Int)

    val df1 = sqlContext.createDataFrame(
   Person("Bindu",20,  2) 
:: Person("Raphel",25, 5) 
:: Person("Ram",40, 9):: Nil)


val df2 = sqlContext.createDataFrame(
Profile("Spark",2,  "SparkSQLMaster") 
:: Profile("Spark",5, "SparkGuru") 
:: Profile("Spark",9, "DevHunter"):: Nil
)

//you can do alias to refer column name with aliases to  increase readablity

val df_asPerson = df1.as("dfperson")
val df_asProfile = df2.as("dfprofile")


val joined_df = df_asPerson.join(
    df_asProfile
, col("dfperson.personid") === col("dfprofile.personid")
, "inner")


joined_df.select(
  col("dfperson.name")
, col("dfperson.age")
, col("dfprofile.name")
, col("dfprofile.profileDescription"))
.show

    échantillon de la table temporaire de l'approche que je n'aime pas personnellement...

    La raison d'utiliser la méthode registerTempTable( nomtable ) méthode pour un DataFrame, est de sorte qu'en plus d'être en mesure d'utiliser l'Étincelle fournis par les méthodes d'un DataFrame, vous pouvez aussi émettre des requêtes SQL via sqlContext.sql( sqlQuery ) de la méthode, que l'usage que DataFrame comme une table SQL. Le nom de la table paramètre spécifie le nom de la table à utiliser pour que DataFrame dans les requêtes SQL.

    df_asPerson.registerTempTable();
df_asProfile.registerTempTable()

sqlContext.sql("""SELECT dfperson.name, dfperson.age, dfprofile.profileDescription
                  FROM  dfperson JOIN  dfprofile
                  ON dfperson.personid == dfprofile.personid""")

    Si vous voulez en savoir plus sur les jointures pls voir ce joli post : au-delà des traditionnels-rejoignez-with-apache-spark

    Joindre des dataframes Spark sur la clé

    Remarque : Comme indiqué par @RaphaelRoth ,

    val resultDf = PersonDf.join(ProfileDf,Seq("personId")) est bon
    approche depuis il ne marche pas dupliquer les colonnes des deux côtés si vous utilisez une jointure interne avec la même table.

    ASTUCE :

    Aussi, chose importante dans les jointures : fonction de radiodiffusion peut vous aider à donner soupçon, se référer à ma réponse

  2. 12

    vous pouvez utiliser

    val resultDf = PersonDf.join(ProfileDf, PersonDf("personId") === ProfileDf("personId"))

    ou plus courtes et plus souples (comme vous pouvez facilement spécifier plus de 1 colonnes pour les joindre)

    val resultDf = PersonDf.join(ProfileDf,Seq("personId"))
  3. 0

    De https://spark.apache.org/docs/1.5.1/api/java/org/apache/spark/sql/DataFrame.htmlutilisez join:

    Intérieure équi-jointure avec une autre DataFrame à l'aide de la colonne donnée.

    PersonDf.join(ProfileDf,$"personId")

    OU

    PersonDf.join(ProfileDf,PersonDf("personId") === ProfileDf("personId"))

    Mise à jour:

    Vous pouvez également enregistrer le DFs temp table à l'aide de df.registerTempTable("tableName") et vous pouvez écrire des requêtes sql à l'aide de sqlContext.