pyspark joindre plusieurs conditions

Je veux vous demander si vous avez la moindre idée sur comment je peux préciser beaucoup de conditions
pyspark lorsque j'utilise .join()

Exemple :
avec la ruche :

query= "select a.NUMCNT,b.NUMCNT as RNUMCNT ,a.POLE,b.POLE as RPOLE,a.ACTIVITE,b.ACTIVITE as RACTIVITE FROM rapexp201412 b \
    join rapexp201412 a where (a.NUMCNT=b.NUMCNT and a.ACTIVITE = b.ACTIVITE and a.POLE =b.POLE  )\

Mais dans pyspark je ne sais pas comment le faire, car les suivantes:

df_rapexp201412.join(df_aeveh,df_rapexp2014.ACTIVITE==df_rapexp2014.ACTIVITE and df_rapexp2014.POLE==df_aeveh.POLE,'inner')

ne fonctionne pas!!

  • pourriez-vous svp coller le message d'erreur pour DataFrame.rejoindre? ou essayez d'utiliser le keyBy/join en RDD, il en charge l'équi-jointure condition très bien.
  • Utiliser & entre les deux, et assurez-vous de mettre chaque condition en ()
  • Double Possible de Comment rejoindre sur plusieurs colonnes dans Pyspark?
InformationsquelleAutor malouke | 2015-12-02
  1. 16

    Citant étincelle docs:

    (https://spark.apache.org/docs/1.5.2/api/python/pyspark.sql.html?highlight=dataframe%20join#pyspark.sql.DataFrame.join)

    rejoindre(les autres, sur=None, comment=None) s'allie avec un autre DataFrame, à l'aide de la
    compte tenu de joindre l'expression.

    Le suivant effectue une jointure externe complète entre df1 et df2.

    Paramètres: autre – côté Droit de la jointure sur une chaîne pour rejoindre
    nom de la colonne, une liste de noms de colonnes , une expression de jointure (Colonne) ou un
    liste de Colonnes. Si on est une chaîne ou une liste de chaîne de caractères indiquant le
    nom de la colonne de jointure(s), la colonne(s) doit exister sur les deux côtés,
    et effectue un intérieur équi-jointure. comment – str, par défaut "intérieure". Un
    d'intérieur, extérieur, left_outer, right_outer, semijoin.

    >>> df.join(df2, df.name == df2.name, 'outer').select(df.name, df2.height).collect()
 [Row(name=None, height=80), Row(name=u'Alice', height=None), Row(name=u'Bob', height=85)]


>>> cond = [df.name == df3.name, df.age == df3.age]
>>> df.join(df3, cond, 'outer').select(df.name, df3.age).collect()
[Row(name=u'Bob', age=5), Row(name=u'Alice', age=2)]

    Si vous avez besoin d'utiliser la "condition comme une liste" option comme dans le dernier exemple.

    InformationsquelleAutor user3689574
  2. 4
    >>> cond = [df.name == df3.name, df.age == df3.age]
>>> df.join(df3, cond, 'outer').select(df.name, df3.age).collect()
[Row(name=u'Bob', age=5), Row(name=u'Alice', age=2)]

    Cela ne fonctionne pas avec pyspark 1.3.1. J'ai été faire "AssertionError: joinExprs doit être une Colonne"

    Au lieu de cela, j'ai utilisé sql brut pour rejoindre les trames de données comme indiqué ci-dessous

    df.registerTempTable("df")
df3.registerTempTable("df3")

sqlContext.sql("Select df.name,df3.age from df outer join df3 on df.name = df3.name and df.age =df3.age").collect()
    InformationsquelleAutor Mohan