Comment convertir le DataFrame de RDD en Scala?
Quelqu'un peut s'il vous plaît partager comment on peut convertir un dataframe
à un RDD
?
Vous devez vous connecter pour publier un commentaire.
Quelqu'un peut s'il vous plaît partager comment on peut convertir un dataframe
à un RDD
?
Vous devez vous connecter pour publier un commentaire.
Simplement:
val rows: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = df.rdd
Utilisation
df.map(row => ...)
pour convertir le dataframe à un RDD si vous voulez mapper une ligne à une autre RDD élément. Par exemplevous donne une paire RDD où la première colonne de la df est la clé et la deuxième colonne de la df est la valeur.
Je viens de regarder ma réponse et j'ai trouvé ce post.
Jean, la réponse à tout à fait raison,ajoutant que "df.rdd" sera de retour un RDD[Lignes]. J'ai besoin d'appliquer la fonction split() une fois que je reçois des RDD. Pour cela nous avons besoin de convertir des RDD[Ligne} pour CA[String]