Comment ajouter une Étincelle Dataframe vers le bas de l'autre dataframe?

Je peux utiliser withcolumnpour ajouter de nouvelles colonnes à un Dataframe. Mais en scala comment puis-je ajouter de nouvelles lignes à un DataFrame?

J'essaye d'ajouter un dataframe vers le bas d'une autre. Donc, soit comment ajouter des lignes en scala ou comment ajouter un DataFrame vers le bas de l'autre on va les aider. Grâce

Avez-vous vérifié la unionAll() fonction?
Merci! unionAll fonctionne!

OriginalL'auteur Gavin Niu | 2015-11-05

  1. 31

    Si elles ont le même schéma, il suffit d'utiliser union pour spark 2+:

    val dfUnion = df1.union(df2)

    Ou unionAll pour spark 1+:

    val dfUnion = df1.unionAll(df2)
    Merci pour votre aide! C'est ce que j'ai besoin!
    Depuis Spark 2.0 unionAll() est marqué comme deprecated (@deprecated("utilisez union()", "2.0.0")) - j'ai changé votre réponse en conséquence.
    La question semble être de parler de concaténation ("ajouter un vers le bas de l'autre"), et seulement pour l'avenir, les chercheurs: union n'est pas la même que la concaténation. Il ne fait pas de l'ordre de garanties sur les données combinées.

    OriginalL'auteur Jean Logeart