Comment ajouter une nouvelle colonne à une Étincelle RDD?

J'ai un RDD avec de NOMBREUX colonnes (par exemple, des centaines), comment puis-je ajouter une colonne à la fin de cette RDD?

Par exemple, si mon CA est comme ci-dessous:

    123, 523, 534, ..., 893
    536, 98, 1623, ..., 98472
    537, 89, 83640, ..., 9265
    7297, 98364, 9, ..., 735
    ......
    29, 94, 956, ..., 758

comment puis-je ajouter une colonne, dont la valeur est la somme de la deuxième et la troisième colonnes?

Merci beaucoup.

Notez que dataframes sont immuables. Vous ne pouvez pas modifier, mais vous pouvez en faire une nouvelle à partir d'une ancienne... voir stackoverflow.com/questions/29109916/...

OriginalL'auteur Carter | 2015-04-30

  1. 8

    Vous n'avez pas à utiliser Tuple* objets à tous pour l'ajout d'une nouvelle colonne à une RDD.

    Il peut être fait par la cartographie de chaque ligne, la prise de son contenu d'origine, plus les éléments que vous souhaitez ajouter, par exemple:

    val rdd = ...
val withAppendedColumnsRdd = rdd.map(row => {
  val originalColumns = row.toSeq.toList
  val secondColValue = originalColumns(1).asInstanceOf[Int]
  val thirdColValue = originalColumns(2).asInstanceOf[Int]
  val newColumnValue = secondColValue + thirdColValue 
  Row.fromSeq(originalColumns :+ newColumnValue)
  //Row.fromSeq(originalColumns ++ List(newColumnValue1, newColumnValue2, ...)) //or add several new columns
})

    OriginalL'auteur Antot

  2. 4

    vous avez RDD de tuple 4, s'appliquent de la carte et de le convertir à tuple5

    val rddTuple4RDD = ...........
val rddTuple5RDD = rddTuple4RDD.map(r=> Tuple5(rddTuple4._1, rddTuple4._2, rddTuple4._3, rddTuple4._4, rddTuple4._2 + rddTuple4._3))
    Grâce sb'. Un problème est que dans mon réel des données, il y a beaucoup de colonnes (par exemple, des centaines), il n'est pas facile d'énumérer les valeurs de toutes les colonnes. Est-il possible de gérer plusieurs colonnes?

    OriginalL'auteur banjara