Ajout d'une nouvelle colonne dans la Trame de Données calculées à partir d'autres colonnes (Spark)

Je suis en utilisant Étincelle 1.3.0 et Python. J'ai un dataframe, et je tiens à ajouter une colonne supplémentaire qui est dérivée à partir d'autres colonnes. Comme ça,

>>old_df.columns
[col_1, col_2, ..., col_m]

>>new_df.columns
[col_1, col_2, ..., col_m, col_n]

où

col_n = col_3 - col_4

Comment puis-je faire dans PySpark?

OriginalL'auteur menorah84 | 2015-07-10

  1. 22

    Un moyen d'y parvenir est d'utiliser withColumn méthode:

    old_df = sqlContext.createDataFrame(sc.parallelize(
    [(0, 1), (1, 3), (2, 5)]), ('col_1', 'col_2'))

new_df = old_df.withColumn('col_n', old_df.col_1 - old_df.col_2)

    Alternativement, vous pouvez utiliser SQL sur une table inscrite:

    old_df.registerTempTable('old_df')
new_df = sqlContext.sql('SELECT *, col_1 - col_2 AS col_n FROM old_df')
    Hey @zero323, si je veux créer une colonne c'est à dire Col_1 est une chaîne et col_2 est une chaîne et je veux column_n que la jointure de col_1 et Col_2. c'est à dire Col_1 est égal à zéro et column_2 323. Column_n devrait être zero323 ?
    href="http://stackoverflow.com/a/31452109/1560062">stackoverflow.com/a/31452109/1560062
    Merci @zero323. Bien que j'ai cette question: df.sélectionnez(concat(col("k"), éclairé(" "), le col("v"))), Comment puis-je créer une troisième colonne ici ?
    DataFrame,withColumn ou select("*", concat(....))
    df.withColumn ( 'Datetime', df.colonne1 + " + df.colonne2 ) ne fonctionne pas

    OriginalL'auteur zero323

  2. 5

    En outre, nous pouvons utiliser udf

    from pyspark.sql.functions import udf,col
from pyspark.sql.types import IntegerType
from pyspark import SparkContext
from pyspark.sql import SQLContext

sc = SparkContext()
sqlContext = SQLContext(sc)
old_df = sqlContext.createDataFrame(sc.parallelize(
    [(0, 1), (1, 3), (2, 5)]), ('col_1', 'col_2'))
function = udf(lambda col1, col2 : col1-col2, IntegerType())
new_df = old_df.withColumn('col_n',function(col('col_1'), col('col_2')))
new_df.show()

    OriginalL'auteur arker296