Quelle est la différence entre exploser de la fonction et de l'opérateur?

spark.sql.functions.explode

explode fonction crée une nouvelle ligne pour chaque élément dans le tableau donné ou d'une carte de colonne (dans un DataFrame).

val signals: DataFrame = spark.read.json(signalsJson)
signals.withColumn("element", explode($"data.datapayload"))

explode crée un Colonne.

Voir fonctions objet et l'exemple de la Comment se détendre tableau dans DataFrame (à partir de JSON)?

Dataset<Row> explode /flatMap opérateur (méthode)

explode opérateur est presque la explode fonction.

De la scaladoc:

explode renvoie un nouveau jeu de données où une seule colonne a été élargi à zéro ou plusieurs lignes par la fonction fournie. Ceci est similaire à une VUE LATÉRALE en HiveQL. Toutes les colonnes de la ligne d'entrée sont implicitement rejoint avec chaque valeur est sortie par la fonction.

ds.flatMap(_.words.split(" "))

Veuillez noter que, pour citer à nouveau le scaladoc):

Obsolète (Depuis la version 2.0.0) utilisation flatMap() ou select() avec functions.explode() au lieu

Voir Dataset API et l'exemple de la Comment diviser multi-valeur de la colonne pour séparer les lignes à l'aide de Dataset typé?

---

Malgré explode être déprécié (que l'on pourrait alors traduire la question principale à la différence entre explode fonction et flatMap opérateur), la différence est que le premier est une fonction alors que le second est un opérateur. Ils ont des signatures différentes, mais peuvent donner les mêmes résultats. Cela conduit souvent à des discussions, ce qui est la meilleure et généralement se résume à la préférence personnelle ou de style de codage.

On pourrait aussi dire que flatMap (c'est à dire explode opérateur) est plus Scala-ish compte tenu de la façon ubiquitaire flatMap est en Scala de programmation (principalement caché derrière pour-de la compréhension).