Comment dois-je appeler une fonction sur une Étincelle DataFrame à l'aide de JAVA?

Question similaire comme ici, mais n'avez pas assez de points pour commentaire.

Selon la dernière Étincelle la documentation un udf peut être utilisé de deux manières différentes, l'une avec SQL et un autre avec un DataFrame. J'ai trouvé plusieurs exemples de comment utiliser un udf avec sql, mais n'ont pas été en mesure de trouver tout sur la façon d'utiliser un udf directement sur un DataFrame.

La solution fournie par l'o.p. sur la question ci-dessus utilise __callUDF()__ qui est _deprecated_ et sera supprimée dans Spark 2.0 selon l'Étincelle Java documentation de l'API. Là, il dit:

", car il est redondant avec l'udf()"

donc ce qui veut dire que je devrais être en mesure d'utiliser __udf()__ cal un de mes udf, mais je ne peux pas comprendre comment le faire. Je n'ai pas trébuché sur quelque chose qui décrit la syntaxe de Java-Spark programmes. Ce qui me manque?

import org.apache.spark.sql.api.java.UDF1;
.
.    
UDF1 mode = new UDF1<String[], String>() {
    public String call(final String[] types) throws Exception {
        return types[0];
    }
};

sqlContext.udf().register("mode", mode, DataTypes.StringType);
df.???????? how do I call my udf (mode) on a given column of my DataFrame df?
  • Il n'est pas. Vérifiez soigneusement signatures 🙂 un exemple de code? UDF + données? La mise en forme?
  • Ajout d'un code de clarifier ce que je vous demande. Comme pour la partie plaignante, j'ai un sentiment tenace que je ne suis pas en train de faire. Il ne devrait pas prendre des heures pour comprendre comment faire les choses en Java-Étincelle. Je pense que je suis absent quelque chose, du livre(s), de la documentation, quelque part, une source de connaissances qui feront les indices que je reçois de mon IDE suffisant pour faire les choses sans avoir à google pendant des heures. Tout ce que j'ai trouver est de Scala et il n'est pas clair du tout pour moi comment faire la même chose en Java.
  • Eh bien, techniquement parlant Scala classes sont valables classes Java. Il désigne les présentes peuvent être utilisées directement en Java. Le problème est que la Scala est beaucoup plus riche langage que Java. Cela signifie que beaucoup de choses ne peut pas être fait facilement sans déballer tous de la Scala de la magie.
  • vous me dites que je n'ai besoin de se déplacer à la Scala.. il semble bien que ce serait un meilleur investissement de temps que de continuer à essayer de chausse-pied de la bougie dans le code Java. Je vous remercie.
  • Pas nécessairement, mais il peut être plus facile pour vous que de traiter avec Scala internes.
InformationsquelleAutor Kai | 2016-02-11
  1. 22

    Spark >= 2.3

    Scala de style udf peut être invoquée directement:

    import static org.apache.spark.sql.functions.*;
import org.apache.spark.sql.expressions.UserDefinedFunction;

UserDefinedFunction mode = udf(
  (Seq<String> ss) -> ss.headOption(), DataTypes.StringType
);

df.select(mode.apply(col("vs"))).show();

    Spark < 2.3

    Même si nous supposons que votre fichier UDF est utile et ne peut pas être remplacée par une simple getItem appel il a signature incorrecte. Colonnes de tableau sont exposés à l'aide de la Scala WrappedArray pas plaine Java les Tableaux de sorte que vous avez à régler à la signature:

    UDF1 mode = new UDF1<Seq<String>, String>() {
  public String call(final Seq<String> types) throws Exception {
    return types.headOption();
  }
};

    Si UDF est déjà enregistré:

    sqlContext.udf().register("mode", mode, DataTypes.StringType);

    vous pouvez simplement utiliser callUDF (qui est une nouvelle fonction introduite dans la version 1.5) pour l'appeler par son nom:

    df.select(callUDF("mode", col("vs"))).show();

    Vous pouvez également l'utiliser dans selectExprs:

    df.selectExpr("mode(vs)").show();
    • Tout d'abord, je vous remercie. L'udf est simplifié un peu, celui que j'ai écrit sera de retour une Chaîne unique qui est fonction de la Chaîne de tableau dans la colonne (ligne par ligne, pas d'agrégation). Cela semblait être un cas parfait pour l'une de ces fonctions dans l'étincelle.sql.les fonctions de la suite, mais ce dont j'ai besoin (les plus fréquentes de l'élément dans le tableau de chaîne) n'est pas là, donc moi en essayant de développer mon propre udf().
    • J'ai utilisé avec succès cette solution pour diviser l'Étincelle ML "probabilité" vecteur colonne en plusieurs colonnes à l'aide de code Java. J'espère que cela va aider quelqu'un à trouver la solution la plus rapide que j'ai fait.
    • Dans Spark >= 2.3, comment voulez-vous passer plusieurs colonnes à l'UDF défini dans la réponse?
    InformationsquelleAutor zero323