Comment mettre à jour la Ligne/colonne valeur dans un Apache Spark DataFrame?

Salut j'ai commandé Étincelle DataFrameet je voudrais changer quelques lignes lors de l'itération en utilisant le code suivant mais il semble que il n'y a aucun moyen de mettre à jour la Ligne d'objet

orderedDataFrame.foreach(new Function1<Row,BoxedUnit>(){

@Override
public BoxedUnit apply(Row v1) {
//how to I change Row here 
//I want to change column no 2 using v1.get(2)
//also what is BoxedUnit how do I use it
return null;
}
});

Aussi code ci-dessus est de donner une erreur de compilation disant "myclassname is not abstract and it does not override abstract method apply$mcVj$sp(long) in scala Function 1"
Merci de guide. Je suis nouveau à l'Étincelle. Je suis en utilisant la version 1.4.0.

Pourriez-vous fournir un certain contexte? Une idée d'ensemble de la mise à jour des lignes à l'intérieur de foreach les odeurs de poisson, mais le plus de chances il y a d'autres façons d'aborder le problème. BTW Êtes-vous intéressé uniquement en Java des solutions spécifiques? Si donc un java de la balise ou un commentaire pourrait être utile.
Salut oui raison derrière la mise à jour des lignes dans le foreach est mon jeu de données ont un champ d'id de processus et processus à compter de terrain dans le processus laps de temps donc je voudrais commander par chacune des lignes de processus id bases et souhaitez mettre à jour quelques autres processus au niveau des champs en série. C'est bizarre de cas d'utilisation j'accepte.
OK, à mon humble avis ce n'est certainement pas un moyen d'aller. Il y a plusieurs problèmes possibles de départ avec une notion de données immutabilité qui est autant je comprends tout à fait fondamental pour le Spark internes, par le biais de ce qui se passe réellement lorsque vous appliquer des transformations et effectuer des actions, et se terminant avec la performance et de l'exactitude. Vous pouvez mettre en correspondance des données groupées cadre, l'utilisation de SQL avec les fonctions de la fenêtre, sous-ensemble, d'une carte et de l'union. Il y a une bonne raison pour que la Ligne ne permet pas d'affectation postes.

OriginalL'auteur u449355 | 2015-07-15

7

Essayez Ceci:
```
 final DataFrame withoutCurrency = sqlContext.createDataFrame(somedf.javaRDD().map(row -> {
            return RowFactory.create(row.get(0), row.get(1), someMethod(row.get(2)));
        }), somedf.schema());
```
La bonne solution, j'ai été aux prises avec la façon d'ajouter de nouvelles lignes à une DataFrame de modifié les lignes existantes. Cela fournit un moyen pratique d'obtenir un nouveau bloc de données, puis utilisez .unionAll avec l'existant DataFrame

OriginalL'auteur Piotr Sobolewski

Dataset<Row> ds = spark.createDataFrame(Collections.singletonList(data), SellerAsinAttribute.class);
        ds.map((i)-> {
            Object arrayObj = Array.newInstance(Object.class, i.length());
            for (int n = 0; n < i.length(); ++n) {
                Array.set(arrayObj, n, i.get(n));//change 'i.get(n)' to anything you want, if you change type, remember to update schema
            }
            Method create = RowFactory.class.getMethod("create", Object[].class);
            return (Row) create.invoke(null, arrayObj);
        }, RowEncoder.apply(ds.schema())).show();

Spark 2.3 testé

OriginalL'auteur Dafan

Vous devez vous connecter pour publier un commentaire.