Comment faire pour convertir les ensembles de données de Spark Ligne dans la chaîne?

J'ai écrit le code pour accéder à la table de la Ruche à l'aide de SparkSQL. Voici le code:

SparkSession spark = SparkSession
        .builder()
        .appName("Java Spark Hive Example")
        .master("local[*]")
        .config("hive.metastore.uris", "thrift://localhost:9083")
        .enableHiveSupport()
        .getOrCreate();
Dataset<Row> df =  spark.sql("select survey_response_value from health").toDF();
df.show();

Je voudrais savoir comment je peux convertir la production complète de Chaîne de caractères ou un tableau de chaînes? Comme je suis en train de travailler avec un autre module lorsque que je peux passer de Chaîne ou de type Chaîne de valeurs de Tableau.
J'ai essayé d'autres méthodes comme .toString ou transtypage de la Chaîne de valeurs. Mais n'a pas travaillé pour moi.
Veuillez me faire savoir comment je peux convertir l'ensemble de données de valeurs de Chaîne?

OriginalL'auteur Jaffer Wilson | 2017-02-22

  1. 11

    Voici un exemple de code en Java.

    public class SparkSample {
    public static void main(String[] args) {
        SparkSession spark = SparkSession
            .builder()
            .appName("SparkSample")
            .master("local[*]")
            .getOrCreate();
    //create df
    List<String> myList = Arrays.asList("one", "two", "three", "four", "five");
    Dataset<Row> df = spark.createDataset(myList, Encoders.STRING()).toDF();
    df.show();
    //using df.as
    List<String> listOne = df.as(Encoders.STRING()).collectAsList();
    System.out.println(listOne);
    //using df.map
    List<String> listTwo = df.map(row -> row.mkString(), Encoders.STRING()).collectAsList();
    System.out.println(listTwo);
  }
}

    "ligne" est de java 8 paramètre lambda. Veuillez vérifier developer.com/java/start-using-java-lambda-expressions.html

    S'il vous plaît pouvez vous m'expliquer quel est ce row dans le programme? Vous code a l'air assez optimisée pour moi.
    la "ligne" est de java 8 paramètre lambda. Veuillez consulter developer.com/java/start-using-java-lambda-expressions.html
    Son parfait. Merci.

    OriginalL'auteur abaghel

  2. 5

    Vous pouvez utiliser le U)(implicitevidence$6:org.apache.spark.sql.L'encodeur[U]):org.apache.spark.sql.Dataset[U]" >map fonction pour convertir chaque ligne dans une chaîne de caractères, par exemple:

    df.map(row => row.mkString())

    Au lieu de simplement mkString vous pouvez bien sûr faire plus sophistiqué de travail

    La collecter méthode peut alors récupérer le tout dans un tableau

    val strings = df.map(row => row.mkString()).collect

    (C'est la Scala de syntaxe, je pense que Java c'est assez similaire)

    Il ne fonctionne pas, mon ami. Pouvez-vous m'aider à java, à la place de la Scala. je sais que la syntaxe sont un peu similaires, mais il existe d'autres problèmes alors que nous utilisons java à la place de la Scala
    Java8 la syntaxe est très similaire
    Merci pour tes conseils. Il a aidé.

    OriginalL'auteur hage