Obtenir la liste des types de données de schéma dans Apache Spark
J'ai le code suivant dans Spark-Python pour obtenir la liste des noms du schéma d'un DataFrame, qui fonctionne très bien, mais comment puis-je obtenir la liste des types de données?
columnNames = df.schema.names
Par exemple, quelque chose comme:
columnTypes = df.schema.types
Est-il possible d'obtenir une liste des types de données contenues dans un DataFrame schéma?
OriginalL'auteur User2130 | 2016-05-19
Vous devez vous connecter pour publier un commentaire.
Voici une suggestion:
Référence:
df.printSchema()
OriginalL'auteur Daniel de Paula
Puisque la question de la propriété n'est pas python spécifique, je vais ajouter
scala
version ici:Il en résulte un tableau de
org.apache.spark.sql.types.DataType
.OriginalL'auteur Viacheslav Shalamov
Utiliser le schéma.dtypes
OriginalL'auteur stack0114106