À l'aide de pyspark de se connecter à PostgreSQL

Je suis en train d'essayer de se connecter à une base de données avec pyspark et je suis en utilisant le code suivant:

sqlctx = SQLContext(sc)
df = sqlctx.load(
    url = "jdbc:postgresql://[hostname]/[database]",
    dbtable = "(SELECT * FROM talent LIMIT 1000) as blah",
    password = "MichaelJordan",
    user =  "ScottyPippen",
    source = "jdbc",
    driver = "org.postgresql.Driver"
)

et j'obtiens l'erreur suivante:

À l'aide de pyspark de se connecter à PostgreSQL

Aucune idée pourquoi est-ce qui se passe?

Modifier: je suis en train d'exécuter le code en local sur mon ordinateur.

OriginalL'auteur Mpizos Dimitris | 2016-01-22

  1. 11

    La suite travaillé pour moi avec postgres sur localhost:

    Télécharger le Pilote JDBC PostgreSQL à partir de https://jdbc.postgresql.org/download.html.

    Pour la pyspark shell que vous utilisez le SPARK_CLASSPATH variable d'environnement:

    $ export SPARK_CLASSPATH=/path/to/downloaded/jar
$ pyspark

    Pour la présentation d'un script via spark-submit utiliser le --driver-class-path drapeau:

    $ spark-submit --driver-class-path /path/to/downloaded/jar script.py

    Dans le script python charger les tables comme un DataFrame comme suit:

    from pyspark.sql import DataFrameReader

url = 'postgresql://localhost:5432/dbname'
properties = {'user': 'username', 'password': 'password'}
df = DataFrameReader(sqlContext).jdbc(
    url='jdbc:%s' % url, table='tablename', properties=properties
)

    ou alternativement:

    df = sqlContext.read.format('jdbc').\
    options(url='jdbc:%s' % url, dbtable='tablename').\
    load()

    Noter que lors de la présentation du script via spark-submit, vous devez définir les sqlContext.

    OriginalL'auteur mdh

  2. 4

    Il est nécessaire de copier postgresql-42.1.4.jar dans tous les nœuds... pour mon cas, je l'ai copier dans le chemin d'accès /opt/spark-2.2.0-bin-hadoop2.7/pots de

    Aussi, je set classpath dans ~/.bashrc (exportation SPARK_CLASSPATH="/opt/spark-2.2.0-bin-hadoop2.7/pots" )

    et fonctionnent très bien dans pyspark console et jupyter

    Je suis à la recherche pour savoir comment faire cela dans Amazon EMR. Il l'habitude de travailler pour moi tout simplement la mise étincelle.jar=/chemin/vers/pilote, mais après DME 5.2.1 (qui a été l'Étincelle de la version 2.0.2) je ne peux plus travailler.

    OriginalL'auteur Chevelle

  3. 2

    Normalement, vous devez soit:

    1. pour installer Postgres Pilote sur votre cluster,
    2. de fournir les Postgres jar du pilote de votre client avec l'option --pots option
    3. ou de fournir les coordonnées maven de la Postgres pilote --option packages.

    Si vous détail comment êtes-vous lancer pyspark, nous pouvons vous donner plus de détails.

    Quelques indices/idées:

    spark-ne-trouver-le-postgres-jdbc-pilote

    Pas en mesure de se connecter à postgresql à l'aide de jdbc dans pyspark shell

    Que faire si je suis en train de l'exécuter localement? Dois-je télécharger la postgres pilote? et où dois-je le conserver?
    Oui, vous en avez besoin. Parce que vous agissez en tant que Postgres client et vous êtes en précisant que vous allez utiliser Postgres pilote dans le "pilote = "org.postgresql.Pilote"," option. Vous pouvez l'enregistrer où vous voulez dans votre ordinateur local (par exemple jre\lib\ext de votre installation de java) et spécifier le chemin de stockage dans le CLASSPATH.

    OriginalL'auteur MiguelPeralvo

  4. 2

    Une approche, en s'appuyant sur l'exemple par la guide de démarrage rapide, est ce blog qui montre comment ajouter la --packages org.postgresql:postgresql:9.4.1211 argument de la spark-submit commande.

    Cette télécharge le pilote into ~/.ivy2/jars répertoire, dans mon cas /Users/derekhill/.ivy2/jars/org.postgresql_postgresql-9.4.1211.jar. En passant ce que le --driver-class-path option donne le plein étincelle soumettre commande de:

    /usr/local/Cellar/apache-spark/2.0.2/bin/spark-submit\
 --packages org.postgresql:postgresql:9.4.1211\
 --driver-class-path /Users/derekhill/.ivy2/jars/org.postgresql_postgresql-9.4.1211.jar\
 --master local[4] main.py

    Et dans main.py:

    from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

dataframe = spark.read.format('jdbc').options(
        url = "jdbc:postgresql://localhost/my_db?user=derekhill&password=''",
        database='my_db',
        dbtable='my_table'
    ).load()

dataframe.show()

    OriginalL'auteur Derek Hill

  5. 0

    Cette exception signifie que le pilote jdbc n'est pas dans le pilote de classpath.
    vous pouvez étincelle soumettre jdbc pots avec --jar paramètre, aussi l'ajouter dans le pilote de chemin de classe à l'aide de spark.driver.extraClassPath.

    OriginalL'auteur Shawn Guo