Partage
  • Partager sur Facebook
  • Partager sur Twitter

Erreur de connexion entre spark et postgresql

Python, spark, postgresql, jupyter-notebook

    17 septembre 2019 à 11:31:52

    Bonjour,

    J’essaie de récupérer ma base de données depuis postgresql utilisant spark sur jupyter notebook mais j'ai cette erreur :

    java.lang.ClassNotFoundException: org.postgresql.Driver.
    J'ai utilisé le code suivant pour faire la configuration : 
    from pyspark.sql import SparkSession spark = SparkSession.builder.config('spark.driver.extraClassPath', 'C:/Users/PC/.ivy2/jars/org.postgresql_postgresql-42.1.1.jar').getOrCreate() url = 'jdbc:postgresql://127.0.0.1:50186/database' properties = {"driver": "org.postgresql.Driver" ,'user': 'admin', 'password': 'admin'} df = spark.read.jdbc(url=url, table='resultat_item', properties=properties).
    Je pense que c'est un problème de Driver ou de path. Mais malheureusement je ne sais pas comment le résoudre.
    Vos solutions sont les bienvenues.
    Merci d'avance
    • Partager sur Facebook
    • Partager sur Twitter
      19 septembre 2019 à 13:16:49

      J'ai pas bien saisi votre question.

      J'ai utilisé python comme langage pour le developpement avec spark

      • Partager sur Facebook
      • Partager sur Twitter
        19 septembre 2019 à 14:11:08

        Désolé j'ai regardé vite fait j'ai vu "java" et un gros bout de code que je n'ai pas lu car il manque les retours à la ligne.

        Peux-tu remettre le code proprement ? Avec le bouton </>

        • Partager sur Facebook
        • Partager sur Twitter
          25 septembre 2019 à 16:06:52

          thelinekioubeur a écrit:

          Désolé j'ai regardé vite fait j'ai vu "java" et un gros bout de code que je n'ai pas lu car il manque les retours à la ligne.

          Peux-tu remettre le code proprement ? Avec le bouton </>

          from pyspark.sql import SparkSession
          spark = SparkSession.builder.config('spark.driver.extraClassPath', 'C:/Users/PC/.ivy2/jars/org.postgresql_postgresql-42.1.1.jar').getOrCreate() 
          url = 'jdbc:postgresql://127.0.0.1:50186/database'
          properties = {"driver": "org.postgresql.Driver" ,'user': 'admin', 'password': 'admin'} 
          df = spark.read.jdbc(url=url, table='resultat_item', properties=properties)


          -
          Edité par AbdoulayeSoumare3 25 septembre 2019 à 16:08:06

          • Partager sur Facebook
          • Partager sur Twitter

          Erreur de connexion entre spark et postgresql

          × Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
          × Attention, ce sujet est très ancien. Le déterrer n'est pas forcément approprié. Nous te conseillons de créer un nouveau sujet pour poser ta question.
          • Editeur
          • Markdown