Partage
  • Partager sur Facebook
  • Partager sur Twitter

Java et BigData

bigData

Sujet résolu
    26 avril 2015 à 13:14:45

    Bonjour,
    Je suis entrain de récupérer 164 million d'enregistrements a l'aide du JDBC en utilisant java comme un langage de programmmation et Oracle comme SGBD mais lorsque je fait une requéte select * from table pour afficher les 164 million enregistrements le programme s'arréte et se bloque en quelques millions sans afficher aucune exception ou erreur .Avez vous une idée ?J'ai besoin de votre aide . merci 

    • Partager sur Facebook
    • Partager sur Twitter
      26 avril 2015 à 15:15:42

      Hello,

      Avant as-tu essayé de ne récupérer que la première ligne ? Juste pour savoir si ta requête bloque avec une donnée dans ce cas, je pense que l'on pourras dire que ça ne vient pas du nombre de données.

      Autrement, as-tu essayé de récupérer les données par paquet ?

      ++ :)

      • Partager sur Facebook
      • Partager sur Twitter
        26 avril 2015 à 16:56:06

        Bonjour.

        Récupérer toutes les lignes posera problème à partir du moment où tu commences à avoir beaucoup de lignes ("beaucoup" étant relatif, car cela dépendra de la complexité des données) : les données de la BDD seront dupliquées dans la RAM (imaginons 1octet par ligne, cela fera grossomerdo 164Mo).
        La problématique sera aussi présente lorsque tu auras des critères complexes (WHERE sur champ qui n'est pas indexé, ORDER, ...).

        • Partager sur Facebook
        • Partager sur Twitter
        Angular 2 est l'avenir, jQuery c'est de la merde !!! - Java 8 c'est l'an 2016+ (programmez en 1 ligne)

        Java et BigData

        × Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
        × Attention, ce sujet est très ancien. Le déterrer n'est pas forcément approprié. Nous te conseillons de créer un nouveau sujet pour poser ta question.
        • Editeur
        • Markdown