Partage
  • Partager sur Facebook
  • Partager sur Twitter

Configuration Cluster Big Data : Noeuds/CPU/RAM

    4 avril 2018 à 16:41:17

    Bonjour tout le monde,

    Je suis entrain de mettre en place un Cluster basé sur Hadoop 2.0 et la surcouche Spark 2.3 afin de faire du calcul sur de grosses quantités de données.
    Actuellement je réalise des tests de mon côté avec 3 noeuds (1 Namenode + 2 Datanodes).

    Ma configuration initiale était :

    Namenode : 1 CPU 4 coeurs - 4 GB RAM
    Datanodes : 1 CPU 4 coeurs - 2 GB RAM par Datanode

    Désormais, j'ai du nouveau matériel et je pensais organiser mon cluster de la façon suivante :

    Namenode : 1 CPU 16 coeurs - 24 GB RAM
    Datanodes : 1 CPU 16 coeurs - 8 GB RAM par Datanode

    Est-ce cohérent ? J'ai trouvé cet article qui parle de dimensionnement de cluster  Mais je n'ai pas la possibilité de mettre plus que 60 GB de RAM au total sachant que j'aimerais avoir 4 Datanodes in fine.

    Merci d'avance ;)

    • Partager sur Facebook
    • Partager sur Twitter
    Rien ne se crée, rien ne se perd, tout se transforme ...

    Configuration Cluster Big Data : Noeuds/CPU/RAM

    × Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
    × Attention, ce sujet est très ancien. Le déterrer n'est pas forcément approprié. Nous te conseillons de créer un nouveau sujet pour poser ta question.
    • Editeur
    • Markdown