Je suis entrain de mettre en place un Cluster basé sur Hadoop 2.0 et la surcouche Spark 2.3 afin de faire du calcul sur de grosses quantités de données. Actuellement je réalise des tests de mon côté avec 3 noeuds (1 Namenode + 2 Datanodes).
Ma configuration initiale était :
Namenode : 1 CPU 4 coeurs - 4 GB RAM Datanodes : 1 CPU 4 coeurs - 2 GB RAM par Datanode
Désormais, j'ai du nouveau matériel et je pensais organiser mon cluster de la façon suivante :
Namenode : 1 CPU 16 coeurs - 24 GB RAM Datanodes : 1 CPU 16 coeurs - 8 GB RAM par Datanode
Est-ce cohérent ? J'ai trouvé cet article qui parle de dimensionnement de cluster Mais je n'ai pas la possibilité de mettre plus que 60 GB de RAM au total sachant que j'aimerais avoir 4 Datanodes in fine.
Merci d'avance
Rien ne se crée, rien ne se perd, tout se transforme ...
Configuration Cluster Big Data : Noeuds/CPU/RAM
× Après avoir cliqué sur "Répondre" vous serez invité à vous connecter pour que votre message soit publié.
× Attention, ce sujet est très ancien. Le déterrer n'est pas forcément approprié. Nous te conseillons de créer un nouveau sujet pour poser ta question.