Bonjour

Ça fait plusieurs mois que je me pose une question, à laquelle je n'ai jamais trouvé de réponse convaincante.

J'utilise souvent dans mes programmes de grandes quantités de données, et de grandes quantités de calculs.

Pour la grande quantité de données, j'ai prévu de passer de 8Go à 24Go de RAM dans le mois. J'utilise actuellement 2x4Go, et je souhaite ajouter 2x8Go, pour un total de 24Go sur 4 barrettes (J'ai préféré prendre la meme marque, le même modèle et à la meme fréquence pour éviter les problèmes.

Mais maintenant, pour la puissance de calcul, ça se complique. J'ai actuellement un Intel Core I5 8600k 6 Coeurs 6 Threads IC à 4Ghz. Comment doubler voir tripler celle ci ? Existe il des CPU externes branchables en série ? Existe il des sortes de serveur de calculs connecté à la machine ?

Je précise que l'objectif n'est pas de réduire les délais courts (diminuer la latence dans un jeu), mais bien une réduction de lo.g calculs. (Passer de 24h à 6h par exemple). Par exemple en Machine Learning on utilise souvent du calcul matricielle, ce qui est long ...très long.

Merci

Bhasher a écrit:

Mais maintenant, pour la puissance de calcul, ça se complique. J'ai actuellement un Intel Core I5 8600k 6 Coeurs 6 Threads IC à 4Ghz. Comment doubler voir tripler celle ci ? Existe il des CPU externes branchables en série ? Existe il des sortes de serveur de calculs connecté à la machine ?

Je ne pense pas que ça existe, au lieu de penser à un serveur connecté à ta machine, pourquoi ne loues tu pas un serveur, fais tes traitements dessus et récupère les données ensuite sur ta machine ?

Sinon si tu es bon en programmation tu peux te renseigner sur la programmation sur GPU.

-
Edité par Xaaav67 22 février 2018 à 11:27:13

Salut,

Il est possible d'avoir plusieurs CPU sur une même machine mais on part sur des configurations serveurs avec des Intel Xeon, 64 à 128Go de RAM, plusieurs To de stockage généralement en RAID, le tout à plusieurs milliers d'euros. A ma connaissance, il n'existe pas d'équivalent pour le grand publique. Le moins cher, comme le dit @Xaaav67, sera soit de loué un VPS voire un serveur dédié si tu as les moyens où tu feras tourner tes calculs soit de faire en sorte que se soit le GPU qui fasse tes calculs.

Merci de vos réponses.

J'avais déjà regardé du coté de la location de serveur ou autre, tels qu'Amazon AWS.

Mais étant plutot matérialiste, et préferant payer "beaucoup" une fois, qu'un peu chaque mois, n'y a t'il aucun moyen ?

Ne peux on pas acheter plusieurs serveurs comme celui-ci : https://www.ldlc.be/fiche/PB00239913.html et les 'reliés' ? (et encore, celui ci est pas vraiment optimiser pour le calculs)

Merci

Déjà l'intel Xeon dedans te donnera plus de puissance que ton i5. Techniquement c'est possible de relier plusieurs pc entre eux (c'est comme ça que sont construits les supercalculateurs) mais je n'ai aucune idée de comment cela peut se faire.

Edit : Je viens de tomber sur ce lien qui pourrait t'intéresser : https://medium.com/@timgasser/build-a-16-core-128gb-server-for-less-than-intels-new-10-core-cpu-c6de4d10a686. En fait, ce qu'il faut trouver c'est des cartes mères où l'on peut mettre plusieurs cpu comme celle-ci : https://www.newegg.com/global/fr/Product/Product.aspx?Item=N82E16813157350

-
Edité par Typhlos 22 février 2018 à 18:33:29

Selon tes calculs tu peux te renseigner sur CUDA si c’est parralelisable. Du coup il faudrait voir quelle CG te serait adaptée.

Merci de vos réponses.

J'utilise acctuellement Python, et je sais sans soucis faire du mutli-thread.

Ne peux on pas relier plusieurs cartes mère pour faire une seul "grosse" ?

Car un SuperCalculateur avec 10.000 CPU n'a pas une carte mère avec 10.000CPU, mais 10.000 Cartes mère reliés entre elles, non ?

Il est impossible d'avoir une sorte de mini-supercalculateur chez sois ? et qu'en fonction du budget, on peu ajouter un serveur si on le souhaite ?

-
Edité par Bhasher 22 février 2018 à 21:57:33

Effectivement, un supercalculateur c'est plutôt 10.000 cartes-mères avec chacune quelques cpu mais l'os derrière n'est pas ce qu'on trouve dans le marché grand public, c'est des OS maisons (pour les 500 plus gros supercalculateurs, c'est basé sur Linux dixit Wikipedia) qui ont été modifiés pour prendre en compte cette particularité, pour faire en sorte que lorsque qu'un cpu a finit de faire des calculs, d'autres lui soient attribués, etc. et tout cela m'a l'air très complexe et difficilement réalisable tout seul.

Je pense que le plus simple est de te tourner, si c'est possible en fonction des calculs que tu as à faire, vers la solution qu'ont proposé @Bibou34 et @Xaaav67, à savoir faire faire tes calculs au gpu qui sera plus performant que ton cpu car il n'a que ça à faire tandis que le cpu doit toujours gérer l'OS à côté (encore une fois en fonction du type de calcul que tu dois faire). Et tu peux même aller voir du côté des gpu pro qui sont conçus pour faire des gros calculs (pour nvidia cela correspond à la gamme des quadro, pour AMD, les radeon pro).

-
Edité par Typhlos 22 février 2018 à 22:06:45

Pour les GPU y’a de la marge car on peut en mettre plusieurs sur une seule carte mère et certaines cartes ont plusieurs GPU placés en parallèle. Les GPU pros montent en milliers d’euros donc à moins que t’ai plusieurs dizaines de milliers d’euros à investir tu vas rester à priori sur une seule machin.

-
Edité par Bibou34 22 février 2018 à 22:12:42

Bonjour,

Merci de votre réponse.

Le probleme des GPU, c'est que si je demande un gros calcul, par exemple de la cryptographie, il va prendre beaucoup plus de temps qu'un cpu a retourner le résultat :/

Pas forcément, certaines cryptomonnaies se minent bien mieux sur gpu que sur cpu. Je ne sais pas comment cela marche dans le détail, mais étant donné que ce sont des calculs cryptographiques, cela prouve qu'ils peuvent très bien être optimisés sur gpu.

J'avais vue cela :

http://www.tomshardware.fr/articles/gpu-supercalculateur-physique-quantique,1-60352.html

En C+++ je pense.

Salut,

Merci de vos réponses.

En effet, au plus j'analyse le fonctionnement de tensorflow, au plus je constante que les GPU seraient un grand +.

Mais du coup, une nouvelle question se pose:

Pour du machine learning & deep learning, quel type de cg faut il prendre ?

Faut il prendre les meilleurs cg pour gamers (genre la GTX 1080 indiqué dans l'article) ? Des spécialisés uniquement (plusieurs milliers d'euros :/ ) ?

Ou plus globalement, qu'est ce qui détermine la "puissance" d'une cg ? Faut il le meilleur ratio cœurs x fréquence ? La plus haute fréquence ? Le plus de cœurs ?

Merci

http://www.tomshardware.fr/articles/knights-landing-xeon-phi-intel-processeur,1-60217.html

http://www.tomshardware.fr/articles/tesla-p100-pci-express-carte-graphique-nvidia,1-60208.html

Elles sont en effet pas mal, mais vus les prix ...

Je pense me tourner vers une Gtx 1080.

Ben, c'est du lourd c'est sur, mais si la 1080 est suffisante pour les russe.

  T'en feras déjà pas mal et je veux bien suivre tes avancées, si cela n'est pas secret def