La solution qui a servi à héberger le site officiel RaspberryPi.org de la fondation Raspberry Pi pour la sortie de la RPi4 n’est rien d’autre qu’un cluster de 18 de ces cartes. Une solution qui a coûté au final « moins de 1000$ » de matériel, beaucoup moins qu’un serveur classique pour ce type de tâche.
Et la tâche à accomplir était rude. Des millions de pages web ont été délivrées à partir de ce cluster indique le directeur de Mythic Beast. La boite qui a installé et géré ce fameux cluster pour la fondation. Pete Stevens en charge de ce déploiement va même plus loin en indiquant que leur cluster était trop sur estimé, sur les 18 cartes RPi4, huit seulement auraient suffit. Quatre pour les pages du site sous WordPress auraient suffit, deux autres pour le contenu statique et deux autres pour la gestion du cache.
Le cluster construit offre en tout 72 coeurs pour les calculs et 72 Go de mémoire vive en DDR4. Il consomme moins de 100 watts et peut tenir dans un rack 1/2U. Il ajoute, un peu péremptoire, que « les fabricants de serveurs peuvent commencer à être inquiets. » Il est vrai que la présence d’un vrai Ethernet gigabit change largement la donne par rapport à la version Raspberry Pi 3B+. Les débits réseau sont désormais suffisants pour des tâches vraiment lourdes. La possibilité d’additionner logiciellement la mémoire vive des cartes et la présence de 4 Go par RPI4 change également beaucoup les choses.
Pete Stevens estime que les Raspberry Pi 4 peuvent servir à gérer des serveurs dédiés à un prix comparable à une machine virtuelle. Une fois combinés entre eux, ils peuvent se comporter comme des clusters de calcul. Des engins pouvant prendre en charge des calculs en parallèle à condition de séparer les calculs en tâches pouvant être effectuées par ces Cortex-A72. Il donne un exemple à 5000$ constitué d’un switch de 48 ports coûtant 750$, avec 48 RPi4 à 55$ et autant de HAT PoE à 30$, il obtient une solution combinant 192 coeurs Arm. Pour la même somme, il estime qu’aujourd’hui on n’obtient qu’un maximum de 32 coeurs en solutions AMD ou Intel. Suivant les tâches à effectuer, et notamment des dizaines de micro calculs en parallèle, la solution ARM pourrait donc être plus intéressante.
Son approche est assez pragmatique : « La question n’est pas de savoir si une solution RPi4 peut remplacer un serveur existant à 5000$ mais plutôt de savoir quels usages utilisant des serveurs à 5000$ pourraient se contenter d’une solution construite avec ces cartes Raspberry Pi ne coûtant que 500$ ». Une approche visant une technologie « suffisante » plutôt que « par défaut ».
Reste quelques bémols. D’abord la solution mise en oeuvre n’a pas géré la totalité du site et en particulier la partie liée au téléchargement. Les images du système Raspbian étaient toujours hébergée sur des serveurs traditionnels sous processeurs Intel. Même si Pete Stevens estime que le cluster semble assez performant pour les prendre en charge également.
Autres questionnements, la robustesse des cartes, beaucoup constatent que le nouveau Broadcom BCM2711 génère beaucoup de chaleur à l’usage. Difficile de voir comment l’engin pourrait tenir le coup dans une solution devant fonctionner 24H/24 et 7J/7. A l’intérieur d’un rack serveur et correctement ventilé dans une salle dédiée, le risque est faible mais l’usage de ce type de carte dans une autre disposition pourra poser problème. L’usages des HAT PoE est également problématique, on ne peut pas dire que cette extension soit la plus franche réussite de la fondation. Elle est clairement problématique.
Autre détail, cette fois-ci relevé par le directeur de Mythic Beasts, l’impossibilité de démarrer la RPi4 sur un stockage rattaché au réseau. Une fonction qui doit arriver prochainement avec une mise à jour de son firmware. Les bases de données du site sont donc restées stockées ailleurs que sur le cluster. L’usage d’un système de SSD professionnels en RAID avec de grandes garanties en nombre d’écritures et en lisibilité étant indispensable. Impensable aujourd’hui de laisser le stockage du serveur sur des cartes SDXC.
C’est donc une information intéressante dans l’absolu mais absolument pas un exemple à suivre. La fondation a pris un risque en hébergeant une partie de son site sur ce cluster RPi4 pour le lancement de la carte. Et c’est un exemple assez intéressant à analyser. Mais il est improbable qu’un professionnel ne prenne ce risque un jour pour économiser quelques milliers d’euros. Le jeu n’en vaut pas la chandelle. Par contre, la création d’un petit serveur maison, artisanal, à base de ces cartes, pourrait devenir très intéressant. Pour héberger des sites associatifs, des serveurs temporaires pour des événements ou plein d’autres choses encore. Dans un format tour bien ventilé, il est possible d’imaginer un cluster mobile très performant et abordable pour ce type de situation.
| 2,5€ par mois | 5€ par mois | 10€ par mois | Le montant de votre choix |
Super billet, merci. A savoir si c’est facile à monter pour Monsieur Tout Le Monde.
Je n’apprécie pas les annonces des représentants qui ne disent pas toute la vérité, merci d’avoir mis en lumière le fait que certaines parties du site étaient gérées par un tout autre type de matériel. C’est comme dire qu’un train peut rouler à 500km/h alors qu’il n’y a qu’une seule locomotive, avec seulement le pilote et sans voyageurs.
Bah voilà, comment veux tu trouver du rpi 4 4g en stock si les mecs de raspberry pi s’amusent a faire des cluster??!!! Shame!!! Lol
Un tuto pour faire ce type de cluster (oui je n’ai pas cherché…)?
@prog-amateur:
Le communiqué a mis en avant les difficultés rencontrées, ce qui a été fait, ce qui n’a pas été fait, …
@strik9: Il y a des video de cluster avec des rpi sur youtube, peut-être des liens en description.
un tuto @pierre? pour faire la même?
@MiNuS: Tu m’offres le matos ? ^^
C’est intéressant, et franchement amusant.
Mais qui a besoin d’un cluster mobile ?
Surtout un cluster « de calcul », parce que clairement les IO sur disques, eux mêmes le disent c’est pas ca, donc tout ce qui est données transactionnelle, c’est non.
Parce que sinon, rien que l’alimentation électrique va vite faire perdre en exploitation les gains à l’achat.
Les « petits » transfo USB, c’est quand même généralement la cata en efficacité, pour charger un téléphone pendant 2h, admettons, mais en mettre 30 en parallèle H24.
Je trouve que ca ouvre les yeux sur une vision différente, sur le fait qu’il y a autre chose de la virtualisation / containerisation dans la vie… mais si on est honnête Scaleway (exemple que je connais – mais sans doute d’autres) propose déjà la même chose, sur du matos « pro » (en tout cas capable de faire de la prod), depuis quelques temps, et pour moins de 3€ par mois par Core ARM, ce qui rien qu’en bande passante / cpu sera plus onéreux à domicile.
Qui parmi nous à besoin d’un cluster de calcul ? Si je fais un truc pareil, c’est pour le fun, pour expérimenter et apprendre. C’est un plaisir de geek avec l’avantage d’un prix accessible et c’est la philosophie du projet Raspberry.
@iZaref: Il y a toujours des gens qui ont des besoins que nous on a pas :)
Mobile ou pas, un cluster de calcul peut toujours être intéressant.
Déjà avec 8 ou 16 cartes, on peut utiliser un switch ethernet grand public à prix raisonnable.
Et pour l’alimentation, il faut clairement utiliser un ou plusieurs grosses alimentations dédiées, et répartir sur les pins d’extension des cartes (le connecteur usb pour envoyer 3A, c’est un peu WTF….).
Bref, un cluster de 7 pi, avec un switch 8 ports et une alim 5V de 20A, ça revient à 500€.
Pour les plus bricoleurs, une tour PC permettrait de racker les PI dans les slots HDD.
L’alim du boitier PC peut fournir le 5V nécessaire à toutes les cartes.
Et le must, c’est de garder la carte mère du PC pour avoir un système de soutien du cluster.
… enfin, je m’égare …. 500€ pour 28 cœurs (plus de 40GHz), et autant de Go de RAM.
Reste les cartes SD pour booter les Pi, les disques durs pour la carte mère PC qui servirait de NAS, et beaucoup d’huile de coude pour faire fonctionner le tout.
C’est peut-être pas l’idéal pour tout, la PI n’est peut être pas l’option la moins chère (des boitiers Android détournés sont plus efficaces en terme de prix), mais qu’Est-ce que ça doit être fun !!!!
@iZaref, Scaleway certes 3€/mois, mais avec un RPi à la maison 365j/an h24, c’est le tarif de la conso électrique par an ;) Allez ok j’avoue, on grimpe à 4-5€/an peut-être… Donc entre l’achat du biniou, une carte SD, une alim, en moins de 2 ans la solution Scaleway est down.
Et sans parler du plaisir de mettre les mains dans le cambouis ! Quoique maintenant avec des distribs déjà très riches en features et interfaces web, on a même le temps de juste contempler que ca fonctionne :)
https://www.greenwatt.fr/calculer-consommation-electrique-appareil
Nombre d’heure d’utilisation quotidienne x Nombre de jours d’utilisation annuelle x (Puissance de l’appareil en Watts / 1000)
Je pose le RPi à 3W, même si c’est trèèès largement. En réalité, pour un « petit serveur maison », les CPU ne sont que très rarement à fond, sinon ca vaut le coup de trouver quel serait le souci :D
24Heures sur 365jours = 26.28 kWh
Prix kWh 0.17€ selon les modalités… = 26.28 x 0.17 = 4.46€ /an
La solution DataCenter, certes une trèèès belle bande passante avec un ping de malade comparé à une ligne ADSL piteuse, mais pour héberger ses quelques trucs dont sa boite mails et son petit site web, nextcloud contacts/agenda, c’est suffisant. Des années que le RPi 1 à l’époque et maintenant le 2 me satisfont réellement. Et qu’est-ce qu’on est content de ne plus dépendre des « gros ».
(vivement la fibre, c’est juste ce qui manque !!)
@prog-amateur:
Depuis quand c’est destiné à monsieur tout le monde?
Encore heureux, tu nous a pas sorti « et mme michu elle fé comment? »
En réponse à Pjotr,lorsque tu dis vivement la fibre, il se pourrait justement que certains opérateurs vont attendre de déployer la 5G plutôt que de déployer la fibre, question de coût pour « desservir » un maximum de monde avec un minimum de coût. La 5G nous promet de nous passer de box chez soi.
Donc il se pourrait que certains vont attendre longtemps le déploiement de la fibre.
Pour d’une, je vous écrire qu’il n’y a pas photo entre les travaux nécessaires à un déploiement de la fibre et l’installation d’antennes 5G. Le choix pour les opérateurs sera vite fait.
Pour info, je me passe déjà de box, pour 15€ par mois, j’ai un téléphone qui me sert de « box » avec un partage de connexion et une consommation mensuelle moyenne d’1,5 To. Si je n’ai pas besoin d’attendre la 5G pour me passer de box, j’imagine que ça va se généraliser avec son déploiement.Et j’ai tout les usages que je pourrai avoir avec une box. Télé, streaming, etc…
C’est un loin que je ne ferai pour le moment d’avoir un smartphone en guise de « box »… déjà premièrement car ces types de connexions n’ont pas l’air de bien vouloir fournir de NAT avec redirections de ports, et deuxièmement car le ping dans une zone dense doit être infecte :/
Mais pour ceux qui ne cherchent pas ces 2 pré-requis en plus d’une bonne connexion stable et fiable, ce peut être une solution, effectivement.
On a déjà à peine du 4G sur le territoire… alors du 5G partout…
Je vois ca et là des points relais pour la fibre, dans des pires patelins. Donc dans beaucoup de coins un peu paumés autour de chez moi, ils ont plutôt l’air d’avoir choisi la fibre à la place du déploiement ADSL ;)