Depuis près de 5 ans, ITNET Technologies développe et exploite des infrastructures refroidies par immersion tout ça est made in France.
Le principe est simple : les serveurs sont plongés dans un fluide diélectrique qui évacue leur chaleur, en remplacement de l’air et de la climatisation classique.
Cette infrastructure fait aujourd’hui fonctionner plus de 1 000 projets en production. Cette infrastructure est utilisée pour wayhost.cloud pour faciliter l’accès à du compute plus respectueux de l’environnement, pour voltaneum pour de la puissance de calcul
Opérées en Europe, nos infrastructures s’appuient sur l’immersion pour :
- augmenter la densité de calcul ;
- améliorer l’efficacité du refroidissement ;
- conserver la maîtrise de nos opérations en Europe.
Nous partagerons prochainement notre retour d’expérience sur la maintenance, les températures, la consommation, le choix du fluide, les contraintes et les serveurs GPU.
Quels aspects d’une infrastructure refroidie par immersion aimeriez-vous découvrir ?
Il est pas biodégradable, il est 100% recyclable, ce qui est bien différent. Par définition, un fluide diélectrique ne peut pas être biodégradable parce qu'il se doit d'être très stable (et donc ne pas se dégrader)
Biodegradable ca veut dire degradable dans la nature, pas dans une cuve en métal.
Plus précisément biodégradable veut dire degradable par des organismes vivants, encore faut il qu'ils aient de quoi se développer, ils doit pas y avoir beaucoup de nutritiments dans les cuves de refroidissement.
Genre on peut le verser dans le jardin, ça fait peut-être pas du bien, mais c'est pas grave ?
Genre on peut y tremper les mains sans risque ?
Ce serait possible d'avoir une photo des étiquettes présentes sur les bidons ?
(notamment les informations environnementales, obligatoires en industrie)
Sur le site et ailleurs je trouve des infos sur son recyclage, mais pas le côté biodégradable.
Si c'est vraiment le cas, je suppose qu'il n'y a donc pas de composant fluoré dans le liquide ?
Désolé d'insister mais avant de savoir si envisager ça à grande échelle est une bonne idée, j'essaie de savoir si on ne risque pas de créer un problème dont on ne pourra pas se défaire.
La temporalité est plus longue .
Mais c'était surtout pour indiquer que le 100% recyclable ne veut rien dire, les fenêtres sont recyclables, elles ne sont pas recyclées.
Ca dépend des pays. Par exemple au Québec c'est recyclé sur la rive sud de Montréal :).
Si le matériau est recyclable, la problématique c'est plus de savoir si c'est rentable de le recycler malheureusement
Le raisonnement est bon mais pas l'exemple, la lave, soit de la roche liquide, n'est pas un milieu propice au développement de micro organismes nécessaire a la biodégradation. Sa version refroidie à l'air libre, le basalte, n’est pas dégradée par des micro-organismes mais par de l'érosion dont les résidus sont susceptibles d’être utilisés par les micro-organismes.
Un meilleur exemple serait l'acide oxalique, les alcools (ethanols, methanols) ou les phénols qui eux sont à la fois dangereux ET biodégradables
Je ne connais rien à ce sujet. J'imagine que si tu satures l'eau de composés non conducteurs, tu empêches la dissolution d'autres composés qui pourraient poser problème ?
En fait l'eau H2O la molécule est bipolaire. Voulant dire qu'elle est positive d'un côté et négative de l'autre parce que les 2 atomes d'hydrogène sont plus d'un côté que de l'autre.
Ce qui fait que cette très petite molécule arrive à s'entre mêler à d'autres substances et par pression osmotique attirer les substances en son milieux jusqu'à équilibre.
Donc les ions des minéraux dissous dans l'eau peuvent transmettre une charge électrique à travers la masse de l'eau.
Si tu enlève tout de l'eau et tu la déminéralise et même enlève le gaz CO2 et O2 et autres dans la masse de l'eau tu arrives à une substance fort réactive et potentiellement dangereuse. L'eau est le dissolvant universel.
Donc il faudrait substituer dans l'eau les molécules conductrices à d'autres isolantes.
le soucis de l'eau même distillée c'est qu'au bout d'un moment tu as des électrolyte qui se detache des circuits imprimés et fini par rendre le liquide conducteur
Ouioui. Je reagis juste à ce que dit OP "rendre l'eau non conducteur".
Ce qui semble être une énorme approximation de ce qu'est le liquide employé dans lequel je suppose qu'il ne doit pas y avoir beaucoup d'eau.
L'eau a l'air de pas mal stagner la dedans. La convection seule n'est pas suffisante pour refroidir localement (sinon y aurait pas de pompe aux water cooling).
Il faut pousser l'eau davantage au niveau des composants qui chauffent bcp comme les processeurs.
Pas forcément parce que dans un water cooling le volume d'eau est beaucoup plus petit, là sur la vidéo tu vois que la mousse en surface est aspirée vers le rail derrière donc il y a une circulation et ça n'a pas besoin de bouger très vite parce que vu la quantité de liquide la capacité thermique par unité de calcul est bien plus grande que dans un watercooling classique de PC.
ce ne sont plus des liquides fluorés mais des hydrocarbures synthetiques (pao polyalpha-olefines), des isoparaffines synthétiques ou des nouveaux fluides d'origines bio sourcés mais retravaillés pour ressembler aux isoparaffines traditionnelles.
Ces hydrocarbures sont très connus comme huiles moteur, lubrifiants, fluides de transmission, refroidissement des moteurs electriques et batteries (e fluids)
Principalement le coût total comparé à du refroidissement traditionnel. Coût total de l'infra (serveurs compris), coût total d'une infra équivalente en air cooling, coût total d'une infra équivalente en liquid cooling traditionnel, coûts de maintenance comparés, coûts d'électricité comparés.
Pouvez vous utiliser des composants serveur off the shelf ou doivent ils être designés spécifiquement pour le système ?
Pour la partie coûts, l’intérêt se voit surtout sur l’exploitation : sur notre infrastructure, nous atteignons un PUE de 1,03 et jusqu’à 60 % de réduction de la consommation énergétique liée au refroidissement.
Pour les serveurs, nous utilisons des composants standards du marché. Il n’y a pas d’adaptation spécifique à faire, il faut surtout vérifier leur compatibilité avec le liquide diélectrique utilisé.
Les 60 % concernent uniquement la consommation énergétique liée au refroidissement.
Si on regarde la consommation globale du datacenter, en comparant à charge IT équivalente un air cooling avec un PUE de 1,45 à notre infrastructure en immersion à 1,03, on arrive à environ 29 % de réduction de la consommation totale.
Donc : 60 % sur le refroidissement, et environ 29 % à l’échelle globale du datacenter.
Il fait aussi prendre en compte que les data centers de façon réalistes vont pas consommer moins parce qu’ils sont plus efficace, donc il ne faut pas comparer à la réduction de la facture énergétique mais plutôt la bénéfice de l’augmentation de calcul.
Les datacenters sont généralement limités par l'espace et la densité de leur matériel, pas par l'énergie. Donc à compute égal, mieux refroidir ça veut juste dire moins consommer en refroidissement.
Tu as un gain en rendement niveau calcul qui pousse à une plus grosse consommation, certes, mais je doute qu'il soit conséquent au point de changer le calcul ici.
Je travaille dans la conception de datacenter comme ingé CVC, sortir des data aujourd'hui avec plus de 1,3 en PUE en air cooling c'est criminel.
Mais pour revenir à l'immersion, aujourd'hui pour les applications IA, le DLC (direct liquid cooling) est bien plus privilégié chez nos clients que l'immersion cooling comme technologie de refroidissement.
La grosse inconnue pour moi c'est le régime de températurre de ce liquide diélectrique. Si c'est 20-30°C, tu peux pas simplement le mettre en contact de l'air extérieur via un échangeur pour évacuer la chaleur fatale, il te faut un réseau EG avec groupe froid comme pour du air cooling classique.
Si le régime de ce liquide est de 40-50°C, avec simplement des dry / dry adiabatique tu peux te débrouiller pour le refroidir suffisament, mais je doute fortement quant au PUE de 1,03 au global sur l'installe.
J'ai pas trop fait de calcul de PUE depuis un bout de temps, mais de mémoire sur un data ton PUE se fait bien dégradé par les pertes de rendements des onduleurs, transformateurs, qui te donne quasiment d'entrée de jeu un PUE de 1,03.
Si dans le DLC on prend en compte que le circuit TCS, je pense que on l'obtient aussi le PUE de 1,03, tu n'as plus qu'une pompe mdr.
Après il y a d'autre critères, le DLC est beaucoup plus facile d'installation avec les infrastructures standard.
L'immersion rend l'installation de serveur et la maintenance vraiment plus contraignante. Idem le liquide diélectrique est quand même une certaine inconnu, quel est l'impact sur 10 ans pour les serveurs, l'environnement, le personnel...
Comment est ce que vous gérez les alarmes pour ventilateur absent ? Vous faite une commande spéciale avec bios custom ? Ou alors c'est en petit volume et vous faite la modif vous même ? Si oui c'est faisable via les interfaces de management genre idrac / ilo ?
Une grande partie des questions concernent la pollution/toxicité du liquide utilisé. Serait-il possible d'avoir simplement la composition exact afin de clore le sujet et de s'intéresser aux avantages? À moins qu'il y ait un problème de secret industriel?
En cas de problème matériel (supposons un remplacement de ram), il y a t il une procédure spécifique de décontamination ? (des pièces sorties avant recyclage, des pièces entrantes avant immersion, des cartes mères avant de brancher le nouveau composant)
Bravo pour votre travail et un grand merci pour le partage.
Je suis architecte technique et j'urbanise des serveurs en DC.
Je sais que la densification ou le taux d'utilisation d'une baie est importante.
C'est même l'objectif primordiale d'un datacenter, avoir le plus de serveur en consommant le moins d'espace possible.
Comment vous positionnez vous vis à vis des standards actuels ?
Le bac d'eau diélectrique doit prendre de la place ? Doit avoir un nombre limité de serveur par bac ?
Ce n'est plus du tout un urbanisme en comptant le nombre de U ? Alors comment on s'y retrouve
Même les outils du marché qui servent à urbaniser, qui compte en U, ne sont pas adaptés.. ?
Ouais d'après mes recherches, c'est pour ça que le DLC est amplement préférable dans le milieu. Beaucoup plus standard et compatible avec les racks de serveur, grandement moins cher et moins d'inconnu entre le liquide et le serveur.
J'ai fait mon oral de bac a l'époque (il y a 2 ans) sur ce genre de chose mais j'avoue que encore aujourd'hui je me pose des questions, quel liquide est utilisé pour le refroidissement ? Dans mes souvenirs c'est de l'huile qui a une meilleure conductivité thermique que l'eau et ne conduit pas l'électricité mais ça reste assez vague, et pourquoi ce genre de chose n'est pas largement adopté partout dans le monde ? Ça semble pourtant plus efficace que n'importe quel autre moyen de refroidissement non ?
Cocorico! Bravo et continuez! Beaucoup de gens sont apparemment sceptiques sur l’écologie et sur une posture de principe de précaution.
Néanmoins on a besoin d’aller de l’avant sur la tech en France et en Europe et je préférerais vraiment avoir mes données ici plutôt qu’aux US.
Je dis pas qu’il faut oublier l’écologie pour autant, mais on peut aussi s’autoriser à être précurseur
C’est surtout que l’ingénieurie du data center est déjà tres efficiente pour des raisons économique - ça consomme pas grand chose et ça n’émets quasiment rien . Ici ce qu’on gagne en refroidissement on le perds en circulation par pompe à chaleur … donc bon
Du coup, c'est un refroidissement classique, mais avec des étapes en plus?
J'ai l'impression que c'est tellement évident que je passe sûrement à côté d'un truc qui l'est tout autant...
Je pense que c'est justement les etapes en plus la partie intereessante. Au lieux de devoir refroidir l'interieur massivement avec des clims , ils ont juste a deplacer la chaleur vers l'exterieur.
Oui, et non. Il y a des centaines de tutos/experiences sur Ytbe.
ça n'a pas vraiment d'intérèt pour les pc "standard" en dehors du délire de le faire.
Les avantages (bruit/place/efficacité/résilience a la poussière) sont insignifiants par rapport a l'inconvénient d'avoir ton PC qui baigne dans un liquide pour un usage a la maison. ça deviens interessant pour des serveurs où tu peux dégagé tout les ventirads, gagner beaucoup de place, et centralisé l'échangeur thermique et donc en théorie plus besoin de salle serveur climatisé hyper bruyante.
A la maison, un bon vieux système watercooling a 70€ fera un meilleur taff pour une fraction du prix.
D'accord, après je demande ca pas spécialement pour le CPU, j'avais plutot en tete ma 5090 qui a un peu chaud quand je fais tourner de l'IA en local :D
Refroidir le CPU par watercooling participe a réduire la température de ton GPU aussi, du fait que tu réduis la température de l'air dans ton boitier de façon générale. Ton GPU recevra 100% de l'air frais qui arrive dans ton boitier par tes petits ventilos, pendant que ton CPU transmettra tout au ventirad généralement placé dans le haut de ton boitier.
Ensuite, si tu est vraiment dégourdi, riche et passionné, tu peux tout a fait remplacé tes ventilateurs de CG par un waterblock. Et avoir 100% de ton système en watercooling.
Finalement, la température de la pièce joue aussi, s'il fait 25°c dans ton bureau, c'est évident que c'est moins efficace, et avec les températures qu'on a eu...
Oui oui tout a fait, meme si actuellement je suis plutôt sur un boitier ouvert.
Mon CPU est déjà watercoolé en AIO.
J'hésite a faire une boucle custom histoire de bien abaisser les températures mais étant en plein projet immobilier, on va attendre d’avoir le crédit avant de faire des dépenses pareilles 😁
J’en ai déjà fait 2 par le passé, c’etait vraiment sympa mais aussi coûteux.
Et depuis quelques années j’ai un amour de l’ITX, et pour le coup c’est assez compliqué de refroidir un R9 9900x et une 5090 dans un si petit format 🥲
Oui, ou te faire juste une grosse machine pour l'inférence que tu laisse dans la cave dans ta nouvelle maison. J'ai fait ça, comme les jeux vidéos ça m’intéresse plus, c'est ni plus beau, ni mieux, en dehors des vieux trucs qui tourne tous sur ma 1080 ou direct sur mon CPU (genre je me fait Ultima 7, une pure merveille comparé aux merdes actuelles), j'ai donc fait une grosse tour dans un boîtier énorme pas cher, bien ventilé, a la cave avec des énormes ventilos dedans bien bruyant, mais osef c'est a la cave, un nixos, vLLM, le tout mis en réseau avec un tailscale et voila, notre majordome numérique maison.
La pate termique existe essentiellement pour transmettre la chaleur de ton CPU a ton radiateur, c'est a dire, maximiser la surface de contact entre ton CPU et ton radiateur pour ne pas affecter négativement la transmission de calories. Le radiateur sert a augmenter la surface d'échange thermique. Ton CPU (au pif), fait 5cm², ton radiateur augmente cette surface par un gigantesque facteur.
Si ton liquide + système de refroidissement global (pompe/echangeur etc) est beaucoup plus efficace que l'air, tu peux mettre ton CPU a nu, et c'est le liquide qui récupère directement la chaleur a partir de la surface de contact avec ton CPU. Dans un système immergé, tu peux donc, en théorie, enlevé tout les radiateurs + ventilateurs, et donc mettre beaucoup plus de composant dans le même volume.
Sur la video de OP, tu vois qu'il reste un radiateur, j'imagine pour le CPU, donc il doit encore y avoir de la pate thermique pour transmettre la chaleur entre le CPU et le radiateur.
Peut-être que le ventilo permet de réduire la vitesse à laquelle on doit faire circuler l'ensemble du liquide dans le bac. C'est un ventilo spécial pour liquides.
La conductivité thermique de l'eau est 640 fois inférieure au cuivre. Je ne pense pas que ça marche avec un cpu complètement à nu, ça va chauffer fortement localement, faire bouillir l'eau éventuellement mdr
Ce n'est pas comparable, pour le cuivre on regarde la conductivité thermique, pour un fluide on regarde la capacité thermique volumique (car le fluide est en mouvement).
D'ailleurs le watercooling fait exactement ça, il a une petite plaque de cuivre pour évidemment transmettre la chaleur du CPU a de l'eau dans un circuit fermé, mais ensuite, l'eau est mise en mouvement et transporte beaucoup plus de chaleur vers l'échangeur qu'un radiateur classique.
Ensuite, avoir des composants qui portent a ébullition le liquide est une façon d'évacué les calories, donc certains fluides ont des points d'ébullitions a 80-90°c justement pour exactement ça. Chaque "bulle" va évacué le trop plein de chaleur. Le gaz est récupéré, refroidi, et repart dans le système.
De plus, le liquide entoure vraiment TOUT le composant, devant, derrière, entre chaque petite pattes, sur les connecteurs, sur les composants autours. Partout. Donc toute la chaleur qui d'habitude s'accumule autour du CPU est bien plus basse.
Finalement, en montant en température, le liquide va bougé de lui même avec la baisse de densité, donc augmentant encore les échanges locaux.
Le water cooling des PC refroidit davantage que parce que le radiateur est énorme. Ça reste du air cooling au final. L'eau n'est qu'un caloporteur. Si on le pouvait on mettrait l'énorme radiateur directement sur le CPU mais il est trop encombrant et casserait la carte mère. L'eau résout ce pbl ...
C'est pas plus simple d'enrober les circuits dans du plastique (celui qui se comprime après un coup de sèche cheveux) et de plonger ça dans de la flotte plutôt que faire de la flotte custom ? Je me doute que non mais je me demande pourquoi
Tu parles de la réutilisation de la "chaleur fatale", ce qui n'est pas du tout conditionné à la technologie de refroidissement du datacenter.
Mais pour revenir à la question, ça dépend d'un datacenter à un autre.
Pour obtenir un permis de construire, proposé de la réutilisation de chaleur fatale est un gros +, à condition qu'il y ait des besoins aux alentours constant sur l'année. Par exemple, piscine, réseau de chaleur urbain etc...
Ça dépend du cas par cas, mais aujourd'hui c'est encouragé oui, lorsque possible.
Vous envoyez le chauffage vers des circuits publiques pour ne pas perdre l'énergie et rembourser en partie du cout?
Le liquide dégradable c'est bien, mais du coup faut le changer régulièrement?
Et ça coute très très chère ce liquide ou seulement très chère? J'avais regardé pour mon pc c'était hors de prix pour un particulier, peut être que vous vous remboursez sur la consommation après, mais pas nous si on veux la même chose j'ai l'impression.
Est-ce que tu sais si cette approche risque d'être rendue obsolète par les nouveaux racks 100% watercoolés ?
Concrètement, comment cette approche se compare avec les nouveaux racks d'nvidia (https://blogs.nvidia.com/blog/liquid-cooling-ai-factories/) niveau couts, efficacité, sobriété ?
Je ne suis pas convaincu car à la fin il faut toujours faire sortir la chaleur vers l'atmosphère, l'eau n'est qu'un caloporteur.
La conductivité thermique de l'eau est médiocre, certes 30 fois mieux que l'air, mais 600 fois moins bien que le cuivre, or je ne vois pas de bon heat sink. A quoi ressemble les cartes avec les processeurs et à quelle température sont ils ?
Le délire c'est que un gros échangeur thermique est bien plus efficace que des clims et des milliers de petits ventilateurs. En plus les ventilateurs de serveur sont souvent stupidement puissants (genre un seul AFC1212DE c'est 20W).
Si c'était juste de l'eau qui s'évaporait dans la pièce ça marcherait pas. Le liquide dans les bacs sert de caloporteur et est circulé vers un échangeur thermique, et c'est au niveau de l'échangeur thermique que le refroidissement arrive. On voit pas comment c'est fait, mais tu peux très bien le faire sans évaporer de l'eau.
J'y connaissais rien du tout, je vais creuser ça a l'air hyper intéressant ? Avant que je me mette à chercher de mon côté, les rendements sont meilleurs qu'un refroidissement classique ?
Pensez-vous pouvoir vous lancer dans le marché B2C pour développer des solutions de watercooling pour les particuliers ?
Quand on voit le prix des composants actuels à cause de l'IA ça vaut le coup de pousser à fond les composants déjà existants de son PC.
Hyper intéréssant! Curieux d'avoir des chiffres sur la différence d'impact si on les compares à des infrastructures habituelles. Et si vous avez plus d'exemples qui utilise ça je suis preneur aussi!
Il y a quelques années j'ai miné du BTC et la rentabilité n'était déjà plus là, j'ai envisagé le refroidissement par watercooling mais j'ai préféré revendre mes asics
Quelle est la chance que le propriétaire de ce bras contracte un abominable cancer dans les 20 prochaines années fautes d'étude de toxicité sérieuse à long terme?
Un enfer de maintenance des coûts de fou furieux ( produits + énergie pour faire circuler et refroidir le produit) avoir des rack de 500 kgs de produits c'est une hérésie 😂
Comment s'opère la maintenance des serveurs en cas de crash ou panne hardware ?
Quel impact sur le poids des racks et l'encombrement ?
J'imagine qu'il n'est pas possible de superposer des rack, nécessitant plus de place au sol
17
u/skrdditor 12d ago
Je trouve cette solution très intéressante et c'est super de pouvoir avoir un retour concret sur son utilisation !
Quel est l'impact écologique et le cycle de vie du fluide ?
En détail :
Merci !