De koelbeslissing die bepalend is voor uw volgende infrastructuurvernieuwing

Op de manier waarop de markt over koeling praat, zou je denken dat de keuze eenvoudig is: luchtkoeling is het verleden, vloeistofkoeling is de toekomst en iedereen die nog steeds CRAC-units op schaal gebruikt, loopt achter.

Dat is verkeerd en het kost mensen geld.

Vloeistofkoeling levert echte efficiëntievoordelen op en maakt rackdichtheden mogelijk waar lucht simpelweg niet aan kan tippen. Het introduceert ook infrastructurele verplichtingen, afhankelijkheid van faciliteiten en complexiteit van buitengebruikstelling die niet naar voren komen in het verkooppraatje.

De juiste architectuur hangt af van wat er daadwerkelijk in uw racks staat. 

Voor de meeste bedrijfsomgevingen is het antwoord niet overal vloeistof. Het is vloeistof waar de thermische belasting dit rechtvaardigt en overal elders lucht.

Luchtkoeling: Nog steeds de standaard, met echte grenzen

Luchtkoeling blijft de dominante architectuur in de meeste datacenters van ondernemingen. En voor de meeste niet-AI werkbelastingen blijft het volledig adequaat. Computer Room Air Conditioner (CRAC) en Computer Room Air Handler (CRAH) units circuleren gekoelde lucht via verhoogde vloerplenums of bovengrondse toevoer.

De koele lucht voert warmte af van de achterdeuren van de server. De koelsystemen beheren de omgevingstemperatuur binnen een gedefinieerde thermische envelop. 

Deze infrastructuur wordt goed begrepen, de onderhoudsvaardigheden zijn overal beschikbaar en het ecosysteem van de apparatuur (servers, switches, opslag) is eromheen ontworpen en geoptimaliseerd.

De grens ligt bij de fysica. 

Lucht heeft ruwweg 800 keer minder warmtecapaciteit dan water per volume. Om genoeg lucht te verplaatsen om de warmtedichtheid van een modern GPU-cluster aan te kunnen, zijn ventilatoren nodig die draaien op snelheden die veel energie verbruiken en lawaai maken. En dan hebben we het nog niet eens over de CRAC-units zelf die veel energie verbruiken. 

Volgens de Association for Computer Operations Management steeg de rackdichtheid van 7kW per rack in 2021 naar 16 kW per rack in 2025, met de sterkste groei in AI en hyperscale implementaties. Bij rackdichtheden van meer dan 30 tot 40 kilowatt wordt luchtkoeling steeds duurder. Boven 60 kilowatt is conventionele koeling niet meer praktisch.

Voor bedrijfsomgevingen met gemengde werklasten (AI-inferentieclusters naast traditionele computing, opslag en netwerken) worden de vereisten ingewikkelder. De opslagrijen en netwerkapparatuur blijven ruim binnen het bereik van luchtkoeling. De GPU-knooppunten niet. 

Luchtgekoelde hardware buiten gebruik stellen 

Luchtgekoelde architectuur buiten gebruik stellen is eenvoudig. Het komt op dezelfde manier uit het rek als het erin ging: Geen residu, geen vloeistofbehandeling, geen verontreinigingsproblemen. Servers, schijven en componenten zijn klaar om getest, op waarde geschat en doorverkocht of verantwoord gerecycled te worden op het moment dat ze worden uitgeschakeld en verwijderd. 

Voor ITAD-doeleinden is luchtgekoelde hardware het eenvoudigste scenario.

Vloeistofkoeling van direct naar chip: De pragmatische instap

Direct-to-chip (D2C) koeling (ook wel cold plate cooling genoemd) levert vloeibaar koelmiddel via metalen platen die direct op de onderdelen met hoge warmte worden gemonteerd: CPU's, GPU's en versnellers. 

Een gesloten lus voert koelvloeistof van een koeldistributie-eenheid (CDU) door leidingen op rackniveau naar de koude platen en terug, waarbij warmte wordt overgedragen naar een secundaire gebouwlus of warmtewisselaar. De uitlaatlucht van de server bevat nog steeds wat restwarmte, die meestal wordt verwerkt door een kleiner supplementair luchtsysteem, maar ~70-90% van de thermische belasting wordt direct bij de chip opgevangen.

D2C heeft momenteel het grootste aandeel in de markt voor vloeistofkoeling. Het voordeel is dat het servers hoeven niet te worden herbouwd of ondergedompeldStandaard serverformaten kunnen achteraf worden ingebouwd of vloeistofklaar worden gekocht bij Dell, HPE, Lenovo en anderen. NVIDIA beveelt expliciet direct-to-chip koeling aan voor haar DGX en HGX H100 systemen. De CDU-infrastructuur vereist aanpassingen aan de leidingen en lekdetectiesystemen, maar de overgang is aanzienlijk minder verstorend dan immersiekoeling - een andere beproefde methode voor vloeistofkoeling.

Direct-to-chip vloeistofkoeling hardware buiten gebruik stellen 

In de ontmantelingsfase introduceert D2C een specifieke complicatie die luchtkoeling niet heeft: de bevestiging van de koude platen. Koude platen zijn mechanisch bevestigd aan CPU en GPU-pakketten, meestal met thermisch interfacemateriaal (TIM) tussen de koude plaat en het chippakket. 

Een cold plate verwijderen zonder de processor te beschadigen vereist kennis van de specifieke koppelspecificaties en verwijderingsprocedures. Als technici D2C-servers behandelen als luchtgekoelde servers, beschadigen ze componenten. Ze zijn gevoelig voor schade aan de koude plaat, de TIM-laag, het processorpakket of alle drie. Het beschadigen van een bruikbare H100 is in feite het in brand steken van duizenden dollars. 

Resterende koelvloeistof in de lus aan de rackzijde moet op de juiste manier worden afgetapt en afgevoerd voordat de hardware wordt verwijderd. Dit is geen ingewikkelde situatie met gevaarlijke stoffen; water-glycolmengsels zijn goed bekend. Maar het vereist een gedefinieerde aftapprocedure.

Je ITAD-partner moet weten dat hij ernaar moet vragen voordat de ontmantelingsploeg arriveert.

Koeling door onderdompeling: Maximale dichtheid, maximale overgangscomplexiteit

Bij dompelkoeling worden complete servers ondergedompeld in een diëlektrische vloeistof: een niet-geleidende vloeistof die de warmte van elk onderdeel tegelijk absorbeert. 

Bij een eenfasige onderdompeling circuleert de vloeistof door de tank en door een externe warmtewisselaar en blijft gedurende de hele cyclus vloeibaar. Bij dompelen in twee fasen verdampt een vloeistof met een lager kookpunt terwijl het warmte absorbeert, condenseert in een warmtewisselaar boven de tank en keert terug als vloeistof. Hierdoor wordt een aanzienlijk hogere efficiëntie van warmteoverdracht bereikt.

De dichtheidscijfers zijn aanzienlijk. Enkelfasige onderdompeling kan rekdichtheden aan van 100 tot 120 kilowatt. Tweefasige systemen gaan nog verder. Een goed gerund datacenter met luchtkoeling haalt volgens AKCP doorgaans een PUE (Power Usage Effectiveness) van 1,4 tot 1,6. Dit betekent dat voor elke eenheid energie die wordt gebruikt voor computing, 0,4 tot 0,6 energie wordt bespaard. Dit betekent dat voor elke eenheid energie die wordt gebruikt voor computing, .4-.6 eenheden energie worden gebruikt voor koeling. Centra voor vloeistofkoeling halen dat getal veel lager, tot 1,1 of minder.    

De afweging is de verbintenis met de infrastructuur. 

Onderdompeling vereist tankhardware, op maat gemaakte waterdichte behuizingen voor specifieke serverconfiguraties, CDU's ontworpen voor onderdompeling, aangepaste facilitaire leidingen en diëlektrische vloeistofbeheersystemen. 

Standaardservers kunnen aanpassingen aan de hardware vereisen voordat ze worden ondergedompeld: ventilatoren worden meestal verwijderd en van componenten moet worden bevestigd dat ze compatibel zijn met de specifieke diëlektrische chemie die wordt gebruikt. Intel heeft officieel specifieke diëlektrische vloeistoffen gecertificeerd voor gebruik met zijn Xeon-processorlijnen. NVIDIA's Blackwell-architectuur GPU's zijn ontworpen met vloeistofkoeling, inclusief onderdompeling, als de beoogde aanpak voor thermisch beheer.

Buitengebruikstelling dompelkoelhardware 

Het buiten gebruik stellen van dompelgekoelde hardware is de meest gecompliceerde van deze drie koelarchitecturen. Elke server die uit de tank komt, is bedekt met resten diëlektrische vloeistof. Dat residu moet worden verwijderd voordat de hardware nauwkeurig kan worden getest, getaxeerd of doorverkocht. Voor het reinigingsproces zijn oplosmiddelen of reinigingsmiddelen nodig die compatibel zijn met de specifieke diëlektrische chemie die wordt gebruikt (fluorkoolwaterstofvloeistoffen, koolwaterstofvloeistoffen en synthetische esters).

Diëlektrische vloeistoffen op basis van fluorkoolstoffen bevatten verbindingen die geclassificeerd zijn als PFAS: per- en polyfluoralkylverbindingen, die soms voor altijd chemische stoffen worden genoemd. PFAS worden in de VS en de EU steeds strenger gecontroleerd door regelgevende instanties. Een ITAD-leverancier die nog nooit met dompelgekoelde hardware van een PFAS-vloeistofsysteem heeft gewerkt, heeft mogelijk niet de verwijderingsroute, de kennis van de regelgeving of de certificering van de faciliteit om die stroom correct te beheren. 

Dit is geen hoekgeval. Het is een actief regelgevings- en milieurisico dat jouw probleem wordt bij de ontmanteling als je je ITAD-partner er niet naar hebt gevraagd voordat het project van start ging.

Het hybride model: Hoe lucht en vloeistof samenwerken

De overgrote meerderheid van datacenters in bedrijven met vloeistofkoeling wordt niet volledig omgebouwd. Met andere woorden, de architectuur voor vloeistofkoeling is bijna synoniem aan een hybride model dat zowel luchtkoeling als vloeistofkoeling gebruikt.

De functionele logica van een hybride model is thermische zonering. AI-rekenclusters met hoge dichtheid (GPU-nodes, acceleratorarrays, HPC-infrastructuur) worden geïsoleerd in vloeistofgekoelde zones met D2C of immersie. De hoogste warmte-energiedichtheid rechtvaardigt dit. 

Standaard computer-, opslag-, netwerk- en beheerinfrastructuur blijft in luchtgekoelde zones, waar de thermische belasting de investering in infrastructuur of de operationele complexiteit van vloeistof niet rechtvaardigt.

Opmerking: De NVIDIA Rubin-lijn is nog niet uit op het moment dat deze blog werd gepubliceerd, maar de schattingen van de kW per rack variëren van 

De RDHx (rear-door heat exchanger) is een technologie die op natuurlijke wijze past in hybride ontwerpen. Een vloeistofgekoeld paneel dat aan de achterkant van een standaard serverrack wordt gemonteerd, absorbeert de warmte van de uitlaatlucht voordat deze de datazaal weer binnenkomt. 

RDHx vereist geen koelplaten of serveraanpassingen (bestaande luchtgekoelde servers werken ongewijzigd), maar het vermindert de belasting op de koelinfrastructuur op faciliteitsniveau en breidt het haalbare dichtheidsbereik van luchtgekoelde rijen uit. Bij buitengebruikstelling wordt RDHx hardware op rackniveau verwijderd en is er geen vloeistofverwerking op componentniveau nodig.

De operationele uitdaging in een hybride faciliteit is dat verschillende zones verschillende ontmantelingsprocedures, verschillende ITAD-expertise en verschillende documentatie vereisen. 

Een ITAD-leverancier die efficiënt met luchtgekoelde hardware kan omgaan, heeft misschien niet de kennis van koude platen, de capaciteit om met diëlektrische vloeistoffen om te gaan of de milieuvergunningen om de vloeistofgekoelde zones correct te beheren. Bespreek de koelarchitectuur al in een vroeg stadium bij het plannen van een buitengebruikstelling, anders zit je midden in de operatie met het uitzoeken van de logistiek.

De economische aspecten van de ontmanteling van een datacenter met vloeistofkoeling

Luchtgekoelde hardware komt netjes uit het rek, wordt getest, getaxeerd en gaat op een relatief voorspelbare tijd naar de secundaire markt of verantwoorde recycling. Het ITAD-proces wordt in de hele industrie goed begrepen en de terugwinningswaarde is eenvoudig in te schatten.

Direct-to-chip hardware voegt arbeidscomplexiteit toe op componentniveau. Voor het verwijderen van koude platen zijn getrainde technici nodig die de torsiespecificaties en verwijderingsprocedure voor elke hardwareconfiguratie kennen. Verkeerd verwijderde koude platen beschadigen processorpakketten en verminderen of elimineren de doorverkoopwaarde. 

Een ITAD-partner die al eerder DGX- en HGX-systemen heeft verwerkt, brengt die kennis mee. Iemand die dat niet heeft, zal snel fouten maken.

Ondergedompelde gekoelde hardware maakt het hanteren van vloeistoffen nog ingewikkelder, naast het werk op componentniveau. Elke server moet worden gereinigd voordat deze nauwkeurig kan worden geïnspecteerd of getest. De chemie van de diëlektrische vloeistof bepaalt de reinigingsaanpak en de vereisten voor afvalverwerking. 

Als de faciliteit vloeistoffen op fluorkoolstofbasis heeft gebruikt, heeft de afvalstroom te maken met PFAS-regelgeving die actief in ontwikkeling is in zowel de VS als de EU. De ITAD-leverancier heeft een gedocumenteerd verwijderingspad nodig voor die stroom, geen toezegging om dat uiteindelijk uit te zoeken.

Geen van deze complexiteiten maakt vloeistofkoeling tot een verkeerde keuze. 

De thermische prestatie-eisen, vooral voor AI-hardwarecomponenten, passen perfect bij vloeistofkoeling. Maar er zijn kosten verbonden aan vloeistofkoeling en je datacenterteams moeten hier vanaf het begin aan denken. Plan voor de extra buitengebruikstelling wanneer u de koelarchitectuur installeert, niet wanneer de verversingscyclus eraan komt.