7 aanbevolen werkwijzen voor stroomverdeling in datacenters

De rackdichtheid is in drie jaar tijd verdrievoudigd. De architectuur van uw stroomdistributiesysteem heeft hier geen gelijke tred mee gehouden.

Generatoren en UPS-systemen krijgen de meeste aandacht omdat ze goed zichtbaar zijn en hun uitval grote gevolgen heeft. Het echte risico schuilt echter meestal in het distributietraject daartussen: de spanningsarchitectuur, het redundantieontwerp en de specificaties van de apparatuur.

De stroomverdeling is van cruciaal belang voor de gehele keten, van de aansluiting op het elektriciteitsnet tot het rack, de transformatoren, de schakelinstallaties, de UPS-systemen (Uninterruptible Power Supply), de PDU’s en de verbindingspaden die dit alles met elkaar verbinden. Of die keten goed is opgezet, bepaalt of een faciliteit de toename in rackdichtheid aankan (met name de toename in dichtheid die wordt aangedreven door AI- en HPC-implementaties) of dat deze juist het knelpunt wordt dat al het andere tot stilstand brengt.

Korte feiten: wat u moet weten over stroomverdeling in datacenters

• Plan de stroomcapaciteit met voldoende reserve, en niet alleen voldoende voor de huidige belasting. Faciliteiten die geen reservecapaciteit en modulaire schaalbaarheid inbouwen, lopen tegen een muur aan zodra de IT-belasting sneller groeit dan verwacht.
• Stem uw redundantieontwerp af op wat het bedrijf daadwerkelijk nodig heeft. Architecturen die gelijktijdig kunnen worden onderhouden (Tier III en hoger, volgens het raamwerk van het Uptime Institute) brengen in eerste instantie hogere kosten met zich mee, maar bieden u de mogelijkheid om apparatuur te onderhouden zonder dat het systeem volledig hoeft te worden stilgelegd.
• Beslissingen over de spanningsarchitectuur hebben een cumulatief effect gedurende de levensduur van een faciliteit. Door stroom op 400 V te distribueren in plaats van deze terug te brengen naar 208 V of 120 V, worden transmissieverliezen met ongeveer 2 tot 5 procent verminderd, en die berekening wordt steeds relevanter naarmate de rackdichtheid toeneemt.
• De UPS-topologie en de chemische samenstelling van de energieopslag moeten worden afgestemd op de belasting die u wilt beveiligen. Ga niet zomaar uit van wat de vorige keer is gespecificeerd.
• Door realtime monitoring van alle belangrijke onderdelen van het distributiesysteem – en niet alleen van de generator en de UPS – wordt onderhoud niet langer reactief, maar voorspellend.
  

1. Houd rekening met de belasting die je nog niet hebt

Elk ontwerp voor stroomverdeling begint met een schatting van de stroombelasting. Het zou een vergissing zijn om het daarbij te laten. 

Een distributiesysteem dat precies is afgestemd op de huidige IT-belasting biedt geen ruimte voor toekomstige uitbreidingen, en het achteraf inbouwen van extra capaciteit in een bestaand systeem – zoals nieuwe transformatoren, nieuwe busway-trajecten en nieuwe schakelinstallaties – brengt veel meer verstoringen met zich mee en is veel duurder dan het vanaf het begin inbouwen van extra capaciteit.

Een goede werkwijze houdt in dat belangrijke apparatuur, zoals transformatoren en generatoren, wordt gedimensioneerd voor de geplande eindtoestand van de faciliteit – of in ieder geval voor een idee daarvan – waarbij daarbovenop nog 10 tot 20 procent reservecapaciteit wordt ingebouwd. Dit houdt ook in dat er fysieke ruimte wordt gereserveerd en dat kabelgoten, kabelbakken, busways en kabelkanalen ruim worden gedimensioneerd, zodat voor toekomstige capaciteitsuitbreidingen geen reeds geïnstalleerde voorzieningen hoeven te worden verwijderd.

Ook hier helpt een gefaseerde uitrol. In plaats van de stroomvoorziening van een hele faciliteit in één keer aan te leggen, kun je dit in fasen doen, zodat elke fase in gebruik kan worden genomen en inkomsten kan genereren terwijl de volgende fase nog in de planningsfase zit. Op deze manier hoef je geen keuze te maken tussen het aanleggen van te veel capaciteit die nog niemand gebruikt, en het aanleggen van te weinig capaciteit die je over achttien maanden nodig zult hebben.

Stel jezelf de vraag: welke aannames hanteert je huidige distributieontwerp met betrekking tot de belasting waarmee je over drie jaar te maken zult hebben?

2. De omvang afstemmen op wat het bedrijf daadwerkelijk nodig heeft, niet op wat het goedkoopst is om te bouwen

Er bestaan verschillende niveaus van redundantie omdat verschillende faciliteiten daadwerkelijk een verschillende tolerantie voor uitval hebben, en het opbouwen van meer redundantie dan nodig is, leidt tot verspilling van kapitaal. Als je minder redundantie opbouwt dan nodig is, breng je het bedrijf in gevaar. Het Uptime Institute hanteert dit raamwerk: 

Het praktische verschil tussen deze niveaus ligt niet alleen in het percentage uptime. Bij Tier I- en Tier II-ontwerpen moeten de IT-activiteiten volledig worden stilgelegd voor gepland onderhoud, wat betekent dat elke vervanging van een onderdeel een geplande onderbreking met zich meebrengt. Bij Tier III en hoger kan elk onderdeel worden onderhouden of vervangen zonder dat de belasting wordt beïnvloed, omdat het ontwerp meerdere onafhankelijke, actieve stroompaden omvat.

Bekijk dit vanuit een pragmatisch perspectief. Ga niet automatisch uit van het niveau dat in uw vorige vestiging werd gehanteerd. Een Tier II-ontwerp kan volkomen geschikt zijn voor een datakast in een nevenvestiging, maar volkomen ongeschikt voor een vestiging waar bedrijfskritische financiële transacties plaatsvinden. Stem het niveau af op de daadwerkelijke kosten van uitval, niet op gewoonte.

3. Zorg dat de spanningsarchitectuur klopt voordat je apparatuur vastlegt

Beslissingen over de spanningsarchitectuur worden in een vroeg stadium eenmalig genomen. De installatie moet vervolgens een decennium of langer met die beslissingen leven. Daarom verdienen ze meer aandacht dan ze doorgaans krijgen.

De berekening van de efficiëntie is duidelijk. Door het rack rechtstreeks op 400 V te voeden in plaats van de spanning terug te brengen naar 208 V, wordt een omzettingsstap overbodig. Dat alleen al leidt tot een besparing op de energiekosten van ongeveer 2 tot 3 procent ten opzichte van een distributiesysteem op 208 V, en van 4 tot 5 procent ten opzichte van een distributiesysteem op 120 V. 

Een hogere spanning betekent ook een lagere stroomsterkte bij dezelfde belasting, waardoor er minder koper nodig is voor de bekabeling en de weerstandsverliezen onderweg worden verminderd. Het nadeel is dat elke spanningstransformatietrap die u toevoegt – bijvoorbeeld bij het omzetten van 480 V naar 208 V en vervolgens naar 120 V – zijn eigen verlies en zijn eigen storingspunt met zich meebrengt. Door het aantal transformatiefasen te minimaliseren en de spanning in de hele faciliteit consistent te standaardiseren, worden zowel het beheer van reserveonderdelen als het onderhoud op de lange termijn vereenvoudigd.

Als uw instelling van plan is om rekken met een hogere dichtheid te plaatsen, met name GPU-intensieve implementaties, dit is het moment om de spanningsarchitectuur nog eens onder de loep te nemen. Ga niet zomaar uit van wat er in de vorige build werd gebruikt.

4. Kies de UPS-topologie en energieopslag die passen bij de belasting die u daadwerkelijk wilt beveiligen

Niet elke belasting vereist hetzelfde niveau van stroombeveiliging, en als je de keuze voor een UPS als één enkele, uniforme beslissing beschouwt, laat je ofwel geld ofwel veerkracht liggen.

Standby- en line-interactive UPS-systemen zijn goedkoper en volstaan voor minder kritieke belastingen, maar bij het overschakelen op de accu treedt er een korte overschakeltijd op (enkele milliseconden). UPS-systemen met dubbele conversie elimineren die overschakelpauze volledig door de belasting continu via de omvormer van stroom te voorzien. Daarom zijn ze de standaard voor bedrijfskritische serveromgevingen, ondanks hun lagere rendement en hogere kosten.

De chemische samenstelling van de energieopslag is net zo belangrijk als de topologie. Ventielgeregelde loodzuurbatterijen blijven de meest gangbare keuze, maar lithium-ion wint terrein vanwege de kleinere voetafdruk en de ingebouwde celbewaking. Het nadeel van lithium-ion is een hoger brandrisico door thermische runaway, waardoor aparte, geventileerde opslag een verstandige voorzorgsmaatregel is. Vliegwielopslag is een derde optie die het vermelden waard is: deze is milieuvriendelijk en zeer efficiënt, maar overbrugt slechts 15 seconden tot 15 minuten stroomverbruik. Daardoor is deze oplossing beperkt tot gebruik in combinatie met snelstartende generatoren, in plaats van dat deze batterijopslag volledig kan vervangen.

Stem de topologie en de chemische samenstelling af op de kriticiteit van de aangesloten apparatuur, in plaats van voor elk rack in het gebouw één standaard UPS-specificatie te hanteren.

5. Houd alle belangrijke onderdelen in de gaten, niet alleen degene die de meeste aandacht krijgen

Door actieve monitoring van transformatoren, schakelinstallaties en stroomonderbrekers verandert een onderhoudsprogramma van reactief naar voorspellend. Slimme laagspanningsstroomonderbrekers en sensoren op schakelinstallaties kunnen continu gegevens over spanning, stroom en vermogensfactor registreren, en die gegevens helpen u een zich ontwikkelende storing op te sporen voordat deze tot een stroomonderbreking leidt.

Fase-onbalans is een specifiek, veelvoorkomend defect waar je rekening mee moet houden. Een ongelijkmatige belastingverdeling over de drie fasen van een stroomkring kan de nulleider overbelasten en harmonischen veroorzaken, lang voordat de stroomonderbreker wordt geactiveerd. 

Een DCIM-platform (Data Center Infrastructure Management) bundelt deze monitoring tot een bruikbaar geheel: één enkele interface voor inventarisatie, status, onderhoudsgeschiedenis en rapportage voor alle distributiecomponenten in de faciliteit. De Power Usage Effectiveness (PUE) – de verhouding tussen het totale stroomverbruik van de faciliteit en de stroom die daadwerkelijk de IT-apparatuur bereikt – is de meest gangbare maatstaf die DCIM bijhoudt. De PUE geeft in één oogopslag weer hoe efficiënt de faciliteit functioneert, waarbij het doel is om zo dicht mogelijk bij 1 te komen. Datacenterbeheerders kunnen de PUE ook in de loop van de tijd volgen om eventuele problemen met de energie-efficiëntie op te sporen. 

6. Leg preventief onderhoud schriftelijk vast

Een gestructureerd onderhoudsprogramma met een schriftelijk schema voor generatoren, UPS-systemen, transformatoren en accu’s is altijd beter dan een informele aanpak die berust op institutionele kennis.

Met thermografische inspecties worden afwijkende warmtepatronen in kabels, stroomrails en aansluitingen opgespoord voordat deze tot zichtbare storingen leiden. Idealiter voert u deze inspecties om de zes maanden uit.

Met belastingsbanken kunt u generatoren en UPS-systemen onder realistische omstandigheden testen, in plaats van er zomaar vanuit te gaan dat ze zullen functioneren wanneer er daadwerkelijk een stroomstoring optreedt.

Deze maatregelen brengen weliswaar extra kosten met zich mee, maar ze zijn goedkoop in vergelijking met de kosten die ontstaan als er een storing optreedt en je op dat moment tot de conclusie komt dat het back-upsysteem niet werkt.

Documentatie is net zo belangrijk als het testen zelf. Een onderhoudslogboek dat daadwerkelijk up-to-date is en daadwerkelijk toegankelijk is voor degene die dienst heeft, maakt het verschil tussen een bekend probleem dat op tijd wordt opgelost en een bekend probleem dat zes maanden later uitmondt in een onvoorziene storing.

7. Plan de uitfasering van verouderde apparatuur zorgvuldig 

Een transformator, UPS-bank of busway-traject die is geïnstalleerd in het kader van een oudere spanningsarchitectuur of een verouderd redundantieontwerp, verdwijnt niet zomaar wanneer de nieuwe apparatuur wordt geïnstalleerd. Deze moet worden verwijderd, en de manier waarop dat gebeurt, maakt nog steeds deel uit van de beslissing over de stroomverdeling; het is geen apart probleem dat later door iemand anders moet worden opgelost.

Met name afgedankte UPS-accu’s verdienen hier aandacht. VRLA- en lithium-ionbatterijen worden volgens de R2v3-norm aangemerkt als „Focus Materials”, wat betekent dat voor de hantering en verdere verwerking ervan dezelfde nalevingsvereisten gelden als voor andere gereguleerde elektronica, en niet als voor algemeen afval. Apparatuur die nog in werkende staat is (PDU’s, ATS-units, schakelinstallaties) behoudt vaak ook meer restwaarde dan exploitanten denken.

Neem het verwijderings- en afvoerplan op in hetzelfde ontwerpgesprek als de nieuwe installatie, zodat u voorkomt dat u een aanzienlijk deel van de restwaarde misloopt.

Planning van de stroomdistributie met het oog op de volledige levenscyclus

Voor een betrouwbare stroomverdeling is meer nodig dan één goede beslissing. Het is een reeks problemen waar je zorgvuldig doorheen moet navigeren.

• Capaciteitsplanning
• Ontwerp met redundantie
• Spanningsarchitectuur
• Keuze van apparatuur 
• Controle, onderhoud
• Afschrijving van hardware 
  

Als er ook maar één link niet klopt, moet de rest van het ontwerp dat compenseren.

Als u meer wilt weten over hoe u op verantwoorde wijze kunt omgaan met het buiten gebruik stellen en de terugwinning van waarde van uw afgedankte apparatuur, exIT Technologies neemt dat deel van de ontmanteling van datacenters voor zijn rekening, van gecertificeerde gegevensvernietiging tot R2v3-conforme recycling en rapportage over het terugwinnen van bedrijfsmiddelen.