7 bewährte Verfahren für die Stromverteilung im Rechenzentrum

Ihre Rack-Dichte hat sich innerhalb von drei Jahren verdreifacht. Ihre Stromverteilungsarchitektur hat damit nicht Schritt gehalten.

Generatoren und USV-Anlagen stehen im Mittelpunkt der Aufmerksamkeit, da ihre Ausfälle auffällig und dramatisch sind. Das eigentliche Risiko liegt jedoch meist in der Verteilungsstrecke zwischen ihnen: in der Spannungsarchitektur, der Redundanzauslegung und den Gerätespezifikationen.

Die Stromverteilung ist für die gesamte Kette von entscheidender Bedeutung – vom Netzanschluss bis hin zum Rack, zu den Transformatoren, Schaltanlagen, unterbrechungsfreien Stromversorgungssystemen (USV), PDUs und den Verbindungswegen, die all diese Komponenten miteinander verbinden. Ob diese Kette richtig ausgelegt ist, entscheidet darüber, ob eine Anlage das Wachstum der Rack-Dichte bewältigen kann (insbesondere die Dichteerhöhungen, die durch KI- und HPC-Implementierungen vorangetrieben werden) oder ob sie zum Engpass wird, der alle anderen Prozesse zum Stillstand bringt.

Kurzinfos: Was Sie über die Stromverteilung in Rechenzentren wissen sollten

• Planen Sie die Rechenkapazität mit echtem Spielraum ein – nicht nur so, dass sie für die heutige Auslastung ausreicht. Einrichtungen, die keine Reservekapazitäten und keine modulare Skalierbarkeit einplanen, stoßen an ihre Grenzen, sobald die IT-Auslastung schneller wächst als erwartet.
• Passen Sie Ihr Redundanzkonzept an die tatsächlichen Anforderungen Ihres Unternehmens an. Architekturen mit paralleler Wartbarkeit (Tier III und höher gemäß dem Rahmenwerk des Uptime Institute) verursachen zwar höhere Anfangsinvestitionen, ermöglichen es Ihnen jedoch, Geräte zu warten, ohne den Betrieb vollständig herunterfahren zu müssen.
• Entscheidungen zur Spannungsarchitektur wirken sich über die gesamte Lebensdauer einer Anlage hinweg aus. Die Stromverteilung mit 400 V anstelle einer Heruntertransformation auf 208 V oder 120 V reduziert die Übertragungsverluste um etwa 2 bis 5 Prozent, und diese Berechnung gewinnt mit steigender Rack-Dichte zunehmend an Bedeutung.
• Die USV-Topologie und die Chemie des Energiespeichers sollten entsprechend der zu schützenden Last ausgewählt werden. Greifen Sie nicht einfach auf die Lösung zurück, die beim letzten Mal festgelegt wurde.
• Durch die Echtzeitüberwachung aller wichtigen Komponenten der Stromverteilung – nicht nur des Generators und der USV – wird die Wartung von einer reaktiven zu einer vorausschauenden Maßnahme.
  

1. Planen Sie für die Last, die Sie noch nicht haben

Jede Planung einer Stromverteilung beginnt mit einer Schätzung der Strombelastung. Es wäre ein Fehler, es dabei zu belassen. 

Ein Verteilungssystem, das genau auf die heutige IT-Last ausgelegt ist, bietet keinen Spielraum für die nächste Erweiterung, und die nachträgliche Erweiterung der Kapazität eines bestehenden Systems durch neue Transformatoren, neue Sammelschienen und neue Schaltanlagen ist weitaus störender und kostspieliger, als von Anfang an einen Spielraum einzuplanen.

Zu den bewährten Verfahren gehört es, wichtige Anlagen wie Transformatoren und Generatoren für den geplanten Endzustand der Anlage – oder zumindest für eine Vorstellung davon, wie dieser aussehen könnte – auszulegen und dabei zusätzlich 10 bis 20 Prozent Reservekapazität einzuplanen. Außerdem bedeutet dies, physischen Platz zu reservieren und Kabelkanäle, Kabelrinnen, Sammelschienen sowie Leitungsrohre großzügig zu dimensionieren, damit bei künftigen Kapazitätserweiterungen bereits installierte Komponenten nicht entfernt werden müssen.

Auch hier hilft eine schrittweise Umsetzung. Anstatt die gesamte Strominfrastruktur einer Anlage auf einmal aufzubauen, sollten Sie die Umsetzung in Phasen vornehmen, damit jede Phase bereits genutzt wird und Einnahmen generiert, während die nächste Phase noch in Planung ist. Auf diese Weise müssen Sie sich nicht zwischen einer Überkapazität, die noch niemand nutzt, und einer Unterkapazität, die Sie in achtzehn Monaten benötigen werden, entscheiden.

Fragen Sie sich einmal: Welche Annahmen trifft Ihr derzeitiges Verteilungsdesign hinsichtlich der Last, die Sie in drei Jahren betreiben werden?

2. Die Größe sollte sich nach den tatsächlichen Anforderungen des Unternehmens richten, nicht danach, was am günstigsten zu realisieren ist

Redundanzstufen gibt es, weil verschiedene Einrichtungen tatsächlich unterschiedliche Toleranzen gegenüber Ausfallzeiten aufweisen und der Aufbau von mehr Redundanz als nötig eine Verschwendung von Kapital darstellt. Ein Aufbau, der hinter dem Bedarf zurückbleibt, gefährdet das Geschäft. Das Uptime Institute verwendet dies Rahmenwerk: 

Der praktische Unterschied zwischen diesen Stufen besteht nicht nur in der Verfügbarkeitsrate. Bei Tier-I- und Tier-II-Konstruktionen muss der IT-Betrieb für geplante Wartungsarbeiten vollständig heruntergefahren werden, was bedeutet, dass jeder Austausch einer Komponente zu einem geplanten Ausfall führt. Bei Tier III und höher können Komponenten gewartet oder ausgetauscht werden, ohne den Betrieb zu beeinträchtigen, da die Konstruktion mehrere unabhängige, aktive Strompfade umfasst.

Gehen Sie bei der Beurteilung pragmatisch vor. Orientieren Sie sich nicht automatisch an der Tier-Stufe, die in Ihrer letzten Einrichtung verwendet wurde. Ein Tier-II-Design kann für einen sekundären Datenraum in einer Zweigstelle durchaus angemessen sein, für eine Einrichtung, in der geschäftskritische Finanztransaktionen abgewickelt werden, jedoch völlig ungeeignet. Passen Sie die Tier-Stufe an die tatsächlichen Kosten von Ausfallzeiten an, nicht an Gewohnheiten.

3. Legen Sie die Spannungsarchitektur fest, bevor Sie sich für bestimmte Geräte entscheiden

Entscheidungen zur Spannungsarchitektur werden einmalig und schon früh getroffen. Die Anlage muss dann ein Jahrzehnt oder länger mit diesen Entscheidungen leben. Deshalb verdienen sie eine gründlichere Prüfung, als ihnen normalerweise zuteilwird.

Die Effizienzberechnungen sind eindeutig. Durch die Einspeisung von 400 V in das Rack anstelle einer Heruntertransformierung auf 208 V entfällt eine Umwandlungsstufe, was allein schon zu einer Senkung der Energiekosten um etwa 2 bis 3 Prozent im Vergleich zur 208-V-Verteilung und um 4 bis 5 Prozent im Vergleich zur 120-V-Verteilung führt. 

Eine höhere Spannung bedeutet bei gleicher Last auch einen geringeren Strom, wodurch sich der Kupferbedarf für die Verkabelung verringert und die ohmschen Verluste auf der Strecke reduziert werden. Der Nachteil ist, dass jede zusätzliche Spannungstransformationsstufe – beispielsweise bei einer Absenkung von 480 V auf 208 V und weiter auf 120 V – eigene Verluste und eine eigene Fehlerquelle mit sich bringt. Die Minimierung der Anzahl der Transformationsstufen und die einheitliche Standardisierung der Spannung in der gesamten Anlage vereinfachen sowohl die Ersatzteilverwaltung als auch die spätere Wartung.

Falls Ihre Einrichtung den Einsatz von Regalen mit höherer Lagerdichte plant, insbesondere GPU-intensive Bereitstellungen, … jetzt ist der richtige Zeitpunkt, die Spannungsarchitektur noch einmal zu überprüfen. Greifen Sie nicht einfach auf die Einstellungen zurück, die beim letzten Build verwendet wurden.

4. Wählen Sie die USV-Topologie und den Energiespeicher entsprechend der Last, die Sie tatsächlich schützen möchten

Nicht jede Last erfordert denselben Grad an Stromschutz, und wenn man die Auswahl einer USV als eine einzige, einheitliche Entscheidung betrachtet, verschenkt man entweder Geld oder Verzögerungstoleranz.

Standby- und Line-Interactive-USV-Systeme sind kostengünstiger und für weniger kritische Lasten ausreichend, weisen jedoch beim Umschalten auf Batteriebetrieb eine kurze Umschaltzeit (einige Millisekunden) auf. USV-Systeme mit Doppelwandlung beseitigen diese Umschaltlücke vollständig, indem sie die Last kontinuierlich über den Wechselrichter versorgen. Deshalb sind sie trotz geringerer Effizienz und höherer Kosten der Standard für geschäftskritische Serverumgebungen.

Die Chemie der Energiespeicher ist ebenso wichtig wie deren Topologie. Ventilgeregelte Blei-Säure-Batterien sind nach wie vor die gängigste Wahl, doch Lithium-Ionen-Batterien gewinnen aufgrund ihres geringeren Platzbedarfs und der integrierten Zellüberwachung zunehmend an Bedeutung. Lithium-Ionen-Batterien bergen jedoch ein höheres Brandrisiko durch thermisches Durchgehen, weshalb eine separate, belüftete Lagerung eine sinnvolle Vorsichtsmaßnahme darstellt. Die Schwungradspeicherung ist eine dritte Option, die es zu kennen lohnt: Sie ist umweltfreundlich und hocheffizient, überbrückt jedoch nur einen Zeitraum von 15 Sekunden bis 15 Minuten. Dadurch eignet sie sich eher für den Einsatz in Kombination mit Schnellstartgeneratoren als für den vollständigen Ersatz von Batteriespeichern.

Passen Sie die Topologie und die chemische Zusammensetzung an die Kritikalität der angeschlossenen Geräte an, anstatt für alle Racks im Gebäude eine einheitliche USV-Spezifikation festzulegen.

5. Überwachen Sie alle wichtigen Komponenten, nicht nur diejenigen, die im Mittelpunkt der Aufmerksamkeit stehen

Durch die aktive Überwachung von Transformatoren, Schaltanlagen und Leistungsschaltern wird aus einem reaktiven Wartungsprogramm ein vorausschauendes. Intelligente Niederspannungs-Leistungsschalter und Sensoren an Schaltanlagen können kontinuierlich Daten zu Spannung, Strom und Leistungsfaktor erfassen – und diese Daten helfen Ihnen dabei, einen sich anbahnenden Fehler zu erkennen, bevor er zu einem Ausfall führt.

Der Phasenausgleich ist ein spezifischer, häufig auftretender Fehler, den Sie im Auge behalten sollten. Eine ungleichmäßige Lastverteilung auf die drei Phasen eines Stromkreises kann zu einer Überlastung des Neutralleiters führen und Oberschwingungen verursachen, lange bevor ein Schutzschalter auslöst. 

Eine DCIM-Plattform (Data Center Infrastructure Management) bündelt diese Überwachungsdaten zu einer nutzbaren Gesamtsicht: einer zentralen Oberfläche für Bestandsaufnahme, Status, Wartungshistorie und Berichterstellung für alle Verteilungskomponenten in der Anlage. Die Energieeffizienz (PUE), also das Verhältnis zwischen der Gesamtstromleistung der Anlage und der tatsächlich an die IT-Geräte gelieferten Leistung, ist die gängigste Kennzahl, die im Rahmen von DCIM erfasst wird. Der PUE-Wert gibt auf einen Blick Aufschluss darüber, wie effizient die Anlage betrieben wird, wobei das Ziel darin besteht, einen Wert so nahe wie möglich an 1 zu erreichen. Betreiber von Rechenzentren können den PUE-Wert auch im Zeitverlauf verfolgen, um eventuelle Probleme bei der Energieeffizienz zu erkennen. 

6. Halten Sie vorbeugende Wartungsmaßnahmen schriftlich fest

Ein strukturiertes Wartungsprogramm mit einem schriftlichen Zeitplan für Generatoren, USV-Anlagen, Transformatoren und Batterien ist einem informellen Ansatz, der auf institutionellem Wissen basiert, stets überlegen.

Bei thermografischen Prüfungen werden ungewöhnliche Wärmesignaturen in Kabeln, Sammelschienen und Anschlüssen erkannt, bevor sie zu sichtbaren Ausfällen führen. Idealerweise sollten diese Prüfungen alle sechs Monate durchgeführt werden.

Mit Lastbänken können Sie Generatoren und USV-Anlagen unter realistischen Bedingungen testen, anstatt einfach davon auszugehen, dass sie im Falle eines tatsächlichen Stromausfalls einwandfrei funktionieren.

Diese Maßnahmen sind zwar mit zusätzlichen Kosten verbunden, aber im Vergleich zu den Kosten, die entstehen, wenn es zu einem Ausfall kommt und man in diesem Moment feststellt, dass das Backup-System nicht funktioniert, sind sie günstig.

Die Dokumentation ist genauso wichtig wie die Tests selbst. Ein Wartungsprotokoll, das tatsächlich auf dem neuesten Stand ist und dem jeweiligen Bereitschaftsdienst auch tatsächlich zur Verfügung steht, entscheidet darüber, ob ein bekanntes Problem termingerecht behoben wird oder sich sechs Monate später zu einem ungeplanten Ausfall entwickelt.

7. Planen Sie die schrittweise Außerbetriebnahme veralteter Geräte sorgfältig 

Ein Transformator, eine USV-Anlage oder eine Stromschiene, die im Rahmen einer älteren Spannungsarchitektur oder eines veralteten Redundanzkonzepts installiert wurden, verschwinden nicht einfach, wenn die neuen Geräte eingebaut werden. Sie müssen entfernt werden, und wie dies geschieht, ist nach wie vor Teil der Entscheidung zur Stromverteilung und kein separates Problem, das später von jemand anderem gelöst werden muss.

Insbesondere ausgediente UPS-Batterien sollten hier Beachtung finden. VRLA- und Lithium-Ionen-Batterien werden gemäß dem R2v3-Standard als „Focus Materials“ eingestuft, was bedeutet, dass für ihre Handhabung und Weiterverarbeitung dieselben Compliance-Anforderungen gelten wie für andere regulierte Elektronikgeräte und nicht wie für allgemeinen Schrott. Geräte, die in funktionsfähigem Zustand ausgemustert werden (PDUs, ATS-Einheiten, Schaltanlagen), behalten häufig einen höheren Wiederverkaufswert, als die Betreiber annehmen.

Beziehen Sie den Plan für den Ausbau und die Entsorgung bereits in die Planungsgespräche für die Neuinstallation mit ein, damit Sie keinen erheblichen Teil des Wiederverkaufswerts verschenken.

Planung der Stromverteilung unter Berücksichtigung des gesamten Lebenszyklus

Eine zuverlässige Stromverteilung erfordert mehr als nur eine gute Entscheidung. Sie stellt eine Kette von Problemen dar, durch die man sich sorgfältig navigieren muss.

• Kapazitätsplanung
• Redundanzkonzept
• Spannungsarchitektur
• Auswahl der Ausrüstung 
• Überwachung, Wartung
• Stilllegung von Hardware 
  

Wenn auch nur ein einziger Link falsch ist, muss der Rest des Designs dies ausgleichen.

Wenn Sie mehr darüber erfahren möchten, wie Sie Ihre ausgemusterten Geräte verantwortungsbewusst entsorgen und deren Wert zurückgewinnen können, exIT Technologies kümmert sich um diesen Aspekt der Stilllegung von Rechenzentren, von der zertifizierten Datenvernichtung bis hin zum R2v3-konformen Recycling und der Berichterstattung über die Rückgewinnung von Vermögenswerten.