Wie man erkennt, wann es Zeit für ein Server-Upgrade ist

Ihr GPU-Cluster hat vor 18 Monaten seinen ersten Trainingsauftrag ausgeführt. 

Damals war es noch schnell genug. Jetzt wartet Ihr Team zwei Tage auf einen Lauf, den Ihr Konkurrent über Nacht abschließt, und Sie sind sich nicht sicher, ob das Problem an der Hardware, der Architektur oder ganz woanders liegt.

Diese Ungewissheit ist das eigentliche Problem. 

Entscheidungen zur KI-Infrastruktur folgten früher einem vorhersehbaren Rhythmus: alle fünf Jahre eine Erneuerung, planmäßige Abschreibung, und so weiter. Dieses Modell gibt es nicht mehr. 

Aufgrund der immer kürzer werdenden Entwicklungszyklen im Bereich der KI kann Hardware, die vor 18 Monaten noch auf dem neuesten Stand war, bereits heute einen Engpass darstellen. Die Kosten, die durch das Abwarten entstehen, bis dies feststeht, lassen sich in Trainingszeit, Energieverbrauch und Wettbewerbsposition bemessen. 

Hier erfahren Sie, wie Sie feststellen können, ob tatsächlich die Hardware das Problem ist, und was Sie dagegen tun können.

Man muss nicht alles ersetzen

Bevor Sie einen vollständigen Rack-Austausch planen, sollten Sie die Diagnose eingrenzen. GPUs, Netzwerkgeräte und Arbeitsspeicher weisen jeweils unterschiedliche Fehlersignaturen auf. Eine NVMe-SSD mit unzureichender Leistung oder ein InfiniBand-Switch, der mit reduzierter Bandbreite läuft, kann einen gesamten Knoten ausbremsen.

Beginnen Sie mit Leistungsdaten auf Komponentenebene Bevor Sie sich für eine vollständige Aktualisierung entscheiden. Das Problem ist in der Regel spezifischer, als es auf den ersten Blick erscheint.

Leistungsengpässe

Wenn die Trainingszeiten unzumutbar lang geworden sind, liegt eine Überlastung vor. Speicherbandbreite, Datenübertragung zwischen Knoten und thermische Drosselung sind die üblichen Verdächtigen. Achten Sie auf Kennzahlen zur Hardwareauslastung, die konstant an oder nahe ihren Grenzwerten liegen.

Wenn der VRAM das Engpass ist, lässt sich das Problem nicht durch den Austausch einzelner Komponenten beheben. Wenn es sich jedoch um eine einzelne Komponente mit unzureichender Leistung handelt, die den Rest des Servers ausbremst, könnte dies möglicherweise helfen. Prüfen Sie die Daten, bevor Sie eine Entscheidung treffen.

Wie hoch ist derzeit Ihr Richtwert für die Gleitkomma-Rechenleistung pro Sekunde (FLOPS) pro Dollar, und wann haben Sie diesen zuletzt mit verfügbaren Alternativen verglichen?

Latenzzeit

Die Latenz täuscht. Man setzt ein größeres Modell ein, und die Inferenz wird langsamer – aber liegt das am Netzwerk, am Speicherdurchsatz oder an der GPU selbst?

Bei veralteter Hardware müssen Sie blind debuggen. Neuere Architekturen bieten Ihnen eine bessere Überwachbarkeit und in der Regel einen kürzeren Weg zur Lösung.

Architekturausrichtung

Wenn Ihr Software-Stack für neuere GPU-Architekturen optimiert ist – beispielsweise für für Hopper kompilierte CUDA-Kernel oder für Blackwell abgestimmte Attention-Mechanismen –, bedeutet der Einsatz auf Ampere-Hardware, dass Sie Leistung ungenutzt lassen. Ihre Software und Ihre Hardware müssen auf dieselbe Arbeitslast ausgerichtet sein. Ist dies nicht der Fall, zahlen Sie für Funktionen, die Sie gar nicht nutzen können.

Wartungskosten

Wenn die Wartungskosten 20% der Anschaffungskosten für gleichwertige neue Geräte übersteigen, hat sich das Kosten-Nutzen-Verhältnis bereits zu Ihren Ungunsten verschoben. Sie finanzieren die alte Hardware doppelt: einmal durch den ursprünglichen Kauf, ein weiteres Mal durch die laufenden Reparaturen. Außerdem verschenken Sie betriebliche Einsparpotenziale, da neue Geräte eine bessere Leistung pro Watt bieten.

Planen Sie Ihre Wartungskurve für die nächsten drei Jahre, bevor Sie eine Entscheidung treffen. Der Irrtum der versunkenen Kosten verhindert mehr Entscheidungen zur Hardware-Erneuerung als Budgetbeschränkungen.

Wirkungsgrad pro Watt

Moderne GPUs – wie die H100 und die B200 – liefern deutlich mehr FLOPS pro Watt als ihre Vorgängermodelle. Allerdings haben sie auch einen höheren Gesamtstromverbrauch. Ihre Stromrechnung wird steigen, auch wenn sich Ihre Energieeffizienz verbessert.

Vergewissern Sie sich vor dem Upgrade, dass Ihre Kühlinfrastruktur und die Stromversorgung die neuen thermischen Anforderungen bewältigen können. Selten ist die GPU der Engpass, der eine Modernisierung des Rechenzentrums verhindert. Vielmehr ist es das Gebäude.

Garantien und Support nach Ablauf der Lebensdauer

Hardware, deren Support durch den Hersteller abgelaufen ist, birgt zwei Risiken: das Ausfallrisiko (kein Hersteller-Support bei einem Ausfall) und das Sicherheitsrisiko (keine Firmware-Patches). Beide Risiken lassen sich bewältigen – bis sie es nicht mehr tun.

Wenn Ihre Server bereits über das Ende ihrer Lebensdauer hinaus in Betrieb sind, ist das kein Grund zur Panik. Es ist jedoch ein Grund dafür, einen dokumentierten Plan zu haben, wie im Falle des nächsten Ausfalls vorgegangen werden soll.

Ihr Anwendungsfall bestimmt den Zeitplan

Edge-Inference-Bereitstellungen, bei denen es sich um kleinere, verteilte Servergruppen handelt, weisen andere Aktualisierungskosten auf als zentralisierte Trainingscluster. Cloud-Umgebungen verändern die Kalkulation grundlegend. Ein Upgrade bedeutet, dass man Rechenzeit auf einem neueren Instanztyp reserviert, nicht aber, dass man Hardware kauft. 

Es wird erwartet, dass die Knappheit an GPU-Speicher die Bereitstellung von Cloud-Servern bis 2026 einschränken wird, was bedeutet, dass die Preise für KI-Rechenleistung wahrscheinlich steigen werden, unabhängig davon, was Sie vor Ort tun.

Wenn Ihr Betrieb groß genug ist, um das gesamte Spektrum von der Training- bis zur Inferenzphase abzudecken, Es gibt ein kapitaleffizientes Modell, das eine Überlegung wert ist..

Die Wertkaskade: Wie Hyperscaler die Lebensdauer ihrer Hardware verlängern

Setzen Sie die neueste GPU-Generation für das Training ein. Wenn die nächste Generation auf den Markt kommt, nutzen Sie die aktuelle Trainingshardware für Inferenz-Workloads, die weniger hohe Anforderungen stellen. Wenn diese Generation für Inferenzzwecke nicht mehr geeignet ist, nehmen Sie sie außer Betrieb und verkaufen Sie sie über einen ITAD-Anbieter oder Wiederverkäufer.

Auf diese Weise können Hyperscaler Abschreibungszeiträume von mehr als fünf Jahren realisieren, ohne dabei Abstriche bei der Trainingsleistung zu machen. So bleibt jede Hardware-Generation bis zum Ende ihrer Nutzungsdauer produktiv.

Das funktioniert nur, wenn Sie über genügend interne Auslastung verfügen, um jede Ebene auszulasten. Ein kleines F&E-Team, das gelegentlich Trainingsaufträge ausführt, wird nicht das erforderliche Inferenzvolumen haben, damit sich die Kaskade lohnt. Wenn dies jedoch der Fall ist, handelt es sich um eine der wenigen Hardwarestrategien, die mit der Zeit tatsächlich kostengünstiger wird.

Die Frage ist nicht, ob ein Upgrade durchgeführt werden soll, sondern wann.

Ein strenger, kalenderbasierter Aktualisierungszyklus funktioniert nicht für KI-Infrastruktur. Die Hardware-Landschaft entwickelt sich zu schnell, und Ihre Workloads ändern sich zu oft.

Folgendes hat sich bewährt: Betrachten Sie das Thema „Upgrade“ als fortlaufenden Prozess und nicht als einmalige Angelegenheit. Wenn eine einzelne Komponente ein Risiko darstellt (eine GPU, deren Garantie abgelaufen ist, ein Switch, der unerklärliche Latenzzeiten verursacht, eine Speicherebene, die zum Engpass geworden ist), reicht das bereits aus, um mit der Analyse zu beginnen.

Die Hardware, die Sie in sechs Monaten benötigen, wird bereits jetzt bereitgestellt. Die Teams, die sich jetzt damit befassen, werden die Wahl haben. Diejenigen, die dies nicht tun, werden keine Wahl haben.