Gebruikte vs. nieuwe GPU's voor uw servers: Hoe te kiezen

De vraag naar GPU's stijgt, waardoor nieuwe GPU's over de hele linie minder toegankelijk worden. 

Sommige klanten zullen een meerprijs moeten betalen voor GPU's en anderen zullen helemaal uit de markt worden gedrukt. Meer en meer klanten zullen hun toevlucht moeten nemen tot de GPU-herverkoopmarkt. 

De wederverkoopmarkt kan voor alle soorten klanten voordelige hardwaredeals opleveren. Sommige klanten zullen eerst naar de nieuwe GPU-markt kijken, maar het is altijd een goed idee om te zien of een hardware reseller tegen een gereduceerde prijs aan de zakelijke behoeften kan voldoen. 

Ken uw behoeften van binnen en van buiten

Voordat je meteen tot aankoop overgaat, moet je eerst inventariseren wat je eigenlijk nodig hebt en of de keuze tussen een gebruikte en een nieuwe GPU je winstgevendheid kan verbeteren. 

Als u van plan bent om een nieuw datacenter te bouwen, hebt u daar een lastig moment voor uitgekozen. Overweeg te kijken naar cloudservices die uw datacenterbehoeften kunnen verlichten. 

Zoals Apple's aanpak met AI, Organisaties kunnen werklasten uitbesteden aan externe cloudleveranciers die draaien op GPU-servers van derden. Dit verandert uw dure datacenterproject in projecteerbare abonnementskosten.

Als je al hebt geïnvesteerd in datacenters op locatie, dan moet je je datacenterbehoeften evalueren om te bepalen of nieuwe of gebruikte hardware het beste bij je bedrijf past.  

AI-datacenters en gebruikte GPU's

Als je AI-werklasten draait zoals LLM's of deep learning-modellen, de nieuwste GPU's zijn een eerste vereiste. De nieuwste hardware is ontworpen met AI-workloads in het achterhoofd en bedrijven zullen een enorm nadeel ondervinden als ze AI-capaciteit proberen te schalen terwijl ze oude hardware gebruiken.

Zelfs gebruikte GPU's van slechts een jaar of twee oud doen niet onder voor de nieuwste modellen. Het hogere prijskaartje is het waard voor iedereen die probeert te concurreren met de hyperscalers op de AI-markt. Fabrikanten verkopen hun voorraad IT-hardware maanden en jaren van tevoren uit, dus je moet overeenkomsten met fabrikanten afsluiten als je de hardware voor het einde van 2027 wilt zien.   

Wanneer gebruikt beter is dan nieuw

Het belangrijkste voordeel van gebruikte GPU-servers is de lagere aankoopprijs. Dit gaat soms ten koste van de efficiëntie. 

Als een gebruikte bulkaankoop van GPU's je een paar duizend dollar bespaart, maar de operationele kosten van je datacenter stijgen met 15%, dan zijn de besparingen op korte termijn het niet waard. Zorg ervoor dat gebruikte hardware geen belasting vormt voor je infrastructuur voordat je een gebruikte GPU koopt.  

Naast de financiën zijn er nog andere redenen die gebruikte GPU-hardware aantrekkelijker maken. 

U hebt onmiddellijke inzet nodig

Nieuwe GPU-hardware is erg moeilijk te krijgen - fabrikanten als NVIDIA en Dell hebben het grootste deel van hun voorraad uitverkocht. Ze hebben zelfs deals gesloten om eenheden te verkopen die nog in productie zijn en pas over maanden klaar zullen zijn.    

Gebruikte aanbiedingen zijn meestal gebonden aan geteste hardware die in het magazijn van de verkoper staat. Ze kunnen het verzenden zodra het geld binnen is. Gebruikte GPU-aankopen kunnen klanten helpen problemen met de toeleveringsketen te vermijden. 

Je hebt expertise in optimalisatie en onderhoud

Vertrouwdheid met je apparatuur is essentieel voor het beheer van datacenters, dus het gebruik van vertrouwde apparatuur heeft een aantal voordelen. Beheerders weten hoe ze deze hardware moeten beheren, wat de limieten zijn en wanneer ze apparatuur moeten onderhouden. Als je niet zo snel mogelijk hoeft te schalen, kun je je richten op stabiliteit met bekende apparatuur, zelfs als die een generatie of twee achterloopt. 

Je stroom- en koelsysteem kan nieuwe apparatuur niet aan

AI-training en -bewerking brengt druk en pieken met zich mee in datacenters, dus oudere energiesystemen zijn ingesteld op falen. Nieuwere GPU's gebruiken veel meer stroom dan oudere. 

Afhankelijk van wanneer je je datacenter hebt gebouwd, heb je misschien meer dan nieuwe GPU's nodig. Zonder voldoende stroom of koeling draaien de GPU's niet op volle capaciteit of belast je de andere componenten van je datacenter overmatig.  

Om uitval te voorkomen, kunnen bedrijven de capaciteit en architectuur van het datacenter afstemmen op de hardware die ze gebruiken. 

Betrouwbaarheid van gebruikte vs. gereviseerde GPU's

Als je gebruikte of gereviseerde GPU's gaat kopen, zorg er dan voor dat je de expertise in huis hebt om eventuele problemen met de apparatuur op te lossen. Gereviseerde GPU's zijn de beste keuze voor kleinere organisaties die geen gespecialiseerd personeel hebben om de kwaliteit van de hardware te beoordelen. 

Wanneer zijn nieuwe GPU's nodig? 

Grootschalige datacenterbeheerders zullen altijd de voorkeur geven aan de nieuwste GPU-modellen, maar er is een dunne lijn tussen voorkeur en vereiste. 

Nieuwe datacenters gericht op AI

Als je verouderde GPU's gebruikt om LLM's te trainen, werkt je datacenter technisch gezien prima. Je bedrijf niet.

De AI-markt wordt bepaald door de grens van capaciteit, complexiteit en schaal. Als je niet de nieuwste apparatuur in je datacenters hebt, zal je concurrentie je voorbijstreven en betere diensten aanbieden. De uitdaging is om deze GPU's op voorraad te vinden.

Net als DRAM wordt de GPU-markt overspoeld door vraag en de fabrikanten tevreden zijn met een relatief stabiele productie. Technologiewederverkopers hebben vaak de huidige generatie GPU's op voorraad, maar je kunt alleen kopen wat er op hun planken ligt. Je zult creatief moeten zijn om in deze markt door te breken als je geen langetermijnovereenkomsten (LTA's) hebt.   

Hardwarecapaciteit remt groei

Als je tegen de hardwarebeperkingen van een ouder datacenter aanloopt, is het tijd voor een grote upgrade. Als je gebruikte GPU's en andere serverhardware koopt, kun je over een paar jaar in dezelfde positie zitten. Met nieuwe hardware kun je de vernieuwingscyclus van je hardware beheren zonder dat je je zorgen hoeft te maken dat je achterop raakt.

Zodra uw datacenter gebruik kan maken van de nieuwste hardware, verbetert u de effectiviteit van uw stroomverbruik, wat het volgende betekent meer van je vermogen gaat naar de computerprocessen in plaats van de bouwactiviteiten.

U hebt OEM-garanties nodig

De meest betrouwbare IT-hardwarestrategie is vooruit plannen met vernieuwingscycli en je hardware-investering beschermen met garanties. 

Als uw datacenter activa, zoals GPU's of DRAM, een levenscyclus van 5 jaar hebben, dan verzekert een fabrikant die een garantie van 5 jaar biedt u ervan dat u gedurende de hele periode over functionele apparatuur zult beschikken. Als bepaalde bedrijfsmiddelen het voortijdig begeven, zal de fabrikant deze voor je aanvullen. 

Datacenterhardware is tegenwoordig moeilijk te krijgen. Door hardware met fabrieksgarantie te kopen, weet je zeker dat je niet met beschadigde GPU's komt te zitten en geen opties hebt om ze te vervangen. 

Conclusie

Tussen aanbodtekorten, een explosief stijgende vraag van AI-workloads en fabrikanten die hardware verkopen die nog niet eens gebouwd is, is de aanschaf van IT-hardware extreem moeilijk.

AI- en cloudgerichte bedrijven moeten geld uitgeven aan LTA's voor nieuwe GPU's, terwijl bedrijven die meer behoefte hebben aan stabiliteit dan aan schaalbaarheid kunnen vertrouwen op de markt voor gebruikte GPU's. Uiteindelijk zullen datacenteroperaties en inkoopexperts je het beste idee geven over wat je bedrijf moet aanschaffen voor zijn datacenters. Of je nu nieuw of gebruikt koopt, je moet één ding in gedachten houden: de architectuur van het datacenter moet passen bij de hardware. Als je racks te dicht zijn of als je koelcentrum een gebruikspiek niet aankan, krijg je te maken met uitval, vernietiging van activa en erger.

Zorg ervoor dat inkoop- en architectuurteams op één lijn zitten om de activiteiten veilig en efficiënt te houden.