GPU d'occasion ou neufs pour vos serveurs : Comment choisir

La demande de GPU s'envole, ce qui rend les nouveaux GPU moins accessibles. 

Certains clients devront payer un supplément pour les GPU, tandis que d'autres seront totalement exclus du marché. De plus en plus de clients sont contraints de compter sur le marché de la revente des GPU pour s'en sortir. 

Le marché de la revente peut répondre aux besoins de tous les types de clients en leur proposant des offres de matériel rentables. Certains clients se tourneront d'abord vers le marché des nouveaux GPU, mais il est toujours bon de voir si un revendeur de matériel informatique peut répondre aux besoins de l'entreprise à un prix réduit. 

Connaître ses besoins à l'intérieur et à l'extérieur

Avant de vous lancer dans un achat, faites l'inventaire de ce dont vous avez réellement besoin et voyez si le choix d'un GPU d'occasion ou d'un GPU neuf peut améliorer votre rentabilité. 

Si vous envisagez de construire un nouveau centre de données, vous avez choisi un moment délicat pour le faire. Envisagez de vous tourner vers des services en nuage qui pourraient vous décharger de vos besoins en matière de centre de données. 

Comme l'approche d'Apple en matière d'IA, Les organisations peuvent externaliser des charges de travail à des fournisseurs de cloud tiers qui les exécutent sur des serveurs GPU tiers. Cela transforme votre projet coûteux de centre de données en un coût d'abonnement projetable.

Si vous avez déjà investi dans des centres de données sur site, vous devez évaluer vos besoins en matière de centres de données afin de déterminer si du matériel neuf ou d'occasion est le mieux adapté à vos activités.  

Centres de données d'IA et GPU d'occasion

Si vous exécutez des charges de travail d'IA telles que des LLM ou des modèles d'apprentissage profond, les GPU les plus récents sont une exigence de départ. Le matériel le plus récent est conçu pour les charges de travail d'IA, et les entreprises seront fortement désavantagées si elles essaient d'augmenter la capacité d'IA en utilisant du matériel ancien.

Même les GPU d'occasion qui n'ont qu'un an ou deux sont surclassés par les modèles les plus récents. Le prix plus élevé en vaut la peine pour tous ceux qui essaient de rivaliser avec les hyperscalers du marché de l'IA. Les fabricants épuisent leurs stocks de matériel informatique des mois et des années à l'avance. Vous devez donc conclure des accords avec les fabricants si vous voulez voir le matériel avant la fin de l'année 2027.   

Quand l'usagé vaut le neuf

Le principal avantage des serveurs GPU d'occasion est leur prix d'achat inférieur. Cela se fait parfois au détriment de l'efficacité. 

Si l'achat d'un GPU d'occasion vous permet d'économiser quelques milliers de dollars mais que les coûts d'exploitation de votre centre de données augmentent de 15%, les économies à court terme n'en valent pas la peine. Avant d'acheter un GPU d'occasion, assurez-vous que le matériel utilisé n'alourdira pas votre infrastructure.  

Au-delà de l'aspect financier, des raisons plus générales rendent le matériel GPU d'occasion plus attrayant. 

Vous avez besoin d'un déploiement immédiat

Il est très difficile de se procurer du nouveau matériel GPU - des fabricants comme NVIDIA et Dell ont épuisé la majeure partie de leur stock. Ils ont même conclu des accords pour vendre des unités qui sont encore en cours de fabrication et qui ne seront pas prêtes avant des mois.    

Les annonces d'occasion sont généralement liées à du matériel testé qui se trouve dans l'entrepôt du vendeur. Ce dernier peut l'expédier dès qu'il dispose de l'argent nécessaire. Les achats de GPU d'occasion peuvent aider les clients à éviter les problèmes liés à la chaîne d'approvisionnement. 

Vous disposez d'une expertise en matière d'optimisation et de maintenance

La connaissance de votre équipement est essentielle pour la gestion du centre de données, c'est pourquoi l'utilisation d'un matériel familier présente certains avantages. Les administrateurs savent comment gérer ce matériel, quelles sont ses limites et quand effectuer la maintenance. Si vous n'avez pas besoin d'évoluer aussi rapidement que possible, vous pouvez vous concentrer sur la stabilité avec du matériel connu, même s'il est en retard d'une ou deux générations. 

Votre système d'alimentation et de refroidissement ne peut pas supporter un nouvel équipement

La formation et les opérations d'IA entraînent des tensions et des pics dans les centres de données, de sorte que les anciens systèmes d'alimentation sont voués à l'échec. Les nouveaux GPU consomment beaucoup plus d'énergie que les anciens. 

Selon la date à laquelle vous avez construit votre centre de données, il se peut que vous ayez besoin de plus que de nouveaux GPU. Sans une alimentation ou un refroidissement suffisants, les GPU ne fonctionneront pas à pleine capacité et les autres composants de votre centre de données seront soumis à des contraintes excessives.  

Pour éviter les pannes, les entreprises peuvent adapter la capacité et l'architecture du centre de données au matériel qu'elles utilisent. 

Fiabilité des GPU d'occasion et des GPU reconditionnés

Si vous préférez acheter du matériel d'occasion plutôt que du matériel remis à neuf, assurez-vous que vous disposez de l'expertise interne nécessaire pour résoudre les problèmes qui pourraient survenir avec le matériel. Les GPU remis à neuf sont la meilleure solution pour les petites entreprises qui ne disposent pas d'un personnel spécialisé pour évaluer la qualité du matériel. 

Quand de nouveaux GPU sont-ils nécessaires ? 

Les opérateurs de centres de données à grande échelle préféreront toujours les derniers modèles de GPU, mais la frontière entre ce qui est préféré et ce qui est nécessaire est ténue. 

De nouveaux centres de données axés sur l'IA

Si vous utilisez des GPU obsolètes pour former des LLM, votre centre de données fonctionnera techniquement très bien. Ce n'est pas le cas de votre entreprise.

Le marché de l'IA est défini par la capacité, la complexité et l'échelle de pointe. Si vous ne disposez pas des derniers équipements dans vos centres de données, vos concurrents vous dépasseront et vous offriront de meilleurs services. Le défi consiste à trouver ces GPU en stock.

Comme pour les DRAM, le marché des GPU est inondé de demandes et le marché des GPU est en pleine expansion. les fabricants se contentent de maintenir leur production à un niveau relativement stable. Les revendeurs de technologie ont souvent des GPU de la dernière génération en stock, mais vous ne pouvez acheter que ce qui se trouve sur leurs étagères. Vous devrez faire preuve de créativité pour pénétrer ce marché si vous ne disposez pas d'accords à long terme.   

Les capacités matérielles freinent la croissance

Si vous vous heurtez aux limites matérielles d'un centre de données ancien, il est temps de procéder à une mise à niveau majeure. Si vous achetez des GPU et d'autres matériels de serveur d'occasion, vous risquez de vous retrouver dans la même situation dans quelques années. Avec du matériel neuf, vous pouvez gérer votre cycle de rafraîchissement du matériel sans craindre d'être à la traîne.

Une fois que votre centre de données pourra utiliser le matériel le plus récent, vous améliorerez l'efficacité de votre consommation d'énergie, ce qui signifie que une plus grande partie de votre énergie est consacrée aux processus informatiques au lieu de l'exploitation du bâtiment.

Vous avez besoin de garanties OEM

La stratégie la plus fiable en matière de matériel informatique consiste à planifier à l'avance des cycles de rafraîchissement et à protéger l'investissement en matériel par des garanties. 

Si les équipements de votre centre de données, tels que les GPU ou la DRAM, ont un cycle de vie de cinq ans, un fabricant offrant une garantie de cinq ans vous assure que vous disposerez d'équipements fonctionnels pendant toute cette période. Si certains équipements tombent en panne prématurément, le fabricant les réapprovisionnera pour vous. 

Le matériel de centre de données est difficile à trouver de nos jours. L'achat de matériel avec une garantie du fabricant vous permet d'éviter de vous retrouver avec des GPU endommagés sans possibilité de les remplacer. 

Conclusion

Entre les pénuries d'approvisionnement, la montée en flèche de la demande des charges de travail d'IA et les fabricants qui vendent du matériel qui n'est même pas encore construit, l'approvisionnement en matériel informatique est extrêmement difficile à naviguer.

Les entreprises axées sur l'IA et le cloud devraient débourser de l'argent pour entrer dans les LTA pour les nouveaux GPU, tandis que les entreprises qui ont besoin de stabilité plus que d'échelle peuvent compter sur le marché des GPU d'occasion. En fin de compte, les experts en opérations de centres de données et en approvisionnement vous donneront la meilleure idée de ce que votre entreprise devrait acheter pour ses centres de données. Que vous achetiez du neuf ou de l'occasion, vous devez garder une chose à l'esprit : l'architecture du centre de données doit correspondre au matériel. Si vos baies sont trop denses ou si votre centre de refroidissement ne peut pas gérer un pic d'utilisation, vous serez confronté à des pannes, à la destruction d'actifs, voire pire.

Veillez à ce que les équipes chargées des achats et de l'architecture soient sur la même longueur d'onde afin de garantir la sécurité et l'efficacité des opérations.