Supermicro lance trois SuperClusters d'IA générative complets, prêts à être déployés et basés sur NVIDIA, qui s'étendent de l'entreprise aux grandes infrastructures LLM

Les SuperClusters complets comprennent des configurations en rack pour l'entraînement refroidies par air et par liquide et des configurations en rack pour l'inférence à l'échelle du cloud avec les dernières unités de traitement graphique (GPU) NVIDIA Tensor Core, la mise en réseau et le logiciel NVIDIA AI Enterprise

SAN JOSÉ, Californie, 20 mars 2024 /PRNewswire/ -- Supermicro, Inc. (NASDAQ: SMCI), un fournisseur de solutions informatiques complètes pour l'IA, le cloud, le stockage et la 5G/Edge, a annoncé son dernier portefeuille pour accélérer le déploiement de l'IA générative. Les solutions Supermicro SuperCluster fournissent des éléments de base pour l'infrastructure actuelle et future des grands modèles de langage (LLM).

Les trois puissantes solutions SuperCluster de Supermicro sont désormais disponibles pour les charges de travail d'IA générative. Les systèmes 4U refroidis par liquide ou 8U refroidis par air sont spécialement conçus pour des performances d'entraînement LLM puissantes, ainsi que pour l'inférence LLM de grande taille et de grand volume. Un troisième SuperCluster, doté de systèmes Supermicro NVIDIA MGX^tm refroidis par air 1U, est optimisé pour l'inférence à l'échelle du cloud.

« À l'ère de l'IA, l'unité de calcul est désormais mesurée par des clusters et pas seulement par le nombre de serveurs, et avec notre capacité de fabrication mondiale étendue de 5 000 racks par mois, nous pouvons fournir des clusters d'IA générative complets à nos clients plus rapidement que jamais, a déclaré Charles Liang, président et PDG de Supermicro. Un cluster de 64 noeuds permet d'utiliser 512 GPU NVIDIA HGX H200 avec 72 To de HBM3e grâce à une paire de nos blocs de construction de cluster évolutifs avec 400 Gbits/s NVIDIA Quantum-2 InfiniBand et un réseau Ethernet Spectrum-X. Les solutions SuperCluster de Supermicro combinées au logiciel NVIDIA AI Enterprise sont idéales pour les infrastructures d'entreprise et de cloud pour entraîner les LLM d'aujourd'hui avec des billions de paramètres. Les GPU, les CPU, la mémoire, le stockage et le réseau interconnectés, lorsqu'ils sont déployés sur plusieurs noeuds dans des racks, constituent la base de l'IA d'aujourd'hui. Les solutions SuperCluster de Supermicro fournissent des éléments de base pour l'évolution rapide de l'IA générative et des LML. »

Pour en savoir plus sur les AI SuperClusters de Supermicro, visitez : www.supermicro.com/ai-supercluster

« Les dernières technologies GPU, CPU, réseaux et logiciels de NVIDIA permettent aux fabricants de systèmes d'accélérer une série de charges de travail d'IA de nouvelle génération pour les marchés mondiaux, a déclaré Kaustubh Sanghani, vice-président de la gestion des produits GPU chez NVIDIA. En s'appuyant sur la plateforme de calcul accéléré NVIDIA avec des produits basés sur l'architecture Blackwell, Supermicro fournit aux clients les systèmes de serveurs de pointe dont ils ont besoin et qui peuvent facilement être déployés dans les centres de données. »

Les systèmes Supermicro 4U NVIDIA HGX H100/H200 8-GPU doublent la densité du système 8U refroidi par air en utilisant le refroidissement liquide, réduisant ainsi la consommation d'énergie et le coût total de possession du centre de données. Ces systèmes sont conçus pour prendre en charge les GPU de nouvelle génération basés sur l'architecture NVIDIA Blackwell. L'unité de distribution de refroidissement (CDU) et le collecteur (CDM) de Supermicro sont les principaux canaux de distribution du liquide refroidi vers les plaques froides personnalisées D2C (direct-to-chip) de Supermicro, ce qui permet de maintenir les GPU et les CPU à une température optimale et d'obtenir ainsi des performances maximales. Cette technologie de refroidissement permet de réduire jusqu'à 40 % les coûts d'électricité et d'économiser de l'espace dans le centre de données. En savoir plus sur la technologie de refroidissement liquide de Supermicro : https://www.supermicro.com/en/solutions/liquid-cooling.

Les systèmes équipés de 8 GPU NVIDIA HGX H100/H200 sont idéaux pour l'entraînement de l'IA générative. Les GPU interconnectés haute vitesse via NVIDIA^® NVLink^®, la bande passante et la capacité élevées de la mémoire GPU sont essentiels pour faire fonctionner les modèles LLM à moindre coût. Le Supermicro SuperCluster crée un pool massif de ressources GPU agissant comme un seul superordinateur d'IA.

Qu'il s'agisse d'ajuster un énorme modèle de base entraîné sur un ensemble de données avec des billions de jetons à partir de zéro ou de construire une infrastructure d'inférence LLM à l'échelle du cloud, la topologie de réseau spine and leaf avec des matrices de 400 Gbit/s lui permet de passer de 32 noeuds à des milliers de noeuds de manière transparente. Avec un refroidissement liquide entièrement intégré, les processus de test éprouvés de Supermicro valident de manière approfondie l'efficacité opérationnelle avant l'expédition.

Les conceptions de système NVIDIA MGX^tm de Supermicro avec les superpuces NVIDIA GH200 Grace Hopper vont créer un schéma directeur pour les futurs clusters d'IA qui résoudront un goulot d'étranglement crucial dans l'IA générative : la bande passante de la mémoire GPU et la capacité à exécuter des grands modèles de langage (LLM) avec des tailles de lots d'inférence élevées pour réduire les coûts opérationnels. Le cluster de 256 noeuds permet de créer une puissance d'inférence à haut volume à l'échelle du cloud, facilement déployable et évolutive.

SuperCluster avec système 4U refroidi par liquide dans 5 racks ou système 8U refroidi par air dans 9 racks

• 256 GPU NVIDIA H100/H200 Tensor Core dans une unité évolutive
• Refroidissement liquide permettant 512 GPU, 64 noeuds, dans la même empreinte que la solution 32 noeuds, 256 GPU refroidie par air
• 20 To de HBM3 avec NVIDIA H100 ou 36 To de HBM3e avec NVIDIA H200 dans une unité évolutive
• La mise en réseau 1:1 fournit jusqu'à 400 Gbit/s à chaque GPU pour activer GPUDirect RDMA et le stockage pour l'entraînement de grands modèles de langage avec des billions de paramètres
• Matrices de commutation Ethernet 400G InfiniBand ou 400GbE avec topologie de réseau spine-leaf hautement évolutive, y compris NVIDIA Quantum-2 InfiniBand et plateforme Ethernet NVIDIA Spectrum-X.
• Structure de stockage pour le pipeline de données IA personnalisable avec des options de système de fichiers parallèles de pointe
• Le logiciel NVIDIA AI Enterprise 5.0, qui prend en charge les nouveaux microservices d'inférence NVIDIA NIM qui accélèrent le déploiement à grande échelle des modèles d'IA

SuperCluster avec système 1U NVIDIA MGX refroidi par air dans 9 racks

• 256 superpuces Grace Hopper GH200 dans une unité évolutive
• Jusqu'à 144 Go de mémoire unifiée HBM3e + 480 Go de mémoire unifiée LPDDR5X adaptée à l'inférence à l'échelle du cloud, à haut volume, à faible latence et de grande taille, capable d'adapter un modèle de plus de 70 milliards de paramètres dans un noeud.
• Matrices de commutation Ethernet 400G InfiniBand ou 400GbE avec topologie de réseau spine-leaf hautement évolutive
• Jusqu'à 8 périphériques de stockage NVMe E1.S intégrés par noeud
• Structure de stockage de pipeline de données d'IA personnalisable avec les DPU NVIDIA BlueField^®-3 et les options de système de fichiers parallèles de pointe pour offrir un accès de stockage à haut débit et à faible latence à chaque GPU
• Logiciel NVIDIA AI Enterprise 5.0

Avec les performances réseau les plus élevées possibles pour la connectivité GPU-GPU, les solutions SuperCluster de Supermicro sont optimisées pour l'entraînement LLM, le deep learning et l'inférence à haut volume et à taille de lot élevée. Les tests de validation L11 et L12 de Supermicro combinés à son service de déploiement sur site offrent aux clients une expérience transparente. Les clients reçoivent des unités évolutives prêtes à l'emploi pour un déploiement facile dans un centre de données et un délai plus rapide pour obtenir des résultats.

À propos de Super Micro Computer, Inc.

Supermicro (NASDAQ: SMCI) est un leader mondial dans le domaine des solutions informatiques complètes optimisées pour les applications. Fondée et opérant à San José, en Californie, Supermicro s'engage à fournir des innovations de premier plan sur le marché pour les infrastructures informatiques d'entreprise, de cloud, d'IA et de 5G Telco/Edge. Nous sommes un fabricant de solutions informatiques complètes avec des systèmes de serveurs, d'IA, de stockage, d'IoT, de commutateurs, des logiciels et des services d'assistance. L'expertise de Supermicro en matière de cartes mères, d'alimentation et de conception de châssis permet en outre notre développement et notre production, ce qui favorise l'innovation de nouvelle génération, du cloud à la périphérie, pour nos clients mondiaux. Nos produits sont conçus et fabriqués en interne (aux États-Unis, à Taïwan et aux Pays-Bas), en tirant parti des opérations mondiales pour la mise à l'échelle et l'efficacité, et optimisés pour améliorer le TCO et réduire l'impact environnemental (informatique verte). Le portefeuille primé de produits Server Building Block Solutions^® permet aux clients d'optimiser leur charge de travail et leurs applications en choisissant parmi une large gamme de systèmes construits à partir de nos blocs de construction flexibles et réutilisables, qui prennent en charge un ensemble complet de facteurs de forme, de processeurs, de mémoire, d'unités de traitement graphique, de stockage, de réseaux, de solutions d'alimentation et de refroidissement (climatisation, refroidissement à air libre ou refroidissement liquide).

Supermicro, Server Building Block Solutions et We Keep IT Green sont des marques commerciales et/ou des marques déposées de Super Micro Computer, Inc.

Toutes les autres marques, noms et marques déposées sont la propriété de leurs propriétaires respectifs.

Photo : https://mma.prnewswire.com/media/2365342/Super_Micro_Computer_Inc.jpg

Logo - https://mma.prnewswire.com/media/1443241/Supermicro_Logo.jpg