Regionaler Cloud-Anbieter

Herausforderung

Der Anbieter skalierte einen GPU-Trainingscluster auf 4.000 GPUs über mehrere Rechenzentrumshallen hinweg, doch seine Fabric bestand aus drei Lieferanten: einer für Switching, einer für Optik, einer für Integrationssupport.

Interoperabilitäts-Tickets zwischen den Softwareversionen der Spine-Leaf-Architektur und der Verkabelung von Drittanbietern verursachten vor jeder Erweiterungswelle wochenlangen Integrationsaufwand, und es gab keinen einheitlichen Verantwortungspfad, wenn ein Fabric-Vorfall über Lieferantengrenzen hinwegreichte.

Lösung

Standardisierung der Fabric auf der S6700-Spine-Familie mit SONiC, mit 400G-MPO-Optikmodulen und 1.6T-ACC-Kabelbäumen im Rack aus derselben qualifizierten Optiklinie.

Kombination von GPU-Reihen mit luftgekühlten G6400-Knoten und flüssigkeitsgekühlten G4400-C-Reihen, wo die Leistungsdichte der Halle es erforderte – mit einem einzigen Lieferanten für Compute, Fabric und Verkabelung.

Einsatz von Apollo Cloud AI für Live-Telemetrie der Fabric, sodass Clusterzustand und Diagnose auf Portebene in einer einzigen Oberfläche zusammenlaufen statt in den Tools von drei Lieferanten.

Ergebnisse

• 4.000 GPUs in Betrieb auf Basis einer Fabric-Stückliste mit einem einzigen Lieferanten, mit einer zentralen Garantiestelle und einem einzigen Eskalationsweg.
• Erweiterungswellen werden nicht mehr durch herstellerübergreifende Interoperabilitätsfreigaben blockiert; die qualifizierte Kabelmatrix macht die Optikvalidierung pro Erweiterungswelle überflüssig.
• Fabric-Telemetrie über Apollo verkürzte die mittlere Zeit bis zur Diagnose von Vorfällen auf Portebene während der Trainingsläufe.