リージョナルクラウドプロバイダー

課題

同プロバイダーは、複数のデータセンターホールにまたがるGPUトレーニングクラスタを4,000GPUへ拡張していましたが、そのファブリックは3社のベンダー構成でした。スイッチング1社、光モジュール1社、統合サポート1社です。

スパインリーフのソフトウェアバージョンとサードパーティのケーブル配線との間の相互運用性に関するチケット対応により、拡張のたびに数週間の統合作業を要し、ファブリック障害がベンダーの境界をまたぐ際には単一の責任窓口が存在しませんでした。

ソリューション

SONiC搭載のS6700スパインファミリーにファブリックを標準化し、同一の検証済み光モジュールラインから400G MPO光モジュールと1.6T ACCラック内ハーネスを採用しました。

ホールの電力密度が求められる場所では、G6400空冷ノードのGPUラックロウにG4400-C液冷ラックロウを組み合わせ、コンピュート、ファブリック、配線を単一ベンダーに統一しました。

リアルタイムのファブリックテレメトリーを実現するためApollo Cloud AIを導入し、クラスタの健全性とポートレベルの診断を、3社のツールに分散させることなく1つの画面で管理できるようにしました。

成果

• 4,000GPUを単一ベンダーのファブリック部材構成で稼働させ、保証窓口とエスカレーション経路をそれぞれ1本化しました。
• 拡張のたびにベンダー間の相互運用性承認で停滞することがなくなり、検証済みケーブルマトリックスにより各拡張フェーズでの光モジュール検証が不要になりました。
• Apollo経由のファブリックテレメトリーにより、トレーニング実行中のポートレベル障害の平均診断時間が短縮されました。