ALTYAPI MİMARİSİ

NVIDIA GB200 NVL72 Altyapısı ve Ölçeklenebilir Birimler için MPO-8 APC Kablolama

Blackwell Ölçeklenebilir Birim (SU) kablolama mimarisinin ayrıntılı analizi; 8 rafın 9.216 aktif fiber optik kabloya bağlandığı bir yapı.

DGX GB200 Ölçeklenebilir Birim (SU), veri merkezi mimarisinde büyük bir değişimi temsil ediyor. SU, 9.216 aktif fiber optik kablo ile birbirine bağlanan birleşik 576 GPU’lu bir yapıdır. ScaleFibre, bu yoğunluğu yönetmek için gerekli hassas sonlandırılmış ana hatları sağlar.

4 Fiziksel SuperPOD Fabric

NVIDIA, GPU trafiğini izole etmek için SU’yu farklı fiziksel katmanlara ayırır.

MN-NVL (NVLink 5)

Yukarı Ölçeklendirme

72 GPU’yu 1.8 TB/sn hızında bağlayan ‘dahili’ raf ağı.

  • Sıfır Optik Fiber
  • Pasif Bakır Backplane
  • Blind-mate konektörler

Hesaplama InfiniBand

Dışa Ölçeklendirme

Büyük çok düğümlü eğitim için birincil ‘Doğu-Batı’ fabric.

  • SU başına 4.608 aktif fiber
  • Raya optimize edilmiş topoloji
  • Quantum-3/Quantum-2

Depolama ve Dahili Bant

Ön Uç

Yüksek hızlı veri alımı ve sağlama için Ethernet tabanlı fabric.

  • 5:3 Engelleme faktörü
  • BlueField-3 DPU boşaltma
  • VXLAN/RoCE desteği

OOB Yönetimi

Kontrol Düzlemi

Donanım telemetrisi, BMC ve PDU yönetimi için izole edilmiş ağ.

  • RJ45/Cat6 Bakır
  • SN2201 Anahtar seviyesi
  • Fiziksel hava boşluğu güvenliği

Exascale SU Metrikleri

8 raflı bir Ölçeklenebilir Birim, NVIDIA AI Fabrikası'nın temel yapı taşını temsil eder.

9,216

SU Başına Aktif Fiber

4,608

Yalnızca Hesaplama Amaçlı Fiberler

5:3

Depolama Engelleme Oranı

400G/800G

Yerel Port Hızları

SU Bağlantısının Üç Seviyesi

1
Seviye A: Sunucudan Leaf'e

NVL72 düğümlerini Leaf Anahtarlarına bağlamak için yüksek fiber sayılı ana hatlar veya jumperlar kullanarak raf başına 1.152 fiber.

2
Seviye B: Leaf'ten Spine'a

Hesaplama için 1:1 engellemeyen bağlantılar kullanarak SU içindeki raya hizalı trafiği toplama.

3
Seviye C: Spine'dan Core'a

Yüksek sayılı ana hatlar kullanarak SU’nun ötesinde merkezi bir Core alanına ölçeklendirme.

Eski Yama Sistemi (Noktadan Noktaya)

  • ✕
    Manuel Karmaşıklık: Her 8 raflık blok için 9.216 ayrı yama kablosu gerektirir.
  • ✕
    Hava Akışı Engeli: Yoğun kablo demetleri, sıvı soğutma egzoz yollarını engeller.
  • ✕
    Risk Profili: Manuel 1:1 yama sırasında ‘çapraz raylar’ olasılığı yüksek.
  • ✕
    Kurulum Süresi: Her SU için manuel yönlendirme ve etiketleme 115+ saat sürer.

Modüler Yüksek Fiber Sayılı Ana Hat Kablolaması

  • ✓
    Tak-Çalıştır: Binlerce fiberi önceden sonlandırılmış 128F/144F/256F/288F/576F özel ana hatlara konsolide eder.
  • ✓
    Termal Optimizasyon: Küçük çaplı kablolar, yoğun raflarda hava akışını maksimize eder.
  • ✓
    Yol Verimliliği: Her raftaki 1.152 aktif fiberi yüksek sayılı MPO omurgalarına birleştirir.
  • ✓
    Kurulum Profili: Önceden sonlandırılmış fabrika testli montajlar aracılığıyla hızlı kurulum.

Aktif Fiber Büyümesi: Nodeden Tam SuperPOD'a

Kablolama Karmaşıklığı
SU başına 9.216 aktif fiber, hava akışını engelleyen 'kablo karmaşasından' kaçınmak için modüler yüksek fiber sayılı ana hatlar gerektirir.

Görselleştirilmiş Ölçeklenebilir Birim

8 Raflı Hesaplama Bloğu
8 Raflı Hesaplama Bloğu

Bir NVIDIA GB200 SU (Ölçeklenebilir Birim), her biri 72 GPU içeren bir DGX GB200 NVL72 sistemine ev sahipliği yapan 8 raftan oluşur.

Yüksek Fiber Sayılı Ana Hat Dağıtımı
Yüksek Fiber Sayılı Ana Hat Dağıtımı

Hava akışı boşluğu, hızlı kurulum ve minimum yol kullanımı için binlerce raf fiberini yüksek yoğunluklu ana hatlarda birleştirme.

Sıvı Soğutma
Sıvı Soğutma

Sıvı soğutmalı soğuk plakalar tepsi ortamını stabilize eder, OSFP alıcı-vericilerin ısıyı etkili bir şekilde ısı emiciler aracılığıyla atmasını sağlar.

Technical FAQ

+ SU başına 9.216 fiber sayısı nasıl yönetilebilir kalır?
Katmanlı bir kablolama hiyerarşisi kullanarak. Yüksek fiber sayılı ana hatlar, binlerce bireysel MPO yama kablosunun yerini alarak fiziksel hacmi azaltır ve soğutma engellerini önler.
+ Depolama fabric'indeki '5:3 Engelleme Faktörü' nedir?
Engellemeyen (1:1) hesaplama fabric’inden farklı olarak, depolama ağı kasıtlı olarak aşırı abone edilmiştir. Bu, depolama için düğüm başına 40GB/sn gereksinimini karşılarken fiber maliyetlerini ve karmaşıklığını azaltır. Kurulum genellikle NVIDIA uyumlu MPO yama kabloları kullanılarak yapılır.
+ Dahili NVLink fabric'i neden fibersizdir?
NVIDIA, NVL72 rafı içinde pasif bir bakır backplane ve kablo kartuşları kullanır. Bu, binlerce optik alıcı-vericiyi ve fiberi ortadan kaldırarak güç tüketimini ve gecikmeyi önemli ölçüde azaltır. Optik fiber, ölçeklenebilir hesaplama fabric’i için ayrılmıştır.
+ 16 Ölçeklenebilir Birime ölçeklendiğimizde ne olur?
16-SU ölçeğinde (9.216 GPU), yalnızca hesaplama fabric’i için toplam aktif fiber sayısı 18.432 fibere ulaşır. Bu yoğunluğu yönetmek, yüksek sayılı optik fiber ve merkezi çekirdek grup anahtarlama mimarileri için özel olarak tasarlanmış yüksek yoğunluklu muhafazalar gerektirir.
+ Neden standart MPO-12 yerine MPO-8 kullanılır?
Modern 400G NDR ve 800G XDR alıcı-vericiler 4 şeritli veya 8 şeritli paralel optikler kullanır. Bir 8-fiber MPO hizalaması, 4x Tx ve 4x Rx yapılandırmasına mükemmel şekilde uyar. 8-fiber aktif MPO ana hatları kullanmak, küme fabric’indeki ‘karanlık’ veya boşa harcanan fiberleri ortadan kaldırır.
+ APC (Açısal Fiziksel Temas) cilasının önemi nedir?
Yüksek hızlı 100G-PAM4 sinyalizasyonu, geri yansımalara karşı son derece hassastır. Bir APC konektörünün 8 derecelik açısı, yansıyan ışığın fiber kaplamasına emilmesini sağlayarak hatasız yapay zeka eğitimi için gereken yüksek Optik Geri Dönüş Kaybını (ORL) korur.
+ Fiber yoğunluğu sıvı soğutmalı yapay zeka salonlarını nasıl etkiler?
Sıvı soğutmalı tepsiler olsa bile, ikincil ısıyı yönetmek için hava dolaşımı yine de gereklidir. Yüksek yoğunluklu SmartRibbon kablolar kullanmak, kablo çapını önemli ölçüde azaltır ve fiziksel kabloların hava akışını veya sıvı soğutma manifoldlarını engellememesini sağlar.
+ SU seviyesi kablolama için mesafe sınırlamaları nelerdir?
Multimode (OM4/OM5), 400G/800G için 50 metre ile sınırlıdır. Bunu aşan merkezi Spine’dan Core’a bağlantılar için, sinyal bozulması olmadan daha fazla erişimi desteklemek için Tek modlu G.657.A1 fiber zorunludur.
+ Yapay zeka veri merkezi omurgaları için standart dış mekan kablolarını kullanabilir miyim?
Hayır. İç mekan yapay zeka salonları, yerel düzenlemelere bağlı olarak gerekli yangın güvenliği yönetmeliklerini karşılamak için LSZH (Düşük Duman Sıfır Halojen), Riser veya Plenum gerektirir. Yüksek yoğunluklu yollar için, özel SlimCORE iç mekan kabloları azaltılmış çapta gerekli fiber sayısını sağlar.
+ SU'daki fabrika çıkışlı pigtail'lerin faydası nedir?
MPO kablo optik fiber pigtail’leri, Spine veya Core katmanında hızlı kütle-füzyon birleştirme sağlar. Bir ucunda fabrika kontrollü sonlandırma, önceden sonlandırmanın faydalarını sağlarken, ‘kesik’ uç, yerinde gerekli uzunluğa uyacak esnekliği sağlar.

Yapay Zeka Fabrikanızı Tasarlayın

ScaleFibre, NVIDIA DGX SuperPOD dağıtımları için önceden sonlandırılmış kablolama çözümleri sunar.

İletişime Geçin

NVIDIA DGX SU'nuz için yüksek fiber sayılı ana hatlar hakkında detaylı bilgi alın.

Paylaş: