Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Anahtar Teknik Çözümü

Bu teknik teknik rapor, mimarlara, satış öncesi mühendislere ve operasyon ekiplerine, aşağıdaki konulara odaklanan kapsamlı bir referans tasarımı sağlar:Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0InfiniBand anahtarı. Çözüm, modern yapay zeka ve HPC ortamlarındaki en acil zorlukları ele alıyor: geleneksel Ethernet yapılarının ağın neden olduğu gecikme, yoğunluk ve ölçeklenebilirlik sınırlamaları.

1. Proje Arka Planı ve Gereksinim Analizi

Büyük dil modeli eğitimi, moleküler dinamik simülasyonları veya hava tahmini için büyük ölçekli GPU kümeleri kullanan kuruluşlar ortak bir darboğazla karşı karşıyadır: ara bağlantı yapısı. Geleneksel kayıplı Ethernet, verimli hepsini azaltma ve hepsine kolektif işlemler için gereken deterministik, mikrosaniyenin altındaki gecikmeyi garanti edemez. Gerçek dünyadaki dağıtımlardan belirlenen temel gereksinimler şunları içerir:

• Gecikmeye duyarlı MPI iş yükleri için uçtan uca gecikme süresi 1 µs'nin altında
• Hat başı engellemesi olmadan, kayıpsız, bağlantı noktası başına 400 Gb/sn hat hızı
• Toplu işlemleri ana bilgisayar CPU'larından boşaltmak için ağ içi bilgi işlem
• Yapının yeniden mimarisine gerek kalmadan 8'den 2.000'den fazla GPU düğümüne kadar sorunsuz ölçeklenebilirlik

Bu talepler tasarım ekibimizi seçmeye yöneltti.920-9B210-00FN-0D0yeni nesil düşük gecikmeli yapının temel yapı taşı olarak.

2. Genel Ağ/Sistem Mimarisi Tasarımı

Önerilen mimari, engellemeyen, tam ikiye bölünmüş bant genişliği için optimize edilmiş iki katmanlı bir yaprak omurga topolojisini benimser. Tüm bilgi işlem düğümleri (GPU sunucuları, depolama aygıtları, yönetim ana bilgisayarları) yaprak anahtarlara bağlanırken, omurga anahtarları yapraklar arasında herhangi birinden herhangi birine bağlantı sağlar. Bu tasarım aşırı aboneliği ortadan kaldırır ve iletişim modellerinden bağımsız olarak öngörülebilir gecikme süresi sağlar.

Referans 512-GPU kümesi için, her biri 16 yaprak anahtar ve 8 omurga anahtar yerleştiriyoruz.NVIDIA Mellanox 920-9B210-00FN-0D0. Yaprak-omurga bağlantıları 400 Gb/s NDR'de çalışır ve bu da 200 Tb/s'yi aşan toplam yapı bant genişliğine neden olur. Trafiği dinamik olarak dengelemek ve yayın etkinlikleri sırasında sıcak noktalardan kaçınmak için tüm bağlantı noktalarında uyarlanabilir yönlendirme (AR) ve tıkanıklık kontrolü algoritmaları etkinleştirilir.

3. 920-9B210-00FN-0D0 ve Temel Farklılaştırıcıların Rolü

920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/sn NDRanahtar hem yaprak hem de sırt görevi görerek tüm kumaşta tutarlı performans sağlar. Kritik mimari avantajları şunları içerir:

Tedarikleri değerlendiren mühendisler şunları bulacaktır:920-9B210-00FN-0D0 InfiniBand anahtarı OPN(parça numarası sipariş etmek) fiyat teklifi vermeyi ve teslimatı kolaylaştırır. Birlikte çalışabilirlik doğrulaması için,920-9B210-00FN-0D0 veri sayfasıVe920-9B210-00FN-0D0 özellikleriConnectX-7, BlueField-3 DPU'lar ve üçüncü taraf depolama aygıtlarıyla ayrıntılı uyumluluk matrisleri sağlayın.

4. Dağıtım ve Ölçeklendirme Önerileri

Üretim kesintilerini en aza indirmek için aşamalı bir dağıtım yaklaşımı öneriyoruz:

• Aşama 1 (Pilot):8 ila 16 GPU düğümü + 2920-9B210-00FN-0D0anahtarlar (tek raylı topoloji). RDMA performansını doğrulayın ve temel ölçümleri toplayın.
• Aşama 2 (Kısmi üretim):4 yaprak + 2 diken kullanarak 128 GPU'ya ölçeklendirin. Uyarlanabilir yönlendirmeyi ve SHARPv3'ü etkinleştirin.
• Aşama 3 (Tam üretim):512'den fazla GPU için 16 yaprak + 8 diken konuşlandırın. NVIDIA UFM'yi kullanarak çok yollu yönlendirmeyi ve yapı bölümlendirmeyi tanıtın.

Kablolama için 5 metrenin altındaki hatlar için aktif optik kablolar (AOC) veya aktif bakır kablolar kullanın; daha uzun omurgalar veya çapraz raf bağlantıları için tek modlu fiber ile 400 Gb/sn NDR alıcı-vericileri kullanın. üzerindeki tüm bağlantı noktaları920-9B210-00FN-0D0 uyumluekosistem, 400 Gb/s ve 200 Gb/s çalışma modları arasında otomatik anlaşmayı destekler.

5. Operasyonlar, İzleme ve Sorun Giderme

Üretime hazır olmak güçlü gözlemlenebilirlik gerektirir. Biz entegre ediyoruz920-9B210-00FN-0D0 InfiniBand anahtar OPN çözümüNVIDIA Unified Fabric Manager (UFM) ile. Temel operasyonel yetenekler şunları içerir:

• Gerçek zamanlı telemetri:Prometheus/Graphite aracılığıyla dışa aktarılan bağlantı noktası başına sayaçlar, gecikme histogramları, arabellek doluluğu ve tıkanıklık bildirimleri.
• Otomatik yük devretme:Kablo veya alıcı-verici arızası durumunda ikinci alt bağlantının yeniden yönlendirilmesi.
• Performans teşhisi:Yavaş boşalan düğümleri belirlemek için yerleşik SHARP performans sayaçları ve yapı analiz araçları.

Yaygın sorunlar için bkz.920-9B210-00FN-0D0 veri sayfasıhata kodları ve önerilen düzeltici eylemler için. Kapasite eklemelerini planlarken,920-9B210-00FN-0D0 fiyatıYalnızca yaprak ve tam omurga genişlemesi arasındaki dengeler için modeller.

6. Özet ve Değer Değerlendirmesi

NVIDIA Mellanox 920-9B210-00FN-0D0tabanlı çözüm, RDMA/HPC/AI kümeleri için deterministik mikrosaniyenin altında gecikme süresi, kayıpsız 400 Gb/s işlem hacmi ve ağ içi bilgi işlem hızlandırması sağlar. Alternatif 400 Gb Ethernet tasarımlarıyla karşılaştırıldığında bu InfiniBand yapısı, 2,5 kat daha düşük gecikme süresine ulaşır ve SHARPv3 aracılığıyla toplu trafiğin %90'ına kadar ortadan kaldırır. Değerlendiren kuruluşlar için920-9B210-00FN-0D0 satılıkseçenekleriyle, toplam sahip olma maliyeti, daha yüksek GPU kullanımı ve daha kısa iş tamamlama süreleri sayesinde genellikle 6-12 ay içinde geri kazanılır. Yeni veya ölçeklenen yapay zeka altyapısı için anında pilot dağıtım yapılmasını öneririz.