Mellanox (NVIDIA) MQM9790-NS2F InfiniBand Anahtarı İş Başında | RDMA/HPC/AI için Düşük Gecikmeli Ara Bağlantı Optimizasyonu

Büyük ölçekli yapay zeka eğitim kümeleri ve yüksek performanslı bilgi işlem (HPC) merkezleri, ağ bant genişliği ve gecikme gereksinimlerini benzeri görülmemiş seviyelere zorlarken, geleneksel Ethernet çözümleri, RDMA iş yükleri altında tıkanıklık kontrolü ve öngörülemeyen kuyruk gecikmesi ile giderek daha fazla mücadele ediyor. Önde gelen bir ulusal süper bilgi işlem merkezi yakın zamanda yeni nesil GPU kümesini yükseltirken tam olarak bu zorlukla karşılaştı. Ekip, birden fazla ara bağlantı seçeneğini değerlendirdikten sonra,Mellanox (NVIDIA) MQM9790-NS2Fçekirdek yapı anahtarı olarak — kümelerinin performans profilini temelden değiştiren bir karar.

Süper bilgi işlem merkezinin mevcut HDR InfiniBand yapısı doyuma yakın çalışıyordu. 2.000'den fazla GPU'nun paralel yapay zeka eğitim işlerini yürütmesiyle, tümünü azaltma ve tümden hepsine gibi toplu iletişim operasyonlarında kuyruk gecikmesinde önemli artışlar yaşanıyordu. Ağ, birincil darboğaz haline geldi ve GPU'nun boşta kalma süresine neden olarak hem hesaplama kaynaklarının hem de enerjinin israfına neden oldu. Mühendisler, büyük ölçekli dağıtılmış eğitim çalışmaları sırasında bilgi işlem döngülerinin yaklaşık %30'unun iletişim ek yükü nedeniyle kaybolduğunu tahmin etti.

Ekibin ihtiyaç duyduğu şey, şunları sağlayabilecek bir anahtardı:Bağlantı noktası başına 400 Gb/sn, yerel RDMA desteği ve ağ içi bilgi işlem hızlandırma — tüm bunları yaparken mevcut HDR altyapısıyla geriye dönük uyumluluğu korur. İnceledikten sonraMQM9790-NS2F veri sayfasıVeMQM9790-NS2F teknik özellikleri, şunu belirlediler:MQM9790-NS2F InfiniBand anahtarıyoğunluk, performans ve özellik kümesi arasında ideal dengeyi sundu.

Merkez dört kişiyi görevlendirdiMQM9790-NS2F 400 Gb/sn NDR 64 bağlantı noktalı OSFP64 hesaplama düğümünde 2.048 GPU'yu birbirine bağlayan omurga yaprağı topolojisinde anahtarlar. Her düğüm, tek bir OSFP'den 4x100 Gb/s'ye ayırıcı kablo aracılığıyla bağlanır ve kablo yönetimi yoğunluğunu optimize ederken sunucu başına 400 Gb/s toplam bant genişliği sağlar.

Dağıtımın anahtarı tam olarak sağlanmasıydıMQM9790-NS2F uyumlumevcut HDR uç nokta adaptörleriyle çalışma. Anahtarın otomatik hız anlaşması ve bağlantı katmanı çevirisi, aşamalı bir geçiş stratejisine olanak sağladı; eski düğümler HDR hızlarında çalışırken, yeni NDR özellikli sunucular tam 400 Gb/s bant genişliğinden yararlanıyor. Merkez aynı zamanda SHARPv3 ağ içi toplamayı da kullanarak LLM eğitiminde yaygın olarak bulunan büyük mesaj boyutları için tamamen azaltılmış trafiği %65'in üzerinde azalttı.

Benzer yükseltmeleri değerlendirenler için,MQM9790-NS2F fiyatısorgulamalar veMQM9790-NS2F satılıkkurumsal ve araştırma müşterileri arasında kullanılabilirlik önemli ölçüde arttı. Anahtarın rekabetçi toplam sahip olma maliyeti (64 bağlantı noktası yoğunluğu nedeniyle daha düşük anahtar sayısı da hesaba katıldığında) onu hem yeni yapılar hem de yenileme projeleri için cazip bir seçenek haline getiriyor.

• Gecikmeyi tamamen azaltın (1 GB mesaj):48 µs'den 19 µs'ye düşürüldü (%60 iyileştirme)
• Etkili GPU kullanımı:Büyük ölçekli eğitim sırasında %71'den %93'e yükseldi
• İşin tamamlanma süresi (GPT-3 175B eşdeğeri):%41 kısaltıldı
• Ağ kaynaklı kuyruk gecikmesi (99. yüzdelik dilim):210 µs'den 35 µs'nin altına kesin

olarakMQM9790-NS2F InfiniBand anahtar çözümüdağıtım, 400 Gb/s NDR yapılarının teorik vaatlerini yerine getirebileceğini gösterdi. Tıkanıklık kontrol algoritmaları ve uyarlanabilir yönlendirmenin birleşimi, hepsine iletişim aşamaları sırasında önceki HDR dokusunu rahatsız eden "yerleşik" çöküş modellerini ortadan kaldırdı.

Süper bilgi işlem merkezinin başarısıMQM9790-NS2Füst düzeyde yapay zeka yeteneklerine yönelik yol haritasını hızlandırdı. Şimdi ek güç kullanarak GPU sayısını ikiye katlayarak 4.096'ya çıkaracak ikinci bir aşama planlıyorlar.MQM9790-NS2F 400 Gb/sn NDR 64 bağlantı noktalı OSFPüç katmanlı bir yağ ağacı topolojisinde anahtarlanır. Anahtarın telemetri ve bant dışı yönetim özellikleri aynı zamanda tahmine dayalı tıkanıklığın önlenmesini sağlayarak ağ ekibinin operasyonel yükünü azalttı.

Yeni nesil yapıları değerlendiren ağ mimarları ve BT yöneticileri içinNVIDIA Mellanox MQM9790-NS2Folgun, üretimde kanıtlanmış bir çözümü temsil eder. İster yeni bir yapay zeka araştırma kümesi oluşturuyor olun, ister mevcut bir HPC tesisini yükseltiyor olun, bu anahtar, modern paralel iş yükleri için gereken düşük gecikme süreli, yüksek bant genişliğine sahip temeli sunar.