Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Anahtarı İş Başında – RDMA/HPC için Düşük Gecikmeli Ara Bağlantı Optimizasyonu

Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Değiştiricisi Eylemde ¢ RDMA/HPC/AI Klüsterleri için Düşük Gecikme İlişkileri Optimizasyonu

Yapay zekâ eğitim kümeleri binlerce GPU'dan on binlerce GPU'ya kadar ölçeklendikçe, ağ gecikmesi ve tıkanıklık kontrolü etkili hesaplama kullanımındaki belirleyici faktörlere dönüşür.Önde gelen küresel bir yapay zeka araştırma organizasyonu yakın zamandaMellanox (NVIDIA Mellanox)büyük ölçekli dil modellerini, moleküler dinamik simülasyonlarını ve dağıtılmış derin öğrenmeyi destekleyen yeni nesil süper bilgisayar tesisini desteklemek için geçiş yapmaktadır.Bu makalede gerçek dünyadaki dağıtım ele alınıyor, bu InfiniBand anahtarının RDMA taşımacılığını, HPC iletişimini ve AI veri paralel eğitim kumaşlarını nasıl dönüştürdüğünü ayrıntılı olarak açıklar.

Arkaplan ve Zorluklar: Ethernet Uzlaşmasından Kayıpsız Bağlantı İhtiyacına

Organizasyon başlangıçta RoCEv2 ile 100GbE Ethernet kumaşına güvendi. Bununla birlikte, GPU düğümleri 1.200'den fazla sunucuya (her biri 8× NVIDIA H100 GPU'ları ile) büyüdüğü için,Sürekli PFC çıkmazlarına rastladılar., karmaşık ECN ayarlamaları ve eğitim duraklarına neden olan ara sıra paket düşmeleri.Bu sorunlar, ortalama iş tamamlanma sürelerini %35'ten fazla uzattı ve ağ sorun giderme konusunda önemli bir mühendislik çabası harcadıMevcut altyapı, artık büyük tümü azaltma ve tümüyle toplu işlemler için gerekli olan deterministik mikrosaniye seviyesinde gecikme ve tıkanıklıktan arınmış verimi sağlayamıyordu.

Çözüm ve Uygulama:MQM9790-NS2F InfiniBand SwitchKumaş Kemeri gibi.

Çoklu alternatifleri değerlendirdikten sonra, ekipNVIDIA Mellanox MQM9790-NS2FYeni iki katlı bir yaprak omurilik mimarisinin temel yapı taşı olarak.MQM9790-NS2F 400Gb/s NDR 64-portlu OSFPbirim başına 64 OSFP bağlantı noktası ve toplam 25,6 Tb/s bağlantı kapasitesi sağlayan anahtarlar. Port başına 400 Gb/s NDR hızı, kesme bağlantı noktası ve uyarlanabilir yönlendirme ile birleştirilmiş,GPU yoğunluklu iş yükleri için kritik bir gereksinim olan 600 ns altındaki port-to-port gecikmeyi sağlar. Bu seferberlikMQM9790-NS2F InfiniBand anahtar çözümüNVIDIA Quantum‐2 yazılım yazılımı ile entegre, kesintisiz sağlamakMQM9790-NS2F uyumlumevcut ConnectX‐7 adaptörleri ve BlueField‐3 DPU'ları ile çalışmak.

Ana dağıtım seçenekleri şunları içeriyordu:

• Topoloji:Tüm GPU düğümleri için tam bölme bant genişliği sağlayan 64 port OSFP'den 400G optik alıcılara kadar engellemeyen yağ ağacı.
• Yönetim:NVIDIA UFM (Unified Fabric Manager) gerçek zamanlı telemetri, tıkanıklık algılama ve proaktif yol yönlendirmesi için.
• Toplu boşaltma:SHARPv3, ana CPU'lardan iletişimi boşaltarak tüm azaltma işlemlerini hızlandırmayı sağladı.

Düzgün bir geçiş sağlamak için ekip,MQM9790-NS2F veri sayfasıveMQM9790-NS2F özellikleriGüç ve kablolama gereksinimlerini doğrulamak için. 1U form faktörü ve yedek güç kaynakları mevcut raf yoğunluğuna düzgün bir şekilde uymaktadır ve OSFP portları hem DAC kablolarını hem de optik modülleri destekler,Gelecekteki genişleme için esneklik sunuyor.

Ölçülen Sonuçlar ve Faydalar Performans ve Verimlilikte Sayılabilir Kazançlar

Tam dağıtım ve optimizasyondan sonra, organizasyon birden fazla boyutta önemli iyileştirmeler kaydetti:

Çiğ rakamların ötesinde, ekip, ağ operasyonlarını büyük ölçüde basitleştiren sıfıra yakın tıkanıklıkla ilgili kesintiler bildirdi.NVIDIA Mellanox MQM9790-NS2FAyrıca, 64 OSFP portunda otomatik yük dengelemesine izin verildi ve manuel ECN ayarlamaları ortadan kaldırıldı.MQM9790-NS2F InfiniBand anahtarı%95 bağlantı kullanımı altında bile belirleyici performans sağladılar. Önceki Ethernet kurulumları ile imkansız bir başarı.

Organizasyon ayrıca,MQM9790-NS2F fiyatı, 5 yıllık yaşam döngüsü boyunca amortize edildiğinde, port başına düşük güç tüketimi (≈1.5W 400G portu başına) ve daha yüksek port yoğunluğu nedeniyle daha düşük kablolama maliyetleri ile dengelendi.Genel olarak kullanılabilir, şimdi olgun., bunu doğruladılar.Satılık MQM9790-NS2Fyetkili kanallar yoluyla satın almaları kolaylaştırdı veMQM9790-NS2F veri sayfasıtüm gerekli kurulum ve uyum ayrıntılarını sağladı.

Özet & Görünüm “Bir sonraki nesil yapay zeka altyapıları için bir taslak

Kararın kabul edilmesiMellanox (NVIDIA Mellanox)Bu büyük ölçekli HPC/AI kümesi, özel olarak inşa edilmiş bir InfiniBand kumaşının artık bir lüks değil, AI ve bilimsel bilişim sınırlarını zorlayan kuruluşlar için bir zorunluluk olduğunu göstermektedir.Sürekli mikro saniyeler altındaki gecikme ile, kayıpsız RDMA taşımacılığı ve ağ içi hesaplama hızlandırması,MQM9790-NS2F 400Gb/s NDR 64-portlu OSFPswitch, veri merkezlerinin on binlerce GPU'ya kadar neredeyse doğrusal ölçeklenebilirlik elde etmesini sağlar.

Geleceğe bakarak, ekip, kumaşın genişletilmesini planlıyor.MQM9790-NS2F InfiniBand anahtarıİklim modelleme ve genomik de dahil olmak üzere gelecek exa ölçekli iş yüklerini destekleyecek birimler.MQM9790-NS2F uyumluNVIDIA'nın gelecek nesilleri ile birlikte bir ekosistem oluşturması yatırım korumasını sağlar.MQM9790-NS2F InfiniBand anahtar çözümüYüksek performanslı, düşük gecikmeli küme ağlara yönelik kanıtlanmış, maliyetli bir yol sunar. Bu, AI inovasyonunun önümüzdeki on yılı için kritik bir olanak sağlar.