NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch üretimde. RDMA/HPC/AI için düşük gecikme bağlantısını optimize etmek

Büyük dil modeli eğitimi ve üst ölçekli HPC simülasyonları GPU kümelerini on binlerce düğüme doğru yönlendirirken, geleneksel Ethernet yapıları kuyruk gecikmesi ve yayın tıkanıklığıyla mücadele ediyor. Ulusal bir yapay zeka bilgi işlem merkezi yakın zamanda bu zorluğun üstesinden geldi.NVIDIA Mellanox MQM8790-HS2FInfiniBand, 800 düğümlü GPU genişletmelerinin omurgasını oluşturuyor. Bu makale, küme ara bağlantı performansını optimize etmek için RDMA ve ağ içi bilgi işlem kullanarak darboğazlardan ölçülebilir kazanımlara kadar gerçek dünyadaki yolculuklarını anlatmaktadır.

Arka Plan ve Zorluk: Ağ Yapay Zeka Darboğazı Haline Geldiğinde

Merkezin eski 400 düğümlü kümesi 100 Gb/s RoCEv2 Ethernet üzerinde çalışıyordu. İş yükleri CNN modellerinden trilyon parametreli LLM'lere kaydıkça, düğümler arası iletişim gecikmesi hızla arttı. All‑Reduce işlemleri sırasında ağ bekleme süresi, toplam yineleme süresinin %40'ından fazlasını tüketiyordu. Mimarların, mevcut QSFP56 optiklerini yeniden kullanırken mikro saniyenin altında gecikme süresi, kayıpsız akış kontrolü ve yerel RDMA desteği sağlayan bir platforma ihtiyacı vardı. Birden fazla alternatifi değerlendirdikten sonraMQM8790-HS2F InfiniBand anahtarı200 Gb/s HDR bant genişliği ve 40 bağlantı noktalı yüksek yoğunluklu tasarımıyla öne çıktı.

Çözüm ve Dağıtım: MQM8790-HS2F Üzerine Geliştirilen HDR Fat‑Tree

Yeni ara bağlantı, 24 üniteyi dağıtan iki katmanlı bir yağ ağacı topolojisini benimser.NVIDIA Mellanox MQM8790-HS2Fçekirdek ve yaprak katmanları boyunca. Her anahtar, yön başına 200 Gb/s hızında çalışan 40 QSFP56 bağlantı noktası sağlar ve 16 Tb/s'lik engellemesiz anahtarlama kapasitesi sunar. Mühendisler takip ettiMQM8790-HS2F veri sayfasıVeMQM8790-HS2F teknik özellikleriUyarlanabilir yönlendirmeyi ve gelişmiş tıkanıklık kontrolünü etkinleştirmek için. Her GPU düğümü, sıfır kopya veri aktarımı için yerel InfiniBand RDMA'dan yararlanarak HDR ConnectX‑6 adaptörleri aracılığıyla bağlanır ve iletişimde CPU katılımının %95'inden fazlasını boşaltır.

Merkez ayrıca birkaç tane rezerve ettiMQM8790-HS2F 200 Gb/sn HDR 40 bağlantı noktalı QSFP56yerinde bilgi işlem bölgesi için birimler. SHARP (Ölçeklenebilir Hiyerarşik Toplama ve Azaltma Protokolü) ile All-Reduce gibi kolektif operasyonların yükü sunuculardan doğrudan anahtar ağına aktarılır. 128 GPU eğitiminde bu, yapay zeka çerçevesinde herhangi bir kod değişikliği yapılmadan iletişim süresini %32 oranında kısalttı.

Sonuçlar ve Kazanımlar: Daha Düşük Gecikme, Daha Yüksek Verim, Kontrollü TCO

Dağıtım sonrası ölçümler dramatik iyileşmeler gösterdi:

• Noktadan noktaya gecikme:MPI pingpong testleri, 200 Gb/s HDR bağlantılarında ~0,9μs olarak ölçüldü; eski RoCE kurulumundan %65 daha düşük.
• Toplu iletişim verimliliği:512 GPU ölçeğinde, All-Reduce yalnızca 18,3 ms'de tamamlandı; bu, önceki taban çizgisine kıyasla %52'lik bir azalmadır.
• Ağ kullanımı:Uyarlanabilir yönlendirme, neredeyse hiç tıkanıklık noktası olmadan bağlantı yükü dengelemesini %92'nin üzerinde tuttu.
• Tedarik ve operasyonlar:MQM8790-HS2F fiyatıbağlantı noktası başına düşen maliyet, rakip 200G çözümlerinden yaklaşık %12 daha düşüktü. Dahası,MQM8790-HS2F uyumluoptikler standart QSFP56 modülleridir ve mevcut kabloların tamamen yeniden kullanılmasına olanak tanır.

“Buraya taşındıktan sonraMQM8790-HS2F InfiniBand anahtar çözümümerkezin baş mimarı, nihayet trilyon parametreli model eğitiminde neredeyse doğrusal ölçeklendirme (0,9 verimlilik) elde ettik" dedi. "Ağ artık darboğaz değil; iletişim planlaması yerine model mimarisi yeniliğine odaklanabiliriz."

Sonuç ve Genel Görünüm: Exascale Ara Bağlantıları için Temel Yapı Taşı

Bu gerçek dünyadaki örnek şunu gösteriyor:MQM8790-HS2Fyüksek bağlantı noktası yoğunluğundan çok daha fazlasıdır. 200 Gb/sn HDR, yerel RDMA, SHARP ağ içi bilgi işlem ve uyarlanabilir yönlendirme ile günümüzün AI/HPC kümelerindeki düşük gecikmeli ara bağlantı sorunlu noktalarına doğrudan çözüm getirir. İster bir üniversite süper bilgi işlem merkezi planlıyor olun ister kurumsal bir yapay zeka bulutunu yükseltiyor olun,NVIDIA Mellanox MQM8790-HS2Fperformans, uyumluluk ve maliyet öngörülebilirliğini birleştiren dengeli bir yol sunar. Anahtar şu anda seri üretimde. Ayrıntılı tasarım referansları için yetkiliye başvurunMQM8790-HS2F veri sayfasıNVIDIA'nın iş ortağı portalından. Gerçek zamanlı envanter için veyaMQM8790-HS2F satılıkSorularınız varsa, fiyatlandırma ve teknik destek için yetkili çözüm sağlayıcılarla iletişime geçin.