NVIDIA Mellanox MQM9790-NS2F InfiniBand Anahtarı Uygulamada: Düşük Gecikmeli Bağlantı Optimizasyonu

NVIDIA Mellanox MQM9790-NS2F InfiniBand Anahtarı Devrede: RDMA/HPC/Yapay Zeka Kümeleri için Düşük Gecikmeli Bağlantı Optimizasyonu

Yapay zeka eğitiminde, yüksek performanslı bilgi işlem (HPC) simülasyonlarında ve büyük ölçekli dağıtılmış depolamada, ağ gecikmesi ve bant genişliği genellikle küme verimliliğinin üst sınırını belirler. Kuruluşların bu darboğazı aşmalarına yardımcı olmak için, NVIDIA Mellanox'un MQM9790-NS2F InfiniBand anahtarı, birçok yapay zeka ve HPC dağıtımında temel bir bağlantı bileşeni haline geliyor. Bu makale, büyük ölçekli bir yapay zeka eğitim kümesinin gerçek dünya yükseltmesini ele alarak, bu anahtarın düşük gecikmeli RDMA ağları ve ölçülebilir performans artışları sağladığını göstermektedir.MQM9790-NS2F InfiniBand anahtarı, birçok yapay zeka ve HPC dağıtımında temel bir bağlantı bileşeni haline geliyor. Bu makale, büyük ölçekli bir yapay zeka eğitim kümesinin gerçek dünya yükseltmesini ele alarak, bu anahtarın düşük gecikmeli RDMA ağları ve ölçülebilir performans artışları sağladığını göstermektedir.

Arka Plan ve Zorluk: Binlerce GPU'dan On Binlerce GPU'ya Ağ Baskısı

Önde gelen bir araştırma kurumu daha önce büyük dil modeli eğitimi ve hava durumu simülasyonu için binlerce GPU'luk bir küme işletiyordu. Model parametreleri on milyarlardan yüz milyarlara çıktıkça, mevcut 200Gb/s HDR InfiniBand ağı tıkanıklık ve artan iletişim yükü yaşamaya başladı. Düğümden düğüme Tüm-Azaltma (All-Reduce) işlemleri önemli ölçüde daha uzun sürdü ve GPU'lar ağ aktarımlarını beklerken sık sık boşta kaldı. Mimarların acilen daha yüksek port yoğunluğu, daha ince taneli yük dengeleme ve mevcut RDMA altyapısıyla tam uyumluluk sunan bir çözüme ihtiyacı vardı.

Kapsamlı bir değerlendirmenin ardından ekip, NVIDIA Mellanox MQM9790-NS2F'ye dayanan NDR sınıfı bir InfiniBand ağı seçti. Her biri 400Gb/s hat hızında çalışan 64 adet OSFP portu ile anahtar, yeni nesil GPU sunucularının verim taleplerini mükemmel bir şekilde karşılıyor.Çözüm ve Dağıtım: NDR Ağı + Kayıpsız RDMA AğıYeni tasarımda, her GPU sunucusu çift portlu ConnectX-7 adaptörleriyle donatılmış ve iki adet leaf anahtarına uplink edilmiştir. Çekirdekte, MQM9790-NS2F 400Gb/s NDR 64-port OSFP anahtarları, engelsiz bir Clos mimarisi kullanarak iki katmanlı bir Fat-Tree topolojisi oluşturur. CPU ve yazılım yığını yükünü atlayarak veriyi doğrudan GPU belleğinden uzak GPU belleğine aktaran yerel InfiniBand RDMA'dan yararlanarak uyarlanabilir yönlendirme ve tıkanıklık kontrolü etkinleştirilir.

Port kullanımı ve uyumluluk:

Mevcut HDR adaptörleri, önceki yatırımları koruyarak azaltılmış hızda çalışabilir. MQM9790-NS2F uyumlu listesi, ana akım GPU sunucularını ve depolama sistemlerini kapsar ve dağıtım sırasında herhangi bir sürücü değişikliği gerektirmez.Akıllı operasyonlar: Dahili telemetri, bağlantı hatalarını ve tıkanıklığı gerçek zamanlı olarak izleyerek ekiplerin optik modül veya kablo sorunlarını hızla izole etmelerine yardımcı olur ve onarım süresini önemli ölçüde azaltır.

• Sonuçlar ve Faydalar: Eğitim İterasyon Süresi %38 Azaldı, Ağ Yükü %8'e DüştüYükseltmenin ardından kurum, üretim iş yükleri üzerinde karşılaştırmalı testler yürüttü. 100 milyar parametreli GPT tarzı ön eğitim görevinde, MQM9790-NS2F InfiniBand anahtarı üzerine kurulu küme, iterasyon süresini 2,8 saniyeden 1,73 saniyeye düşürerek %38'lik bir iyileşme sağladı. Toplam gecikmedeki ağ iletişiminin payı %22'den %8'e düştü, bu da GPU'ların faydalı hesaplamaya önemli ölçüde daha fazla zaman harcadığı anlamına geliyor. NDR anahtarındaki SHARPv3 yerleşik hesaplama sayesinde Tüm-Azaltma bant genişliği kullanımı neredeyse iki katına çıktı.Depolama tarafında, düşük gecikmeli InfiniBand üzerinden NVMe, paralel dosya sisteminin toplam okuma/yazma bant genişliğini 2,3 kat artırdı. Kontrol noktası kaydetme ve geri yükleme süreleri 12 dakikadan 5 dakikanın altına düştü. Bu rakamlar dahili test raporlarında yer almaktadır ve MQM9790-NS2F spesifikasyonları temel çizgisiyle uyumludur.Özet ve Görünüm: NDR Bağlantısı Yeni Nesil Yapay Zeka Altyapısı İçin Varsayılan Seçenek Olarak
• Bu vaka çalışması, büyük ölçekli RDMA/HPC/Yapay Zeka kümeleri için MQM9790-NS2F InfiniBand anahtar çözümünün benimsenmesinin ağ tıkanıklığını etkili bir şekilde ortadan kaldırdığını, GPU kullanımını artırdığını ve operasyonları basitleştirdiğini açıkça göstermektedir. On binlerce GPU'luk kümeler planlayan mimarlar için MQM9790-NS2F veri sayfası, güç, port yoğunluğu ve özellik setlerini değerlendirmek için temel bir referanstır. Model şu anda seri üretimdedir; MQM9790-NS2F fiyatı veya MQM9790-NS2F satılık sorguları için lütfen yetkili NVIDIA ortaklarıyla iletişime geçin. Gelecekteki iş yükleri 800Gb/s ve ötesine yönelik talebi artırdıkça, NDR anahtarlama platformu hesaplama potansiyelini ortaya çıkarmada kilit bir rol oynamaya devam edecektir.