NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch uygulamada

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch uygulamada.

Arka plan ve zorluk: Büyük ölçekli AI ve HPC kümelerindeki Gecikme Boğazı

Yapay zeka eğitim kümeleri binlerce GPU'ya ve HPC sistemlerine ölçeklendikçe, ekzaskalet performansına doğru ilerledikçe, hesaplama düğümlerini birbirine bağlayan ağ dokusu kritik bir performans belirleyicisi haline geldi.Bu ortamlarda, gecikme sadece bir metrik değildir ∙ uygulamanın performansını, çözüme geçme süresini ve genel kümelenme verimliliğini doğrudan etkiler.MPI (Message Passing Interface) kolektif işlemlerine ve herkesten herkese iletişime dayalı çalışma yükleri içinÖrneğin, büyük dil modeli eğitimi ve hesaplama sıvı dinamikleri gibi, mikrosaniye seviyesindeki gecikme artışları bile saatlerce ek çalışma süresine dönüşebilir.RDMA'yla bile Converged Ethernet (RoCE) üzerinden, genellikle bu zorlu uygulamalar tarafından gerekli olan belirleyici düşük gecikme süresini sunmak için mücadele eder.

Bu zorluk, yakın zamanda iklim modelleme ve yapay zeka araştırması için 2.000 düğümlü bir HPC kümesi dağıtan bir ulusal araştırma laboratuvarı tarafından karşılandı.Kluster, hem MPI tabanlı HPC iş yüklerini hem de dağıtılmış AI eğitimini desteklemek için 100 nanosaniye altında gecikme ile 200Gb / s bağlantısı gerektiriyorduMühendislik ekibinin, ölçekte tutarlı, düşük gecikme performansı sağlayabilecek bir düğmeye ihtiyacı vardı.değişen yük koşullarında kumaş verimliliğini korumak için uyarlanabilir yönlendirme ve tıkanıklık kontrolü gibi gelişmiş özellikleri desteklerken.NVIDIA Mellanox MQM8790-HS2FHDR InfiniBand'in 200Gb/s'lik 40 bağlantısı ile 100 nanosaniye altında gecikme ve gelişmiş ağ içi işlem yetenekleri ile ideal çözüm olarak ortaya çıktı.

Çözüm ve Uygulama: Düşük Gecikmeli InfiniBand Kumaşını Yapmak

Gecikme ve ölçeklenebilirlik zorluklarını gidermek için laboratuvar,NVIDIA Mellanox MQM8790-HS2FBu, bir omurilik yapısı mimarisinde çekirdek anahtarı olarak kullanılır.MQM8790-HS2F InfiniBand anahtarıHer biri 200Gb/s HDR hızında çalışan 40 QSFP56 bağlantı noktası sağlar ve 100 nanosaniye altındaki port-to-port gecikmesi ile toplam 8Tb/s'lik bir devre kapasitesi sağlar.16 yapraklı topoloji, her biri ConnectX‐6 HDR adaptörleri ile donatılmış 2.000 hesaplama düğümünü bağlar.MQM8790-HS2F 200Gb/s HDR 40 portlu QSFP56Yapılandırma, her düğümün diğer tüm düğümlerle tel hızında iletişim kurabilmesini sağlayan, tam bölme bant genişliği ile engellemeyen bir kumaş inşa etmeyi sağladı.

Uygulama üç ana aşamada gerçekleştirildi:

• Kumaş Tasarımı:KullanımıMQM8790-HS2F InfiniBand anahtar çözümü, ekip, 16 yapraklı anahtarın her birinin 50 hesaplama düğümüne bağlandığı (200Gb/s doğrudan bağlantılar ve 100Gb/s HDR100 çıkış bağlantıları kombinasyonunu kullanarak) bir omurilik yapraklı topoloji tasarladı.4 omurilik anahtarı yapraklar arası bağlantı sağladı.MQM8790-HS2FDeğişken yönlendirme etkinleştirilen anahtarlar yapılandırıldı, kumaşın mevcut yollar arasında trafiği dinamik olarak dağıtmasını ve tıkanıklık noktalarını önlemesini sağladı.
• Gelişmiş özellik yapılandırması:Ekip, hesaplama düğümlerinden MPI kolektif işlemlerini boşaltmak için MQM8790-HS2F anahtarlarında SHARP'yi (ölçülebilir Hiyerarşik Toplama ve Azaltma Protokolü) etkinleştirdi.Bu ağ içi hesaplama yeteneği, anahtarların tüm azaltma ve yayın işlemlerini doğrudan gerçekleştirmelerini sağladı., ağ geçişlerinin sayısını azaltmak ve toplu iletişim için genel gecikme süresini azaltmak.
• Performans ayarlama:Alt ağ yönetimi, kumaş sağlığına, gecikme ölçümlerine ve tıkanıklık kalıplarına gerçek zamanlı görünürlük sağlayan NVIDIA Unified Fabric Manager (UFM) platformunu kullanarak yapılandırılmıştır.Ekip, karışık HPC ve AI iş yükü profili için performansı optimize etmek için tıkanıklık kontrol parametrelerini ayarladı.

ÇünküNVIDIA Mellanox MQM8790-HS2F- Evet.MQM8790-HS2F uyumluConnectX‐6 ve BlueField‐2 adaptörleri de dahil olmak üzere daha geniş NVIDIA InfiniBand ekosistemi ile, uygulamanın sorunsuz olması, özel sürücüler veya sabit yazılım yamaları gerektirmemesi.Değiştiricinin UFM platformu ile entegrasyonu, ekip için kumaş performansını ölçekte izlemeyi sağladı., uygulama çalıştırma süresini etkilemeden önce potansiyel engellerin belirlenmesi ve çözülmesi.

Sonuçlar ve faydalar: Gecikme ve uygulama performansında ölçülebilir iyileşmeler

2000 düğümlü kümede yerleştirilmesinden sonraki karşılaştırma, önemli performans iyileştirmeleri ortaya çıkardı.Kumaş üzerindeki ortalama port-to-port gecikme 85 nanosaniye olarak ölçülmüştür.MQM8790-HS2F veri sayfasıBu düşük gecikme, doğrudan uygulama performans kazançlarına dönüştü: MPI tüm azaltma işlemleri, laboratuvarın önceki 100Gb/s InfiniBand kumaşına kıyasla% 35'e kadar daha hızlı tamamlandı.dağıtılmış yapay zeka eğitim işleri (NCCL tabanlı iletişim kullanılarak) son-son dönem zamanlarını yaklaşık% 28 oranında azalttı.

İkincisi, SHARP ağ içi işlem yeteneği önemli performans avantajları sağladı.Klüster, iletişim görevleri için CPU ve GPU kullanımını% 20'ye kadar düşürdüBu, toplu iletişimin toplam çalışma süresinin %30-40'ını oluşturduğu büyük ölçekli yapay zeka eğitimi için özellikle yararlı oldu.

Üçüncüsü, uyarlanabilir yönlendirme özelliği, değişen yük koşullarında tutarlı performansın korunmasında kritik olduğunu kanıtladı.,Adaptatif yönlendirme, mevcut yollar arasında trafikin dinamik olarak dağıtılmasını sağlar, ortalama gecikme süresini baz seviyesinin% 10'unda tutar ve tıkanıklıktan kaynaklanan performans bozulmasını önler.Ekip UFM platformu kullanarak kumaş sağlığını izledi., tüm 20 anahtar boyunca gecikme, işlem verimi ve bağlantı kullanımını izleyen gerçek zamanlı panolar sağladı.

Dördüncüsü,MQM8790-HS2F 200Gb/s HDR 40 portlu QSFP56Laboratuvar, önceki 100Gb/s InfiniBand altyapısına kıyasla gerekli anahtar sayısını %50 azalttı.raf alanı tüketimini ve güç gereksinimlerini azaltmakHer bir MQM8790-HS2F, ağ altyapısı için soğutma maliyetlerinin% 20'lik bir düşmesine katkıda bulunan 230W'dan daha az tipik güç tüketti.

İşletim açısından, anahtarın yönetim yetenekleri devam eden bakımı basitleştirdi.Laboratuvarın ağ ekibi CLI ve Web UI arayüzlerini, kumaş operasyonlarını bozmadan firmware yükseltmeleri ve yapılandırma değişiklikleri yapmak için kullandı, hitless yükseltmeler için anahtarın desteğini kullanarak.MQM8790-HS2F özellikleriSNMP izleme ve syslog entegrasyonu da dahil olmak üzere kapsamlı yönetim özellikleri içerir.Ekibin, dokuyu mevcut ağ operasyon merkezi (NOC) izleme çerçevesine entegre etmesini sağlar.

Özet ve Görünüm: Düşük Gecikme InfiniBand Kumaşları için Bir Plan

Gönderme deneyimiNVIDIA Mellanox MQM8790-HS2F2000 düğümlü bir HPC ve AI kümesi üzerinden, 40 portlu 200Gb/s HDR InfiniBand anahtarının düşük gecikme, ölçeklenebilirlik,ve zorlu araştırma ve kurumsal iş yükleri için gerekli olan gelişmiş özellikler. Değiştiricinin 100 nanosaniye altında gecikme süresi, uyarlanabilir yönlendirme ve SHARP ağ içi hesaplama yeteneklerinden yararlanarak, kuruluşlar MPI ve AI iletişimini hızlandıran kumaşlar oluşturabilir,Çözüm sürecini azaltmak, ve küme genel verimliliğini artırmak.

Geleceğe bakıldığında, AI eğitim kümeleri 10.000+ GPU'ya ve HPC sistemlerinin eksascale'e ölçeklenmesine doğru büyümeye devam ettikçe, yüksek yoğunluklu, düşük gecikme InfiniBand anahtarlarına olan talep sadece artacak.MQM8790-HS2F bu yörüngede iyi konumlandırılmış., çünkü 40 port yoğunluğu, 8Tb/s anahtarlama kapasitesi ve HDR200 ve HDR100 hızları için destek hem mevcut hem de yeni nesil hesaplama düğümleriyle uyumluluğu sağlar.Benzer HPC veya AI kümesi dağıtımlarını planlayan kuruluşlar için, bu dağıtımda doğrulanmış katmanlı omurilik yaprağı yaklaşımı pratik bir yol haritası sunar: erişim bağlantısı için MQM8790-HS2F yaprak anahtarları dağıtmak,daha büyük kumaşlar için daha yüksek port yoğunluğunda omurga anahtarları (örneğin 64 portlu QM9700 serisi) kullanın, ve proaktif kumaş optimizasyonu için UFM'yi kullanan birleşik bir yönetim çerçevesini sürdürmek.

Detaylı kumaş tasarım şablonları, performans ayarlama kılavuzları ve dağıtım kontrol listeleri için,MQM8790-HS2F veri sayfasıve NVIDIA Mellanox InfiniBand mimarisi belgeleri.