NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Teknik Referansı

Bu teknik beyaz kitap, ağ mimarları, satış öncesi mühendisler ve operasyon liderleri için tasarlanmıştır.NVIDIA Mellanox MQM8790-HS2FInfiniBand anahtarı, tasarlama, dağıtım,ve RDMA hızlandırmasına ve düşük gecikme iletişimine odaklanarak büyük ölçekli yapay zeka eğitimi ve HPC simülasyonlarına hizmet veren yüksek performanslı kumaşları işletmek.

Modern AI ve HPC iş yükleri, GPU kümelerini on binlerce düğüme doğru yönlendiriyor.Incast kalıpları altında performans tutarsızlıklarını gösterir ve daha yüksek CPU genel masraflarından muzdarip olurlarYeni nesil kümelenmiş bağlantılar için temel gereksinimler şunları içerir:

• Senkronize toplu işlemler için mikrosaniye altındaki nokta-noktadan gecikme
• Kayıpsız ve tıkanıklıktan uzak taşıma, geride kalanların geri kalmasını önlemek için
• CPU/GPU çekirdeklerinden iletişimi işleme tam yüklenme
• Engellemez bant genişliğine sahip ölçeklenebilir fat-tree veya dragonfly+ topolojileri
• Mevcut 100G/200G optiklerden maliyetli bir göç yolu

Bu talepleri karşılamak için,MQM8790-HS2F InfiniBand anahtarıPort başına 200Gb/s HDR, birim başına 40 QSFP56 portu ve RDMA ve ağ içi bilgisayar için yerel destek sunar.Bu çözüm, bağlantı verimliliğinin doğrudan iş tamamlama süresine ve TCO'ya çevrildiği ortamlar için özel olarak tasarlanmıştır..

AI/HPC kümeleri için önerilen fiziksel topolojiNVIDIA Mellanox MQM8790-HS2FHer bir yaprak anahtarı, HDR veya HDR100 bağlantıları aracılığıyla GPU sunucularına bağlanırken, omurilik anahtarları yapraklar arasında tam ağ bağlantısı sağlar.Tipik bir 800‐GPU konfigürasyonu,:

• 20 yaprak anahtarı: her biriMQM8790-HS2F 200Gb/s HDR 40 portlu QSFP56en fazla 20 sunucuya hizmet veren (iki raylı bağlantılar)
• 4 omurilik anahtarı: 200Gb/s yukarı bağlantıları kullanan yapraklarla tamamen birbirine bağlı
• Her katman için engelleme oranı 1:1

Daha büyük kümeler için (2.000+ GPU), üç katmanlı bir mimari süper omurilik katmanı ekler.Tüm kumaş yönetimi alt ağ yöneticisi (SM) tarafından işlenir. Ya özel bir denetleyici üzerinde çalışır ya da daha küçük kumaşlar için anahtar yazılımına gömülür.

Bu mimari içinde,MQM8790-HS2Fhem yaprak hem de omurilik unsuru olarak hizmet eder.

• Port başına 200Gb/s HDR:16Tb/s toplu engelleme olmayan anahtarlama kapasitesi ile tam iki yönlü işlem gücü
• Adaptatif yönlendirme (AR):Fat-tree verimliliği için kritik olan sıcak noktalardan kaçınmak için trafiği birden fazla yol üzerinde dinamik olarak dağıtır
• SHARPv2 (ölçülebilir Hiyerarşik Toplama ve Redüksiyon Protokolü):Toplu işlemleri (All-Reduce, Reduce-Scatter) doğrudan anahtar ağına yükler, GPU boş zamanını azaltır
• Trafik sıkışıklığı kontrolü:FECN/BECN mekanizmaları ile ince taneli akış kontrolü, kayıpsız kumaş sağlar
• Yüksek liman yoğunluğu:1U şasi başına 40 QSFP56 bağlantı noktası, raf düzenini basitleştirir ve raf arası kablolama karmaşıklığını azaltır

MühendislerMQM8790-HS2F veri sayfasıveMQM8790-HS2F özellikleriBu platform ayrıca, elektrik enerjisi, ısı ve gecikme sayıları içinMQM8790-HS2F uyumluHDR, HDR100 ve hatta EDR optiklerinin geniş bir yelpazesiyle, kademeli yükseltmeleri mümkün kılıyor.

Dengeli bir 1000 GPU AI kümesi için, aşağıdaki dağıtım sırası önerilir:

• Adım 1: Yaprak tabakası:25x yükleMQM8790-HS2FHer bir GPU sunucusunu (her sunucu için 8 GPU) iki HDR bağlantısı aracılığıyla yedeklik ve bant genişliği için iki farklı yaprağa bağlayın.
• Adım 2: Omurilik katmanı:8x'i kullan.NVIDIA Mellanox MQM8790-HS2FHer yaprağı her omurga ile 200Gb / s bağlantıları (40 yaprak başına yüklü bağlantı, ancak tipik olarak engelleme oranını ≤1: 1 korumak için yeterli bir alt kümesi) kullanarak bağlayın.
• Adım 3: Alt Ağ Yöneticisi yerleştirme:İki hafif ağırlıklı sunucuda fazladan SM örnekleri çalıştırın veya 2.000 portun altındaki kümeler için gömülü SM kullanın.
• Adım 4: Bölme:Aynı fiziksel doku üzerinde üretim, geliştirme ve depolama trafik akışlarını izole etmek için InfiniBand bölümlerini kullanın.

2,500+ GPU'ya kadar genişletmek için, ek MQM8790-HS2F üniteleri kullanarak bir süper omurilik katmanı ekleyin ve yaprak-omurilik yukarı bağlantısı yoğunluğunu artırın.MQM8790-HS2F InfiniBand anahtar çözümüçekirdeği yeniden yapılandırmadan doğrusal olarak ölçeklendirilir.

Üzerine inşa edilmiş bir kumaşın günlük işleyişiMQM8790-HS2FNVIDIA'nın Fabric Manager ve MLNX-OS aracılığıyla yönetilen anahtarlar.

• İzleme:Topoloji doğrulama için `ibdiagnet`, liman sayaçları için `perfquery` ve gerçek zamanlı telemetri için Prometheus ihracatçıları ile Grafana gösterge panolarını kullanın (bağlantı kullanımı, sembol hataları, tıkanıklık işaretçileri).
• Firmware ve yazılım:Tüm anahtarlarda tutarlı bir yazılım sağlayın.MQM8790-HS2F veri sayfasısürüm uyumluluğu için.
• Sorun giderme:Yaygın sorunlar, `ibstatus`, `smpquery` ve switch syslog kullanılarak hızlı bir şekilde izole edilir.
• Optimizasyon:Uyumlu yönlendirme eşiğini ve yoğunluk kontrol parametrelerini iş yükü profiline dayalı olarak ayarlayın. Büyük ölçekli yapay zeka eğitimi için, geçerli MPI kitaplıklarında SHARP'u etkinleştirin (örneğin, SHARP eklentisi ile NCCL).

Bütçe veya genişleme planlama sırasında, talepMQM8790-HS2F fiyatıYetkili ortaklardan teklifler alıyor ve doğrulamayıSatılık MQM8790-HS2FPlatformun mevcut QSFP56 kablosuyla uyumluluğu tedarik riskini azaltır.

BuMQM8790-HS2FSadece bir anahtar değil, belirleyici, düşük gecikme HPC ve AI kumaşları için temel bir yapı bloğudur.ve SHARP ağ içi hesaplama, modern kümelenmiş bağlantıların en önemli sorun noktalarını doğrudan ele alır.Alternatif 200G Ethernet çözümleri ile karşılaştırıldığında, InfiniBand ekosistemi şunları sunar:

• Düşük CPU overhead (donanım taşıma yükü ile gerçek RDMA)
• Gerçek yük altında deterministik mikrosaniye ölçeğinde gecikme
• Merkezi Subnet Yöneticisi ile basitleştirilmiş kumaş yönetimi
• On binlerce uç noktaya ölçeklenebilirliği kanıtlanmıştır

GPU kümeleri oluşturan veya genişleten kuruluşlar için,NVIDIA Mellanox MQM8790-HS2FDolar başına daha yüksek etkili FLOPS elde etmek, iş tamamlama süresini azaltmak ve gelecek nesil HDR200 (400Gb/s) yükseltmeleri için bağlantıyı geleceğe dayanıklı hale getirmek anlamına gelir.Tam olarak dahilMQM8790-HS2F özelliklerive kablolama matrisleri, NVIDIA ortak portalı üzerinden kullanılabilir.