NVIDIA Mellanox MQM8790-HS2F Teknik Çözüm: RDMA/HPC/Yapay Zeka Kümeleri için Düşük Gecikmeli Bağlantı Optimizasyonu

Bu teknik çözüm, ağ mimarları, satış öncesi mühendisler ve operasyon liderleri için tasarlanmıştır.ve yüksek performanslı InfiniBand kumaşları çevresindeNVIDIA Mellanox MQM8790-HS2F, RDMA yoğunluklu HPC ve AI eğitim kümelerini hedefliyor.

Modern AI eğitimi ve bilimsel hesaplama kümeleri giderek daha fazla ağ bağlantısı ile başlıca performans boğazı olarak karşı karşıya kalıyor.Kuyruk gecikmesi, ve CPU boşaltma yetenekleri, All-Reduce ve All-to-All gibi dağıtılmış eğitim iletişim kalıplarının taleplerini karşılamıyor.Sub-mikrosaniyelik uçtan sona gecikme,Kayıpsız, damlasız nakliye,GPU Direct RDMA desteği, veBinlerce düğüme doğrusal olarak ölçeklendirilirBu bağlantı verimliliği zorluklarını temel olarak çözmek için özel bir InfiniBand anahtarlama mimarisi gereklidir.

Bu çözüm, engellemeyen, tam iki kesimli bant genişliği elde etmek için iki katmanlı bir Fat-Tree topolojisini önerir.MQM8790-HS2F InfiniBand anahtarı, 200Gb/s HDR QSFP56'nın 40 bağlantı noktasını sağlar. 512 düğümlü bir kümeden örnek alarak tasarım şöyle:

• Yaprak tabakası: Her MQM8790-HS2F, 20 hesaplama düğümünü (ikili yukarı bağlantı) ve 8 yukarı bağlantısını omurilik katmanına bağlar.
• Omurilik katmanı: 8 MQM8790-HS2F anahtarı, her yaprak ve her omurilik anahtarı arasında tam ağ bağlantısı ile omurilik düzlemini oluşturur.
• Depolama ve yönetim ağı: Bilgisayar trafiğine müdahale etmemek için ayrı bir InfiniBand alt ağı veya bant dışı Ethernet.

Bu mimari, herhangi iki düğüm arasında 200Gb/s bant genişliği garanti ederken, tek bir arıza noktasının küresel bağlantıyı etkilememesini sağlayan birden fazla redundan yolla.Limanın yüksek yoğunluğuMQM8790-HS2F 200Gb/s HDR 40 portlu QSFP56Gerekli anahtar sayısını önceki nesil EDR çözümlerine kıyasla %50 azaltırken aynı zamanda kumaş karmaşıklığını da azaltır.

BuNVIDIA Mellanox MQM8790-HS2FBu çözümde çekirdek anahtarlama birimi olarak hizmet eder ve aşağıdaki kritik rolleri yerine getirir:

• Kayıpsız anahtar motoru: InfiniBand bağlantı katmanı akış kontrolü paket kaybını ortadan kaldırır ve RDMA taşıma verimliliğini sağlar.
• Uyumlu yönlendirme: Çoklu yollardaki trafiği dinamik olarak dengeler, tıkanıklık sıcak noktalarından kaçınır ve etkili işlem hızını artırır.
• SHARPv3 ağ içi hesaplama: Tüm-Kısıtlama'yı 2'3'e hızlandırarak, kısıtlama işlemlerini düğmeye boşaltır.
• Yüksek yoğunluk ve düşük güç: 40 port 200Gb/s'de endüstri lideri port başına güç tüketimi ile TCO'yu azaltır.

Buna göreMQM8790-HS2F veri sayfasıveMQM8790-HS2F özellikleri, anahtar 16Tb/s toplam anahtarlama kapasitesi, 130ns altındaki port-to-port gecikme ve 24/24 üretim ortamları için sıcak değiştirilebilir güç kaynakları ve fanları destekler.cihaz NVIDIA ConnectX-6/7 HDR adaptörleri ve geniş bir HDR optik/bakır kablo yelpazesi ile tamamen uyumludur, ödemelerinin geçerliliğini doğrulayanMQM8790-HS2F uyumluEkosistem.

Çözümü kullanırken şu adımları izleyin:

• Alt ağ yönetimi: Aktif bekleme alt ağ yöneticileri (SM) dağıtmak; merkezi yönetim ve telemetri için NVIDIA UFM platformu önerilmektedir.
• Bölmeler ve servis seviyeleri: Kiracıları veya iş yüklerini izole etmek için bölüm anahtarlarını (P_Key) kullanın; yapay zeka eğitim trafiğini önceliklendirmek için SL2VL haritalamalarını yapılandırın.
• Kablo seçimi: Sinyal bütünlüğünü korumak için kısa mesafeler için pasif bakır kablolar (≤3m) ve daha uzun mesafeler için aktif optik kablolar veya alıcılar kullanın.

2000 düğümden daha büyük kümeler için, üç seviyeli Fat-A Tree veya Dragonfly+ topolojisi kabul edilebilir ve çekirdek katmanı,MQM8790-HS2FEk birimler satın alırken, kontrolMQM8790-HS2F fiyatıve yetkili distribütörler aracılığıyla kullanılabilirliği; doğrulanmışSatılık MQM8790-HS2Flisteler genellikle en son firmware ve garanti içerir.MQM8790-HS2F InfiniBand anahtar çözümüBölüm AI araştırmalarından eksascale süper hesaplama merkezlerine kadar incelikle ölçeklenebilir.

InfiniBand kumaşının etkili çalışması proaktif izleme ve disiplinli sorun giderme gerektirir:

• İzlemeKullanım:İbnettiscoverTopoloji doğrulama için,PerfektiLiman sayaçları için ve gerçek zamanlı tıkanıklık görünürlüğü için UFM telemetri.
• Ortak sorunlar ve çözüm:
  • Bağlantı sallamaları: Kablo oturmalarını kontrol edin ve kablo teşhis testlerini yapın; hatalı optikleri değiştirin.
  • Alt ağ yöneticisi başarısızlık geçişi: SM önceliklerinin doğru şekilde yapılandırıldığını ve ikincil SM'nin geçerli bir veritabanına sahip olduğundan emin olun.
  • Düzgün olmayan uyarlanabilir yönlendirme: Yönlendirme algoritması parametrelerini ayarlayın (örneğin,routing_engine=ftree) ve yük dağılımını mümkün kılar.
• Optimizasyon ipuçları: Toplu işlemler için SHARP toplamasını etkinleştirin; büyük mesaj transferleri için MTU'yu 4096 bayta ayarlayın; kontrol, veri ve yönetim trafiğini ayırmak için Hizmet Kalitesi kullanın.

NVIDIA destek portalı aracılığıyla düzenli olarak firmware güncellemeleri güvenlik yamalarını ve performans geliştirmelerini sağlar.MQM8790-HS2F veri sayfasıSağlıklı koşullar altında detaylı performans değerleri ve beklenen karşı değerler için.

BuNVIDIA Mellanox MQM8790-HS2FRDMA/HPC/AI kümesi bağlantılarının temel zorluklarını: gecikme, kayıp, CPU genel masrafları ve ölçeklenebilirliği ele alan geleceğe dayanıklı bir InfiniBand anahtarlama platformu sunar.Yukarıda açıklanan iki katmanlı Fat-Tree mimarisini uygulayarak, kuruluşlar doğrusal performans ölçeklendirme, öngörülebilir iş tamamlama süreleri ve eski Ethernet çözümlerine kıyasla önemli ölçüde azaltılmış TCO elde edebilirler.200Gb/s HDR hızı kombinasyonu, 40 port yoğunluğu ve ağ içi bilgisayar yetenekleri, yeşil alan dağıtımları veya EDR / HDR kumaşlarından aşamalı yükseltmeler için ideal bir seçim haline getirir.Sonraki nesil kümeleri değerlendiren mimarlık ekipleri için,MQM8790-HS2F InfiniBand anahtar çözümüDenenmiş, üretime hazır bir referans tasarımı sunar.