Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Anahtarı Uygulamada

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Anahtarı Uygulamada | RDMA/HPC/Yapay Zeka Kümeleri için Düşük Gecikmeli Bağlantı Optimizasyonu

Arka Plan ve Zorluklar: RDMA Kümeleri Ağ Darboğazına Ulaştığında

Tipik bir karma HPC ve yapay zeka iş yükü ortamında, hesaplama kümeleri genellikle CFD simülasyonları, moleküler dinamikler ve dağıtılmış büyük model eğitimi gibi işlemleri yan yana çalıştırır. Bu iş yükleri, düğümler arası iletişim için büyük ölçüde RDMA'ya dayanır ve bant genişliği, gecikme süresi ve paket kaybına karşı son derece hassastır. Bir küme onlarca düğümden yüzlerce düğüme büyüdüğünde, orijinal bağlantı noktası hızla sınırlayıcı faktör haline gelebilir.

Yaygın belirtiler arasında AllReduce sırasında uzun kuyruk gecikmesi, ağ genelinde dengesiz bağlantı kullanımı ve birden fazla kiracı ağı paylaştığında iş tamamlama sürelerinin düşmesi yer alır. Ağ mühendisleri ve mimarları için zorluk, yalnızca bant genişliği eklemek değil, aynı zamanda tıkanıklık altında gecikmeyi öngörülebilir tutan bir ağ oluşturmaktır.

Çözüm ve Dağıtım: Ağı MQM8790-HS2F Etrafında Oluşturma

Bu sorunları ele almak için küme ağı, yüksek yoğunluklu, düşük gecikmeli ortamlar için tasarlanmış 200 Gb/sn HDR InfiniBand anahtarı olan Mellanox (NVIDIA Mellanox) MQM8790-HS2F etrafında yeniden tasarlandı. MQM8790-HS2F 200 Gb/sn HDR 40 bağlantı noktası QSFP56 form faktörü, 1U'da 40 bağlantı noktası sağlar ve bu da iki katmanlı bir fat-tree topolojisine doğal olarak uyar.

Dağıtım katmanlı bir yaklaşımla gerçekleştirildi:

• Omurga katmanı: NVIDIA Mellanox MQM8790-HS2F anahtarları, 200 Gb/sn yukarı bağlantıları ve yaprak grupları arasındaki engelsiz doğu-batı trafiğini sağlayan omurga cihazları olarak konuşlandırıldı.
• Yaprak katmanı: Yaprak anahtarları, ConnectX-6 veya ConnectX-7 adaptörleriyle donatılmış hesaplama düğümlerini bağlar ve MQM8790-HS2F uyumlu uçtan uca bir HDR yolu oluşturur.
• Ağ içi hesaplama: MQM8790-HS2F üzerindeki SHARP teknolojisi, AllReduce gibi toplu işlemleri anahtara boşaltarak GPU ve CPU yükünü azaltır.
• Yönetim ve telemetri: Ağ sağlama, izleme ve tıkanıklık görünürlüğü için MLNX-OS, UFM ve NetQ kullanıldı.

Planlama sırasında ekip, güç bütçesini, soğutma gereksinimlerini ve 2x100 Gb/sn koparma gibi bağlantı noktası ayırma seçeneklerini doğrulamak için MQM8790-HS2F veri sayfasını ve MQM8790-HS2F özelliklerini inceledi. Yedekleme ve gelecekteki genişletmeyi basitleştirmek için kablolama ve optikler QSFP56'ya standartlaştırıldı.

Sonuçlar ve Faydalar: Dağıtımdan Sonra Ne Değişti

MQM8790-HS2F InfiniBand anahtar çözümüne geçiş yaptıktan sonra küme, iletişim verimliliği ve iş kararlılığında ölçülebilir iyileşmeler gösterdi. En dikkat çekici kazanımlar şunlardı:

Operasyonel olarak ekip, ağ davranışını daha iyi kontrol altına aldı. Uyarlanabilir yönlendirme ve SHARP, sıcak noktaların etkisini azalttı, telemetri ise yavaş düğümleri ve yanlış yapılandırılmış bağlantıları belirlemeyi kolaylaştırdı. MQM8790-HS2F fiyatını veya satılık MQM8790-HS2F seçeneklerini değerlendiren mimarlar için temel çıkarım, anahtarın yalnızca ham bağlantı noktası sayısından ziyade daha yüksek küme kullanımı yoluyla geri ödeme yaptığıdır.

Sonuç ve Görünüm

MQM8790-HS2F, özel olarak tasarlanmış bir InfiniBand anahtarının RDMA, HPC ve yapay zeka kümelerindeki bağlantı darboğazlarını nasıl ortadan kaldırabileceğini göstermektedir. 200 Gb/sn HDR bağlantı noktalarını, SHARP ağ içi hesaplamayı ve olgun bir yönetim yığınını birleştirerek, NVIDIA Mellanox MQM8790-HS2F ölçekte öngörülebilir düşük gecikme süresi sunar. Kümeler büyümeye ve yapay zeka iş yükleri daha fazla iletişim yoğun hale geldikçe, MQM8790-HS2F InfiniBand anahtarına dayalı ağlar, bir sonraki genişleme dalgasını desteklemek için iyi bir konumdadır.