NVIDIA Mellanox MQM8790-HS2F Eylemde: RDMA / HPC / AI kümeleri için düşük gecikme bağlantı optimizasyonu

Hızla büyüyen bir yapay zeka araştırma kuruluşu, tanıdık bir sorunla karşı karşıyaydı: büyük dil modeli eğitimi ve moleküler dinamik simülasyonları için kullanılan 200'den fazla GPU kümesi, öngörülemeyen iş tamamlama süreleri yaşıyordu. Güçlü hesaplama düğümlerine rağmen, mevcut 100Gb/s Ethernet yapısı, kuyruk gecikmesi ani yükselişleri, incast desenleri altında paket kayıpları ve geleneksel TCP/IP yığını işlemenin neden olduğu yüksek CPU yükü ile mücadele ediyordu. Ekip, tutarlı mikrosaniye altı gecikme süresi sunabilen, GPU Direct için RDMA'yı tam olarak destekleyebilen ve forklift yükseltmeleri olmadan ölçeklenebilen bir çözüme ihtiyaç duyuyordu. Mevcut seçenekleri değerlendirdikten sonra, yeni nesil küme yapılarının temel yapı taşı olarak "迈络思(NVIDIA Mellanox) MQM8790-HS2F" seçtiler.

Kuruluş, 128 hesaplama düğümünü (her biri NVIDIA ConnectX-6 HDR adaptörleriyle donatılmış) ve 4 depolama düğümünü birbirine bağlayan iki katmanlı bir fat-tree topolojisinde "MQM8790-HS2F InfiniBand anahtarını" dağıttı. 200Gb/s HDR hızında çalışan 40 adet QSFP56 bağlantı noktası ile tek bir "" 16Tb/s engelsiz anahtarlama kapasitesi sağladı; bu, iki eski Ethernet anahtarını değiştirmeye yetiyordu ve kablolama karmaşıklığını azaltıyordu. Dağıtım, CPU müdahalesi olmadan farklı sunuculardaki GPU'lar arasında doğrudan bellek erişimini sağlayan "MQM8790-HS2F 200Gb/s HDR 40 bağlantı noktalı QSFP56" yerel RDMA ve GPUDirect desteğinden yararlandı.

Anahtar uygulama ayrıntıları şunları içeriyordu:

• Sıcak noktaları ortadan kaldırarak trafiği birden fazla yol arasında otomatik olarak dengeleyen uyarlanabilir yönlendirme.
• All-Reduce işlemlerini 2,5 kata kadar hızlandıran ağ içi azaltma için SHARPv3 (Ölçeklenebilir Hiyerarşik Toplama ve Azaltma Protokolü).
• Kayıplı Ethernet ortamlarında yaygın olan baş-çizgi engellemesini önleyen anahtar düzeyinde tıkanıklık kontrolü.

Satın almadan önce mühendislik ekibi, mevcut Mellanox kabloları ve alıcı-vericileriyle uyumluluğu doğrulamak için "MQM8790-HS2F veri sayfasını" ve "MQM8790-HS2F özelliklerini" inceledi. "MQM8790-HS2F uyumlu" ekosistemi (HDR optik ve bakır kablolar dahil), önceki ara bağlantı yatırımlarının %40'ını yeniden kullanmalarına olanak tanıyarak yükseltme engelini önemli ölçüde düşürdü.

"" performans kazançlarına karşı değerlendirirken, bu vaka çalışması yalnızca hesaplama verimliliği iyileştirmelerine dayalı olarak 12 aydan kısa bir yatırım getirisi (ROI) öneriyor."-tabanlı yapıya geçtikten sonra kuruluş, üç kategoride iyileşme kaydetti:

• Gecikme süresi azalması: Ortalama MPI ping-pong gecikmesi 2,1µs'den (Ethernet RoCE) 0,82µs'ye düştü, kuyruk gecikmesi neredeyse tamamen ortadan kalktı.İş verimi: Dağıtılmış eğitim işleri (NCCL tabanlı) iletişim yükünün azalması ve SHARPv3 hızlandırması sayesinde %37 daha hızlı tamamlandı.
• CPU boşaltma: InfiniBand üzerinden RDMA, ağ oluşturma için CPU kullanımını yaklaşık %15'ten %2'nin altına düşürerek çekirdekleri hesaplama için serbest bıraktı.128 GPU'luk bir tüm-tüm iletişim karşılaştırmasında, "
• MQM8790-HS2F InfiniBand anahtar çözümü", önceki Ethernet yapısındaki %1,2 kayıpla 112Gb/s'ye kıyasla bağlantı başına 198Gb/s'yi sıfır paket kaybıyla sürdürdü. Aynı ekip tarafından yürütülen finansal simülasyonlarda, iş değişkenliği %78 oranında azaldı, bu da daha sıkı SLA'lar ve öngörülebilir çalışma süresi sağladı.

Özet ve Görünüm: Geleceğe Yönelik Bir YatırımBu gerçek dünya dağıtımı, "MQM8790-HS2F

MQM8790-HS2F fiyatını" performans kazançlarına karşı değerlendirirken, bu vaka çalışması yalnızca hesaplama verimliliği iyileştirmelerine dayalı olarak 12 aydan kısa bir yatırım getirisi (ROI) öneriyor.Kuruluş, GPU sayısını 400'den fazla düğüme çıkarmayı planladığı için, engelsiz bir fat-tree mimarisini korumak üzere ek "satılık MQM8790-HS2F" birimleri için şimdiden bütçe ayırdı. Anahtarın HDR ve EDR hızlarını karıştırma yeteneği, eski adaptörler kademeli olarak değiştirildikçe sorunsuz bir geçiş yolu sağlıyor. Yeni nesil RDMA merkezli kümeler tasarlayan mimarlar için "

NVIDIA Mellanox MQM8790-HS2F", departman düzeyindeki yapay zeka araştırmalarından exascale süper bilgisayarlara kadar ölçeklenebilen, kanıtlanmış, üretim ortamına hazır bir omurga sunuyor.