NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Teknik Çözüm

NVIDIA Mellanox MQM9790-NS2F InfiniBand Anahtarı Teknik Çözümü｜RDMA, HPC ve Yapay Zeka Kümeleri için Düşük Gecikmeli Bağlantı Optimizasyonu

Proje Arka Planı ve Gereksinim Analizi

Yapay zeka büyük model eğitimi, HPC simülasyonu ve dağıtılmış depolama destekleyen modern veri merkezleri, 200Gb/s HDR'den 400Gb/s NDR'ye hızla geçiş yapıyor. Ağ mimarları için temel gerilim, GPU düğüm yoğunluğunun sürekli artması, ancak düğümler arası iletişim gecikmesi ve titremenin küme verimliliği için sınırlayıcı faktör haline gelmesidir. Tek bir tıkalı geçiş veya yanlış yapılandırılmış bir kumaş katmanı, yüzlerce düğümdeki etkili GPU kullanımını azaltabilir.

Böyle bir proje için tipik gereksinimler arasında toplu işlemler için deterministik düşük gecikme, RDMA ve NVMe over Fabrics için kayıpsız taşıma, kumaşı düz tutmak için yüksek radix ve mevcut yatırımı koruyan net bir yükseltme yolu yer alır. NVIDIA Mellanox MQM9790-NS2F, Quantum-2 ailesi içinde 400Gb/s NDR InfiniBand anahtarı olarak bu gereksinimleri karşılamak üzere konumlandırılmıştır.

Genel Ağ ve Sistem Mimarisi Tasarımı

Önerilen mimari, tamamen NDR bağlantıları üzerine kurulu iki katmanlı bir spine-leaf InfiniBand kumaşıdır. Leaf anahtarları GPU sunucularını, depolama hedeflerini ve yönetim düğümlerini bağlarken, spine anahtarları yapraklar arası bağlantı ve yol çeşitliliği sağlar. Bu tasarım, geçiş sayısını düşük tutar ve yapay zeka ve HPC iş yüklerinde baskın olan doğu-batı trafiği için engelsiz bant genişliği sağlar.

Uç nokta katmanında, ana bilgisayar kanal adaptörleri RDMA modunda çalışarak CPU müdahalesi olmadan bellekten belleğe aktarımlara izin verir. Kumaşın kendisi tıkanıklık kontrolü, uyarlanabilir yönlendirme ve toplu hızlandırma işlemlerini yönetir. Yönetim ve telemetri trafiği aynı fiziksel altyapıyı paylaşır ancak QoS politikaları aracılığıyla izole edilir, böylece izleme üretim iş yüklerine müdahale etmez.

Temel tasarım ilkeleri şunları içerir:

• Gecikmeyi en aza indirmek ve sorun gidermeyi basitleştirmek için düz topoloji
• Katmanlar arasında engelsiz veya düşük aşırı abonelikli bağlantılar
• Karışık nesil darboğazlardan kaçınmak için uçtan uca tutarlı NDR
• Yüksek kullanılabilirlik ve yük dengeleme için yedekli yollar
• Operasyonel tutarlılık için standart InfiniBand yönetimi

NVIDIA Mellanox MQM9790-NS2F'nin Rolü ve Temel Özellikleri

NVIDIA Mellanox MQM9790-NS2F, bu kumaşın yapı taşı olarak hizmet vermektedir. MQM9790-NS2F 400Gb/s NDR 64 bağlantı noktalı OSFP anahtarı olarak, tek bir birimde yüksek bağlantı noktası yoğunluğu sunarak mimarların daha az katmanlı daha düz bir ağ tasarlamasına olanak tanır. Her OSFP bağlantı noktası NDR hızında çalışabilir ve 64 bağlantı noktalı yapılandırma, yüksek radix leaf ve spine rollerini destekler.

MQM9790-NS2F özelliklerini inceleyen ekipler için platform, toplu hızlandırma için NVIDIA SHARPv3'ü, gelişmiş tıkanıklık kontrolünü ve uyarlanabilir yönlendirmeyi destekler. Bu özellikler, yapay zeka eğitimi ve MPI iş yüklerinde yaygın olan kuyruk gecikmesi ve incast sorunlarını doğrudan hedefler. MQM9790-NS2F InfiniBand anahtarı ayrıca standart InfiniBand yönetim araçlarıyla entegre olur, bu da operasyonel öğrenme eğrisini azaltır.

MQM9790-NS2F InfiniBand anahtar çözümü planlanırken, mimarlar OSFP kabloları, ana bilgisayar kanal adaptörleri ve bellenim sürümleri dahil olmak üzere MQM9790-NS2F uyumlu bileşenleri doğrulamalıdır. MQM9790-NS2F veri sayfasını tasarım aşamasının erken safhalarında gözden geçirmek, tedarik öncesinde güç, soğutma ve raf alanı gereksinimlerini doğrulamaya yardımcı olur.

Dağıtım ve Ölçeklendirme Önerileri

Tipik bir dağıtım, bir çift MQM9790-NS2F leaf anahtarına bağlı 32 ila 64 GPU düğümünden oluşan bir pilot pod ile başlar. Küme büyüdükçe spine bağlantısı eklenir, engelsiz bant genişliğini korumak için ek MQM9790-NS2F birimleri kullanılır. Bu artımlı yaklaşım, tam ölçekli dağıtımdan önce gecikme ve verim doğrulamasına olanak tanır.

Ölçeklendirme için önerilen uygulama, kumaşı simetrik tutmaktır: aşırı abonelik oranlarının öngörülebilir kalması için leaf ve spine kapasitesini eşleşen artışlarla ekleyin. Yüksek yoğunluklu OSFP dağıtımları fiziksel düzen tutarsızsa bakımı zorlaşabileceğinden, kablo yönetimi ve bağlantı noktası etiketlemesi baştan standartlaştırılmalıdır.

Aşağıdaki tablo, temsili bir iki katmanlı tasarım değerlendirmesini özetlemektedir:

Operasyonlar, İzleme, Sorun Giderme ve Optimizasyon

Operasyonel başarı görünürlüğe bağlıdır. InfiniBand kumaşları, bağlantı hataları, tıkanıklık olayları ve arabellek kullanımı için sayaçlar sağlar. Bunlar sürekli olarak toplanmalı ve iş zamanlayıcı verileriyle ilişkilendirilmelidir, böylece performans gerilemeleri tahmin edilmek yerine belirli kumaş segmentlerine bağlanabilir.

Yaygın sorun giderme senaryoları arasında kredi duraklamaları, yanlış yapılandırılmış QoS ve anahtarlar ile adaptörler arasındaki bellenim uyumsuzlukları yer alır. Yapılandırılmış bir kontrol listesi—bağlantı hızını doğrulayın, hata sayaçlarını kontrol edin, yönlendirme politikasını onaylayın, tıkanıklık telemetrisini inceleyin—çözüm süresini ortalama olarak azaltabilir. Optimizasyon çabaları, yapay zeka ve HPC iş yükleri en kötü durum davranışına duyarlı olduğundan, ortalama verim yerine kuyruk gecikmesine odaklanmalıdır.

Tedarik ve yaşam döngüsü planlaması için ekipler genellikle yetkili kanallardaki MQM9790-NS2F fiyatını ve satılık MQM9790-NS2F seçeneklerini karşılaştırır. Fiyatlandırma yapılandırmaya, destek düzeyine ve bölgeye bağlıdır, bu nedenle distribütörler ve NVIDIA kurumsal temsilcileriyle erken etkileşim önerilir.

NVIDIA Mellanox MQM9790-NS2F, RDMA, HPC ve yapay zeka kümesi bağlantısı için yüksek radix, 400Gb/s NDR temeli sağlar. Kumaş katmanlarını azaltarak, toplu hızlandırmayı destekleyerek ve kayıpsız düşük gecikmeli taşıma sağlayarak, gerçek dünya küme verimliliğini sınırlayan performans darboğazlarını ele alır. Ağ mimarları ve satış öncesi mühendisler için, yeni nesil InfiniBand kumaşları için pratik ve ölçeklenebilir bir yapı taşı temsil eder.