NVIDIA Mellanox MQM9790-NS2F Teknik Referans: RDMA / HPC / AI kümeleri için düşük gecikme bağlantı optimizasyonu

NVIDIA Mellanox MQM9790-NS2F Teknik Referans: RDMA/HPC/Yapay Zeka Kümeleri için Düşük Gecikmeli Bağlantı Optimizasyonu

1. Proje Arka Planı ve Gereksinim Analizi

Modern yapay zeka eğitimi ve HPC simülasyon iş yükleri, altta yatan ağ altyapısına aşırı talepler getiren yoğun, her-her-ile iletişim modelleriyle karakterize edilir. GPU kümeleri 1.000 düğümü aştıkça, yazılım tabanlı tıkanıklık kontrolü ile Ethernet'e güvenmenin geleneksel yaklaşımı yetersiz kalmaktadır. Bu ortamlardan ortaya çıkan temel gereksinimler şunları içerir:

• Deterministik ultra düşük gecikme: MPI iş tamamlama sürelerini en aza indirmek için mikrosaniye altı bağlantıdan bağlantıya gecikme.
• Kayıpsız ağ: Tıkanıklık altında sıfır paket kaybı, TCP incast ve performans çökmesini önlemek için.
• Ağ içi hesaplama boşaltma: Toplu işlemler (örneğin, all-reduce, broadcast) için ana bilgisayar CPU yükünü azaltma.
• Ölçeklenebilir topoloji: Binlerce uç noktaya kadar tam bisection bant genişliğine sahip fat-tree ve dragonfly+ topolojileri için destek.

NVIDIA Mellanox MQM9790-NS2F , 64 OSFP bağlantı noktasına sahip 400Gb/s NDR InfiniBand anahtarı olarak bu talepleri karşılamak üzere tasarlanmıştır ve exascale sınıfı dağıtımlar için gereken yoğunluğu ve performansı sunar.

2. Genel Ağ Mimarisi Tasarımı

Önerilen çözüm, ölçeklenebilirlik, aşırı abonelik kontrolü ve kablolama basitliği dengesi sağlayan iki katmanlı bir leaf-spine topolojisi kullanır. Leaf katmanında, her hesaplama rafı bir veya iki adet MQM9790-NS2F InfiniBand anahtarı birimi barındırır ve GPU sunucularına 400Gb/s bağlantı için 64 bağlantı noktası sağlar. Spine katmanında, ikinci bir MQM9790-NS2F anahtar katmanı tüm leaf'leri birbirine bağlayarak engelsiz bir ağ oluşturur.

2.000'den fazla GPU düğümünü aşan büyük ölçekli dağıtımlar için, MQM9790-NS2F 400Gb/s NDR 64 bağlantı noktalı OSFP hem leaf hem de spine olarak hizmet vererek tüm seviyelerde tutarlı performansı koruyan üç katmanlı bir folded-Clos mimarisi benimsenmiştir. Bu tasarım, herhangi bir sunucunun herhangi bir başka sunucuyla hat hızında, en fazla üç anahtar atlamasıyla iletişim kurabilmesini sağlar.

Aşağıdaki tablo, MQM9790-NS2F etrafında oluşturulan 2 katmanlı bir leaf-spine ağı için tipik ölçeklendirme parametrelerini özetlemektedir:

3. NVIDIA Mellanox MQM9790-NS2F'nin Rolü ve Temel Özellikleri

Bu mimari içinde, NVIDIA Mellanox MQM9790-NS2F , birkaç kritik yetenek sağlayan temel yapı taşı olarak hizmet eder:

• Bağlantı başına 400Gb/s NDR: 64 OSFP bağlantı noktasının her biri, güvenilir uzun menzilli bağlantı için ileri hata düzeltme (FEC) ile çift yönlü 400Gb/s'yi destekler.
• Entegre SHARPv3 (Ölçeklenebilir Hiyerarşik Toplama ve İndirgeme Protokolü): Ana bilgisayar CPU'larından toplu iletişim işlemlerini boşaltır, büyük ölçekli işlerde MPI all-reduce gecikmesini %40'a kadar azaltır.
• Uyarlanabilir yönlendirme ve tıkanıklık kontrolü: Yoğunlukları önlemek için trafiği dinamik olarak yeniden yönlendirir, düşmanca trafik modelleri altında bile öngörülebilir performansı sağlar.
• Gelişmiş telemetri: Akış başına ve bağlantı noktası başına sayaçlar, tampon doluluk izleme ile birlikte ağ sağlığına derinlemesine görünürlük sağlar.

MQM9790-NS2F veri sayfası 'na göre, anahtar 100ns altı kesme gecikmesi sunar ve toplam 51,2 Tb/s anahtarlama kapasitesini destekler. Bu özellikler, hem sıfırdan yapılan dağıtımlar hem de HDR (200Gb/s) altyapısından aşamalı yükseltmeler için ideal bir seçimdir.

4. Dağıtım ve Ölçeklenebilirlik Önerileri

MQM9790-NS2F InfiniBand anahtar çözümü 'nü benimsemeyi planlayan kuruluşlar için aşağıdaki dağıtım kılavuzları önerilir:

• Kablolama stratejisi: Raf içi bağlantılar (3m'ye kadar) için OSFP-OSFP doğrudan takılan bakır (DAC) kablolar ve raf dışı ve spine-leaf bağlantıları (100m'ye kadar) için aktif optik kablolar (AOC) veya optik alıcı-vericiler kullanın.
• Yedeklilik: Çift güç kaynağı ve sıcak değiştirilebilir fan modülleri dağıtın. Hata toleransı için her güç kaynağını ayrı PDU'lara bağlayın.
• Firmware tutarlılığı: Özellik uyumsuzluklarını önlemek için tüm anahtarların aynı NVIDIA firmware sürümünü çalıştırdığından emin olun. Döngüsel güncellemeler için UFM'nin otomatik firmware yükseltme özelliğini kullanın.
• Ölçeklenebilirlik: 4.000'den fazla düğüm içeren kümeler için, üç katmanlı bir folded-Clos topolojisi veya uyarlanabilir yönlendirme etkinleştirilmiş dragonfly+ düşünün. MQM9790-NS2F uyumlu ekosistemi, bu topolojileri desteklemek için geniş bir optik ve kablo yelpazesini içerir.

Toplam sahip olma maliyetini hesaplarken, daha düşük radiksli alternatiflere kıyasla daha az anahtar katmanı ve basitleştirilmiş kablolama faktörünü göz önünde bulundurun. MQM9790-NS2F fiyatı birim başına önceki nesil anahtarlardan daha yüksek olsa da, bağlantı noktası başına maliyet ve GPU başına ağ maliyeti büyük ölçekli dağıtımlarda önemli ölçüde daha düşüktür, bu da onu Exascale projeleri için uygun maliyetli bir seçim haline getirir.

5. Operasyonlar, İzleme ve Sorun Giderme

Bir NDR ağının etkili yönetimi, kapsamlı bir izleme ve sorun giderme çerçevesi gerektirir. NVIDIA'nın Birleşik Ağ Yöneticisi (UFM), tüm NVIDIA Mellanox MQM9790-NS2F tabanlı ağ için tek bir cam bölmesi sağlayarak şunları sunar:

• Topoloji görselleştirme: Tüm anahtarların, bağlantıların ve uç noktaların otomatik keşfi ve grafiksel temsili.
• Performans panoları: Bağlantı noktası kullanımı, hata oranları ve tıkanıklık göstergelerinin gerçek zamanlı görünümleri.
• Proaktif uyarı: Bağlantı bozulması, sıcaklık anormallikleri ve güç kaynağı arızaları için eşik tabanlı alarmlar.
• Hata izolasyonu: Arızalı kabloları, alıcı-vericileri veya anahtar bağlantı noktalarını belirleyen rehberli sorun giderme iş akışları.

Gelişmiş sorun giderme için, MQM9790-NS2F özellikleri özel izleme yığınlarıyla entegrasyon için REST API aracılığıyla dışa aktarılabilen ayrıntılı tampon izleme ve akış düzeyinde istatistikler içerir. Ağ mühendisleri ayrıca, üretim iş yüklerini dağıtmadan önce bağlantı bütünlüğünü doğrulamak için döngü testleri ve BER (bit hata oranı) analizi gibi anahtarın yerleşik tanılama araçlarından yararlanmalıdır.

Erken dağıtımlar sırasında karşılaşılan yaygın sorunlar arasında, eşit olmayan bağlantı hızları veya uyumsuz kablo türlerinden kaynaklanan optimal olmayan yönlendirme yer alır. Uyarlanabilir yönlendirmeyi etkinleştirmek ve tüm bağlantıların 400Gb/s'de çalıştığını (FEC etkin) doğrulamak, performans anormalliklerinin çoğunu çözer. MQM9790-NS2F InfiniBand anahtar çözümü ayrıca, yönetim düğümü hatası durumunda ağ yeniden yapılandırmasının manuel müdahale olmadan gerçekleşmesini sağlayan alt ağ yöneticisi yedekliliği desteğini içerir.

6. Özet ve Değer Değerlendirmesi

MQM9790-NS2F , tek, yönetilebilir bir 1U platformunda 400Gb/s NDR bant genişliği, 64 bağlantı noktası yoğunluğu ve ağ içi hesaplama hızlandırması sunarak yüksek performanslı ağ oluşturmada önemli bir ilerlemeyi temsil eder. Yapay zeka ve HPC kümeleri tasarlayan mimarlar ve mühendisler için bu anahtar, exascale performansı için kanıtlanmış bir yol sağlar ve şunları mümkün kılar:

• İş tamamlama sürelerinde %30'a kadar azalma SHARPv3 boşaltma yoluyla büyük ölçekli eğitim iş yükleri için.
• Daha düşük TCO daha yüksek radiks ve azaltılmış anahtar katmanı sayısı ile yönlendirilen alternatif çözümlere kıyasla.
• Basitleştirilmiş operasyonlar UFM entegrasyonu ve proaktif hata yönetimi için kapsamlı telemetri aracılığıyla.
• Geleceğe dönük ölçeklenebilirlik yeni nesil GPU ve hızlandırıcı bağlantılarını desteklemek için.

MQM9790-NS2F satılık değerlendiren kuruluşlar için NVIDIA'nın iş ortağı ağı aracılığıyla, ayrıntılı MQM9790-NS2F veri sayfası 'nı gözden geçirmeyi ve dağıtımı özel iş yükünüze ve ölçek gereksinimlerinize göre uyarlamak için sertifikalı bir çözüm mimarı ile iletişime geçmeyi öneririz. NVIDIA Mellanox MQM9790-NS2F önümüzdeki on yılın bilimsel keşif ve yapay zeka inovasyonunun yüksek performanslı bağlantı omurgası olarak hizmet vermeye hazırdır.