NVIDIA Mellanox 920-9B210-00FN-0D0 Teknik referans: 400Gb/s NDR Düşük gecikme bağlantı optimizasyonu

NVIDIA Mellanox 920-9B210-00FN-0D0 Teknik Referansı: RDMA/HPC/Yapay Zeka Kümeleri için 400Gb/s NDR Düşük Gecikmeli Bağlantı Optimizasyonu

1. Proje Arka Planı ve Gereksinim Analizi

Yapay zeka eğitim kümeleri 4.000 GPU'yu aştıkça ve HPC simülasyonları exascale performansa yaklaştıkça, ağ kumaşları bant genişliği, gecikme süresi ve determinizm için benzeri görülmemiş taleplerle karşı karşıyadır. 200Gb/s HDR'den 400Gb/s NDR'ye geçiş, trilyon parametreli modelleri veya kilometre ölçekli hava durumu simülasyonlarını hedefleyen kuruluşlar için artık isteğe bağlı değil, stratejik bir zorunluluktur. Önde gelen araştırma ve kurumsal dağıtımlarda belirlenen temel gereksinimler şunları içerir:

• Ultra düşük deterministik gecikme süresi: MPI ve tüm-tüm iletişim yükünü en aza indirmek için 100ns'nin altında bağlantıdan bağlantıya gecikme süresi.
• Kaybı olmayan kumaş ölçekte: Binlerce uç noktada tıkanıklık altında sıfır paket kaybı, RDMA performansının öngörülebilir kalmasını sağlar.
• Ağ içi hesaplama boşaltma: GPU kullanımını en üst düzeye çıkarmak için toplu işlemleri (tüm-azaltma, tüm-tüm, yayın) ağ kumaşına boşaltma.
• Yüksek radiks ölçeklenebilirliği: Tam bisiklet bant genişliği ile 8.000+ düğüme kadar büyük ölçekli fat-tree ve dragonfly+ topolojileri için destek.
• Aşamalı yükseltmeleri etkinleştirmek için mevcut HDR kabloları, optikleri ve yönetim araçlarıyla sorunsuz uyumluluk.

Bu gereksinimleri karşılamak için bu çözüm, exascale sınıfı dağıtımlar için gereken yoğunluğu, performansı ve zekayı sunan 400Gb/s NDR InfiniBand anahtarı olan temel yapı taşı olarak NVIDIA Mellanox 920-9B210-00FN-0D0'ı benimser.Önerilen çözüm, ölçeklenebilir, engelsiz bir kumaş sağlayan ve deterministik gecikme süresi ve basitleştirilmiş kablolama sunan iki katmanlı bir yaprak-omurga topolojisi kullanır. Yaprak katmanında, her hesaplama rafı, OSFP-to-OSFP doğrudan bağlı bakır (DAC) veya aktif optik kablolar (AOC) aracılığıyla GPU sunucularına 64 adet 400Gb/s NDR bağlantı noktası sunan bir veya iki adet 920-9B210-00FN-0D0 InfiniBand anahtar OPN ünitesi ile donatılmıştır. Omurga katmanında, ikinci bir katman 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR anahtarı, tüm yaprak anahtarlarını birbirine bağlayarak tam bisiklet bant genişliğine sahip bir fat-tree kumaşı oluşturur.

5.000'den fazla düğüm içeren kümeler için, 920-9B210-00FN-0D0'ın hem yaprak hem de omurga olarak hizmet verdiği üç katmanlı katlanmış-Clos mimarisi uygulanabilir, böylece tüm seviyelerde tutarlı performans korunur. Anahtar, tek bir alt ağ yöneticisi altında tek bir kumaşta 64 adede kadar anahtarı destekleyerek büyük ölçekli topolojilerin birleşik kontrolünü sağlar.

Aşağıdaki tablo, 920-9B210-00FN-0D0 etrafında oluşturulan 2 katmanlı bir NDR kumaşı için temel ölçekleme parametrelerini özetlemektedir:ÖzellikDeğerYaprak anahtarları

920-9B210-00FN-0D0

Raf başına 1-2

Entegre SHARPv3 (Ölçeklenebilir Hiyerarşik Toplama ve Azaltma Protokolü):

Toplu işlemleri ana bilgisayar CPU'larından boşaltarak, büyük ölçekli işlerde tüm-azaltma gecikmesini %40'a ve tüm-tüm gecikmesini %35'e kadar azaltır. Rekabetçi trafik modelleri altında öngörülebilir performansı sağlayarak sıcak noktaları önlemek için trafiği dinamik olarak yeniden yönlendirir. Gelişmiş telemetri, proaktif yönetim için akış başına ve bağlantı noktası başına görünürlük sağlar.

• Kapsamlı yönetilebilirlik: Sıfır dokunuşlu tedarik, sağlık izleme ve otomatik hata devri için NVIDIA'nın Birleşik Kumaş Yöneticisi (UFM) ile tam entegrasyon.
• 920-9B210-00FN-0D0 özellikleri ayrıca, kritik görev iş yükleri için %99,999 kullanılabilirlik sağlayan çift yedekli güç kaynaklarını, sıcak değiştirilebilir fan modüllerini ve yedekli alt ağ yöneticisi yapılandırmaları desteğini vurgulamaktadır.4. Dağıtım ve Ölçeklenebilirlik ÖnerileriKablolama stratejisi:
• Raf içi bağlantılar (3m'ye kadar) için OSFP-to-OSFP DAC kabloları ve raflar arası ve omurga-yaprak bağlantıları (100m'ye kadar) için AOC veya optik alıcı-vericiler kullanın. Sinyal bütünlüğü sorunlarını önlemek için tüm kabloların NVIDIA uyumluluk matrisine göre 920-9B210-00FN-0D0 ile uyumlu olduğunu doğrulayın.Yedeklilik:
• Ayrı PDU'lara bağlı çift güç kaynağı dağıtın. Tek hata noktalarını ortadan kaldırmak için yaprak başına en az iki omurga anahtarı kullanın. Kritik görev iş yükleri için, omurga katmanında N+1 yedekliliğini düşünün.Firmware yönetimi:
• Tüm anahtarların aynı NVIDIA firmware sürümlerini çalıştırdığından emin olun. Kesinti olmadan aşamalı güncellemeler için UFM'nin otomatik firmware yükseltme özelliğini kullanın. Dağıtımdan önce ana bilgisayar adaptörleri ve kablolarla firmware uyumluluğunu doğrulayın.Ölçeklenebilirlik yolu:

Üretim dağıtımından önce, kumaş performansını 920-9B210-00FN-0D0 veri sayfası özelliklerine karşı doğrulamak için OpenFabrics Enterprise Distribution (OFED) performans kıyaslamaları gibi araçları kullanarak kapsamlı stres testleri çalıştırın.

Toplam sahip olma maliyetini hesaplarken, daha düşük radiksli alternatiflere kıyasla daha az anahtar katmanı ve basitleştirilmiş kablolama faktörünü göz önünde bulundurun. Birim başına 920-9B210-00FN-0D0 fiyatı HDR anahtarlarından daha yüksek olsa da, büyük ölçekli dağıtımlarda bağlantı başına maliyet ve GPU başına ağ maliyeti önemli ölçüde daha düşüktür, bu da onu exascale projeleri için uygun maliyetli bir seçim haline getirir.

5. Operasyonlar, İzleme ve Sorun GidermeBir NDR kumaşının etkili yönetimi, kapsamlı bir izleme ve sorun giderme çerçevesi gerektirir. NVIDIA'nın UFM'si, NVIDIA Mellanox 920-9B210-00FN-0D0 tabanlı kumaşın tamamı için tek bir cam bölmesi sağlayarak şunları sunar:Topoloji görselleştirme:

• Gerçek zamanlı durum güncellemeleriyle tüm anahtarların, bağlantıların ve uç noktaların otomatik keşfi ve grafiksel temsili.Performans panoları: Tüm kumaş boyunca bağlantı noktası kullanımı, hata oranları, tıkanıklık göstergeleri ve arabellek doluluğunun gerçek zamanlı görünümleri.Proaktif uyarı:
• Bağlantı bozulması, sıcaklık anormallikleri, güç kaynağı arızaları ve kablo aşınması için eşik tabanlı alarmlar.Hata izolasyonu:
• Arızalı kabloları, alıcı-vericileri veya anahtar bağlantı noktalarını belirleyen rehberli sorun giderme iş akışları, çözüm için ortalama süreyi (MTTR) azaltır.Geçmiş analitik:
• Geçmiş performans verilerine dayalı eğilim analizi ve kapasite planlaması, proaktif ölçeklendirme kararları sağlar.Gelişmiş sorun giderme için, döngü testleri, BER (bit hata oranı) analizi ve optik modül teşhis izleme (DOM) dahil olmak üzere anahtarın yerleşik teşhis araçlarından yararlanın. Erken NDR dağıtımlarında karşılaşılan yaygın sorunlar arasında eşit olmayan bağlantı hızları, uyumsuz kablo türleri veya firmware tutarsızlıklarından kaynaklanan suboptimal yönlendirme yer alır. Uyarlanabilir yönlendirmeyi etkinleştirmek, tüm bağlantıların FEC etkinleştirilmiş olarak 400Gb/s'de çalıştığını doğrulamak ve tüm anahtarlar arasında tutarlı firmware sağlamak, performans anormalliklerinin çoğunu çözer.
• Ağ mühendisleri ayrıca doğrulama aşamasında beklenen gecikme süresi, verim ve hata oranları dahil olmak üzere 920-9B210-00FN-0D0 özelliklerinin bir temelini oluşturmalıdır. Bu temelden sapmalar, potansiyel sorunların erken göstergeleri olarak kullanılabilir. 920-9B210-00FN-0D0 InfiniBand anahtar OPN ayrıca syslog ve SNMP aracılığıyla kapsamlı olay günlüğünü destekleyerek mevcut veri merkezi izleme yığınlarıyla entegrasyon sağlar.6. Özet ve Değer DeğerlendirmesiPerformans:

SHARPv3 boşaltma ve NDR bant genişliği aracılığıyla tüm-tüm iletişim gecikmesinde %75'e kadar ve tüm-azaltma gecikmesinde %40'a kadar azalma.Maliyet verimliliği: Yüksek radiks ve azaltılmış anahtar katmanı sayısı sayesinde büyük ölçekli dağıtımlarda HDR alternatiflerine kıyasla daha düşük GPU başına ağ maliyeti.

Operasyonel basitlik:

Birleşik yönetim, otomatik tedarik, proaktif izleme ve hızlı hata çözümü için UFM ile derin entegrasyon. Mevcut HDR kabloları, optikleri ve yazılım yığınlarıyla tam uyumluluk, üretim iş yüklerini kesintiye uğratmadan aşamalı yükseltmeleri sağlar.

• Geleceğe dönük ölçeklenebilirlik: Üç katmanlı katlanmış-Clos ve dragonfly+ topolojileri için destek, hesaplama talepleri arttıkça kumaşın 8.000'den fazla düğüme kadar ölçeklenmesini sağlar.
• 920-9B210-00FN-0D0 satılık ürününü NVIDIA'nın kanal ortakları aracılığıyla değerlendiren kuruluşlar için, ayrıntılı 920-9B210-00FN-0D0 veri sayfasını incelemenizi ve tasarımınızı belirli iş yükünüz ve ölçek gereksinimleriniz için doğrulayacak sertifikalı bir çözüm mimarı ile görüşmenizi öneririz. NVIDIA Mellanox 920-9B210-00FN-0D0 bugün üretimde hazırdır ve bir sonraki nesil yapay zeka ve HPC inovasyonu için yüksek performanslı, ölçeklenebilir bir bağlantı temeli sunar.