NVIDIA Mellanox 920-9B210-00FN-0D0 Teknik referans: 400Gb/s NDR Düşük gecikme bağlantı optimizasyonu

NVIDIA Mellanox 920-9B210-00FN-0D0 Teknik referans: 400Gb/s NDR RDMA/HPC/AI kümeleri için düşük gecikme bağlantı optimizasyonu

1Proje Arkaplanı ve Gereksinimler Analizi

Yapay zekâ eğitim kümeleri binlerce GPU'dan on binlere kadar ölçeklendikçe ve HPC simülasyonları Exascale performansına yaklaştıkça, ağ bağlantıları bant genişliği, gecikme,ve determinizm200Gb/s HDR'den 400Gb/s NDR'ye geçiş artık isteğe bağlı değildir. Bu, trilyonlarca parametre modelini ve aşırı ölçekli paralel bilişimini dağıtan kuruluşlar için stratejik bir zorunluluktur.Çoklu lider dağıtım ortamlarında, temel gereksinimler şöyle özetlenebilir:

• Deterministik ultra düşük gecikme:MPI ve tüm-herkese kolektif iletişimler, eğitim yakınlaşmasına ilişkin iletişim genel masraflarının etkisini en aza indirmek için 100ns altındaki port-to-port gecikme süresini sürdürmelidir.
• Kayıpsız kumaş:Sıfır paket binlerce uç noktasında düşer, RDMA performansının tıkanıklık altında bozulmamasını sağlar.
• Ağ içi hesaplama yükü:Toplu işlemlerin (tümü azaltma, tümüyle yayın) anahtar dokusuna, sunucu CPU/GPU kaynaklarını serbest bırakmak için boşaltılması.
• Yüksek kök ölçeklenebilirliği:8.000+ düğümde tam bölme bant genişliği ile yağ ağacı ve akrep + topolojileri için destek.
• Yatırım koruması:Aşamalı yükseltmeler için mevcut HDR kabloları, optikler ve yönetim araçlarıyla sorunsuz uyumluluk.

Bu gereksinimleri karşılamak için, bu çözümNVIDIA Mellanox 920-9B210-00FN-0D0Exascale sınıfı dağıtımlar için özel olarak tasarlanmış 400Gb/s NDR InfiniBand anahtarı.

2Genel Ağ Mimarlığı Tasarımı

Önerilen çözüm, iki katmanlı bir yaprak omuriliği topolojisini kullanır, deterministik gecikme ve basitleştirilmiş kablolama ile ölçeklenebilir, engelleme olmayan bir kumaş sunar.Her bir hesaplama rafı bir veya iki adet ile donatılmıştır.920-9B210-00FN-0D0 InfiniBand anahtarı OPNBirimler, OSFP doğrudan bağlı bakır (DAC) veya aktif optik kablolar (AOC) aracılığıyla GPU sunucularına 64 port 400Gb/s NDR bağlantısı sağlıyor.920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRanahtarlar tüm yaprak anahtarlarını birbirine bağlar, tam kesim bant genişliğinde bir yağ ağacı kumaşı oluşturur.

5.000 düğümden fazla kümeler için, üç katlı katlanmış kapalı mimari uygulanabilir,920-9B210-00FN-0D0 ile her seviyede tutarlı bir performans sağlamak için hem yaprak hem de omurga olarak hizmet ediyorDeğiştirici, tek bir alt ağ yöneticisi altında tek bir kumaşta 64'e kadar anahtarı destekler ve büyük ölçekli topolojilerin birleşik kontrolünü sağlar.

Aşağıdaki tablo, 920-9B210-00FN-0D0 etrafında inşa edilen iki katmanlı bir NDR kumaşı için temel ölçekleme parametrelerini özetlemektedir:

3. NVIDIA Mellanox 920-9B210-00FN-0D0'nun Rolü ve Anahtar Özellikleri

Bu mimari içinde,NVIDIA Mellanox 920-9B210-00FN-0D0Bölüm 1'de belirtilen gereksinimleri doğrudan karşılayan birkaç kritik yeteneği sağlayan temel geçiş unsuru olarak hizmet eder:

• 64 port 400Gb/s NDR:Her OSFP portu, güvenilir genişletilmiş erişim bağlantısı için ileri hata düzeltmesi (FEC) ile iki yönlü 400Gb / s'yi destekler.2 Tb/s, en iletişim yoğunluklu iş yükleri için bile geniş bir başlama alanı sağlar.
• Ultra düşük kesim gecikmesi:Port-to-port gecikme süresi 100ns'in altındadır.920-9B210-00FN-0D0 veri sayfası, MPI ve RDMA operasyonları için asgari genel masrafları sağlar.
• Entegre SHARPv3:Ev sahibi CPU'lardan toplu işlemleri boşaltır, büyük ölçekli işlerde tüm azaltma gecikmesini %40'a kadar ve tümüyle %35'e kadar azaltır.
• Uyumlu yönlendirme ve tıkanıklık kontrolü:Hotspot'lardan kaçınmak için trafiği dinamik olarak yönlendirir ve karşıt trafik kalıplarında öngörülebilir performans sağlar.Gelişmiş telemetri, proaktif yönetim için akış ve liman başına görünürlük sağlar.
• Kapsamlı yönetilebilirlik:Sıfır dokunuşlu tedarik, sağlık izleme ve otomatik hata geçiş için NVIDIA'nın Unified Fabric Manager (UFM) ile tam entegrasyon.

Bu920-9B210-00FN-0D0 özellikleriAyrıca ikili fazlalıklı güç kaynaklarını, sıcak değiştirilebilir fan modüllerini ve fazlalıklı alt ağ yöneticisi yapılandırmalarını desteklemeyi vurgulamak, görev kritik iş yükleri için% 99.999 kullanılabilirliği sağlamak.

4. Uygulama ve ölçeklenebilirlik önerileri

Kuruluşlar için920-9B210-00FN-0D0 InfiniBand anahtarı OPN çözümü, aşağıdaki dağıtım kılavuzları önerilir:

• Kablolama stratejisi:OSFP-OSFP DAC kablolarını raf içi bağlantılar için (3 metreye kadar) ve AOC veya optik alıcıları raflar arası ve omurilik bağlantıları için (100 metreye kadar) kullanın.920-9B210-00FN-0D0 uyumluSinyal bütünlüğü sorunlarından kaçınmak için NVIDIA uyumluluk matrisine göre.
• İstihbarat:Tek bir arıza noktasını ortadan kaldırmak için ayrı PDU'lara bağlı çift güç kaynağı kullanın.Omurilik katmanında N + 1 redundansiyi düşünün..
• Firmware yönetimi:Tüm anahtarların aynı NVIDIA firmware sürümlerini çalıştığından emin olun.Yayınlanmadan önce ana bilgisayar adaptörleri ve kabloları ile sabit yazılım uyumluluğunu doğrulayın.
• Ölçeklenebilirlik yolu:4.096 düğümün ötesindeki kümeler için, üç katlı katlanmış kapalı topolojiye geçiş veya uyarlanabilir yönlendirme ile kaldıraç akrep +. 920-9B210-00FN-0D0 tek bir kumaşta 64'e kadar anahtarı destekler,daha büyük dağıtımlar için geçitler üzerinden birbirine bağlı çoklu kumaşlar ile.
• Performans doğrulama:Üretime başlamadan önce, kumaş performansını, OpenFabrics Enterprise Distribution (OFED) performans ölçütlerini kullanarak kapsamlı stres testleri yapın.920-9B210-00FN-0D0 veri sayfasıÖzellikler.

Toplam mülkiyet maliyetini hesaplarken, daha düşük radiksli alternatiflere kıyasla daha az sayıda anahtar katmanı ve basitleştirilmiş kablolamayı dikkate alın.920-9B210-00FN-0D0 fiyatıBirim başına HDR anahtarlarından daha yüksek, port başına maliyet ve GPU başına ağ maliyeti büyük ölçekli dağıtımlarda önemli ölçüde daha düşüktür, bu da Exascale projeleri için uygun maliyetli bir seçim haline getirir.

5. İşlemler, İzleme ve Sorun Çözme

NDR kumaşının etkili bir yönetimi kapsamlı bir izleme ve sorun giderme çerçevesi gerektirir.NVIDIA Mellanox 920-9B210-00FN-0D0Ürün bazlı, şunları sunan:

• Topoloji görselleştirme:Gerçek zamanlı durum güncellemeleri ile tüm anahtarların, bağlantıların ve uç noktaların otomatik keşfi ve grafik temsil edilmesi.
• Performans tablosu:Liman kullanımının, hata oranlarının, tıkanıklık göstergelerinin ve tüm doku boyunca tampon işgalinin gerçek zamanlı görüntüleri.
• Proaktif uyarı:Bağlantı bozulması, sıcaklık anomalileri, güç kaynağı arızası ve kablo aşınması için eşiğe dayalı alarmlar.
• Hata yalıtımı:Kusurlu kabloları, alıcıları veya anahtar portlarını belirleyen ve ortalama çözünme süresini (MTTR) azaltan yönlendirilmiş sorun giderme iş akışları.
• Tarihsel analizler:Eğilim analizi ve kapasite planlaması, proaktif ölçeklendirme kararlarını mümkün kılan tarihsel performans verilerine dayanarak.

Gelişmiş sorun giderme için, döngü testi, BER (bit hata oranı) analizi ve optik modül tanı izleme (DOM) de dahil olmak üzere anahtarın yerleşik teşhis araçlarından yararlanın.Erken NDR dağıtımlarında karşılaşılan yaygın sorunlar, eşit olmayan bağlantı hızlarının neden olduğu optimum olmayan yönlendirmeyi içerir., uyumsuz kablo türleri veya sabit yazılım tutarsızlıkları. uyarlanabilir yönlendirmeyi etkinleştirmek, tüm bağlantıların FEC etkinleştirildiğinde 400Gb / s hızında çalıştığını doğrulamak,Ve tüm anahtarlar arasında tutarlı bir yazılım sağlayarak performans anormalliklerinin çoğunu çözer..

Ağ mühendisleri ayrıca bir temel çizgi oluşturmalıdır920-9B210-00FN-0D0 özellikleriBu değerlendirme aşamasında, beklenen gecikme süresi, işlem hızı ve hata oranları da dahil olmak üzere, bu değerlendirme aşamasındaki sapmalar potansiyel sorunların erken göstergeleri olarak kullanılabilir.920-9B210-00FN-0D0 InfiniBand anahtarı OPNAyrıca mevcut veri merkezi izleme yığınlarıyla entegrasyonu sağlayan syslog ve SNMP üzerinden kapsamlı olay kayıtlarını da destekler.

6Özet & Değer Değerlendirme

Bu920-9B210-00FN-0D0NDR tabanlı HPC ve AI kümelerini oluşturan veya genişleten kuruluşlar için zorlayıcı bir değer önerisi sunar.Kurumsal düzeyde yönetilebilirlik, ve mevcut HDR ekosistemiyle tam uyumluluk – hepsi kompakt bir 1U platformunda.

• Performans:SHARPv3 indirimi ve NDR bant genişliği ile tüm-to-all iletişim gecikmesinde %75'e kadar ve tüm-gecikme gecikmesinde %40'a kadar azaltma.
• Maliyet etkinliği:Büyük ölçekli dağıtımlarda HDR alternatiflerine kıyasla GPU başına daha düşük ağ maliyeti, daha yüksek radiks ve daha az anahtar katmanı sayısına bağlıdır.
• İşlem basitliği:UFM ile derin entegrasyon, birleşik yönetim, otomatik tedarik, proaktif izleme ve hızlı hata çözümü için.
• Yatırım koruması:Mevcut HDR kabloları, optikleri ve yazılım yığınları ile tam uyumluluk, üretim iş yüklerini bozmadan aşamalı yükseltmeleri sağlar.
• Geleceğe dayanıklı ölçeklenebilirlik:Üç katlı katlanmış-Kapatma ve akrep + topolojileri için destek, dokuyu hesaplama talepleri arttıkça 8.000+ düğümlere kadar ölçeklendirebilir.

Önemli değerlendirmeleri yapan kuruluşlar için920-9B210-00FN-0D0 satılıkNVIDIA'nın kanal ortakları aracılığıyla, detaylı920-9B210-00FN-0D0 veri sayfasıve belirli iş yükü ve ölçek gereksinimleri için tasarımı doğrulamak için sertifikalı bir çözüm mimarı ile çalışmak.NVIDIA Mellanox 920-9B210-00FN-0D0Günümüzde üretime hazır olup, yeni nesil AI ve HPC inovasyonu için yüksek performanslı, ölçeklenebilir bir bağlantı temeli sunuyor.