Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Anahtar Teknik Çözümü

Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch Teknik Çözümü ¢ RDMA/HPC/AI Klüsterleri için Düşük Gecikme İlişkileri Optimizasyonu

Bu teknik beyaz kitap,Mellanox (NVIDIA Mellanox)InfiniBand anahtarı: Ağ mimarları, satış öncesi mühendisler ve operasyon liderleri için hazırlanmıştır.MQM9790-NS2FYeni nesil HPC ve AI altyapıları için belirleyici ultra düşük gecikme, kayıpsız RDMA ve ölçeklenebilir bant genişliği sunar.en iyi operasyonel uygulamaları, ve performans doğrulama.

1Proje Arkaplanı ve Gereksinimler Analizi

Modern yapay zeka eğitimi ve bilimsel simülasyon iş yükleri, mikrosaniye altındaki titreşimle büyük tüm azaltma, tüm toplama ve nokta-noktadan iletişim kalıplarını sürdürebilen ağ kumaşlarını gerektiriyor.Geleneksel Ethernet tabanlı çözümler, RoCEv2 ile bile sıkışıklık yönetimi, PFC ayarlama ve kuyruk gecikme kontrolünde karmaşıklık getirir, genellikle verimsiz GPU kullanımı ve öngörülemeyen iş tamamlama sürelerine yol açar.

Tipik HPC/AI projelerinde belirlenen temel gereksinimler şunlardır:

• Son-son gecikme süresi < 1 μs (tam yük altında port-port geçiş)
• Kayıpsız kumaş, tıkanıklık nedeniyle paket düşüşü yok
• Mimarlık değişiklikleri olmadan 64'ten 2.000'den fazla GPU düğümüne kadar ölçeklenebilirlik
• Zengin telemetri ve otomatik hata kurtarma ile basitleştirilmiş işlemler

BuNVIDIA Mellanox MQM9790-NS2FNDR 400 Gb / s teknolojisini, uyarlanabilir yönlendirmeyi ve ağ içi bilişimi 1U, 64 portlu bir OSFP platformuna entegre ederek bu talepleri doğrudan karşılar.

2Genel Ağ / Sistem Mimarlığı Tasarımı

Tavsiye edilen mimari, tam bölme bant genişliği ve yüksek esneklik sağlamak için iki katlı bir yaprak omuriliği (veya yağ ağacı) topolojisini benimser.her raf için iki tane barındırmaMQM9790-NS2F InfiniBand anahtarlarıOmurilik katmanı, tüm yaprak anahtarlarından gelen trafiği toplar ve herhangi iki uç noktası arasında engellemeyen iletişimi sağlar.

BuMQM9790-NS2F 400Gb/s NDR 64-portlu OSFPswitch hem yaprak hem de omurga olarak hizmet eder, kumaş boyunca tekdüze donanım sunar tasarruf ve bakımı basitleştirir.Tipik bir tasarım 16 yaprak anahtarı (her biri 64 GPU'yu bağlar) ve 8 omurilik anahtarı kullanır, hepsi 400G optik veya DAC kabloları üzerinden birbirine bağlıdır. Kumaş, hem fat-tree hem de Dragonfly + topolojilerini destekler.

3. Rol ve Anahtar ÖzelliklerMellanox (NVIDIA Mellanox)Çözümde

BuNVIDIA Mellanox MQM9790-NS2FBu çözümün temel taşıdır ve şunları sağlar:

• 64 OSFP bağlantısıHer biri 400 Gb/s (NDR) ¢ toplam 25,6 Tb/s'lik anahtarlama kapasitesi ile 600 ns'den daha düşük bir kesme gecikmesi ile çalışır.
• Uyumlu Yönlendirme¢ her paket için en az tıkanık yolu dinamik olarak seçer, hotspot bağlantılarından kaçınır ve asimetrik trafik kalıplarında bile tutarlı gecikme süresi korur.
• SHARPv3 (ölçülebilir Hiyerarşik Toplama ve Redüksiyon Protokolü)¢ ev sahibi CPU'lardan kolektif iletişimi (all-reduce, broadcast) boşaltır, ağ sohbetini azaltır ve AI eğitimini %20-30'a kadar hızlandırır.
• Ağ içi hesaplama• Veri azaltımı, segmentasyonu ve hatta küçük ölçekli MPI işlemlerini doğrudan anahtar üzerinde destekler, değerli GPU kaynaklarını hesaplama için serbest bırakır.
• Telemetri ve tıkanıklık yönetimi✓ UFM veya REST API'leri aracılığıyla ihraç edilebilen her bir yol seviyesindeki gecikme ölçümleri, akış başına sayaçlar, tampon işgal histogramları ve tüm gelişmiş izleme dahil olmak üzere yerleşik.

Bu yeteneklerMQM9790-NS2F InfiniBand anahtar çözümüİç benchmarklar ve müşteri dağıtımları ile onaylanan ölçekte belirleyici performans sunmak için.MQM9790-NS2F özellikleriAyrıca, hem pasif bakır DAC'ları hem de aktif optik modülleri desteklemeyi de içerir ve 100 m'ye kadar (400G SR4 optikleri ile) ve daha fazla mesafe için esneklik sağlar.

4Uygulama ve ölçeklendirme tavsiyeleri (Tipik Topoloji)

Yeşil alan kullanımı için, aşağıdaki aşamalı yaklaşımı öneririz:

• Fase 1 Pilot:2 yaprak anahtarı kullanın (her biriMQM9790-NS2F128 GPU'yu bağlayan 2 omurilik anahtarı.MQM9790-NS2F veri sayfasıparametreler.
• 2. aşama “Scale-out:Aşırı aboneliği korumak için gerekirse, raf başına 2'lik artışlarla yaprak anahtarları ve omurilik anahtarlarını ekleyin:1. 64 port yoğunluğu, tek bir anahtarın 64 GPU düğümünden oluşan tam bir rafın barındırılmasına izin verir (eğer her düğümün tek bir 400G yukarı bağlantısı varsa).
• Aşama 3 ¢ Çoklu düzlem:2000 düğümden fazla kümeler için, rota tabanlı yük dengeleme ile birden fazla bağımsız kumaş (örneğin, 2 × veya 4 × uçak) uygulamak,Switch'in sanal yollar ve bölüm anahtarları için desteğinden yararlanmak.

Tipik kablolama, rak içi bağlantılar için OSFP-OSFP DAC'ları (≤3 m) ve omurilik yaprakları mesafeleri için OSFP-to-400G SR4 optik modülleri 100 m'ye kadar kullanır.MQM9790-NS2F uyumluTransceiverler, sorunsuz interoperabiliteyi sağlayan NVIDIA'nın optik satıcı ekosistemi ile onaylanmıştır.

5İşlemler, İzleme, Hata Tanısı ve Optimizasyon

Etkili operasyonlar, üretimde düşük gecikme sürelerini korumak için çok önemlidir.NVIDIA UFM (Birleştirilmiş Kumaş Yöneticisi)Şöyle diyor:

• Gerçek zamanlı gösterge paneliPort başına bant genişliği, hata sayaçları ve tıkanıklık ısı haritaları.
• Otomatik yol yeniden optimizasyonuBir bağlantı bozulduğunda veya arızalanınca, UFM, operatör müdahalesi olmadan rotaları yeniden hesaplar ve uyarlanabilir yönlendirme tablolarını yeniden yapılandırır.
• Tarihi telemetri️ ölüm sonrası analiz ve kapasite planlaması için gecikme ve akış verilerini depolar.

Önerilen sorun giderme iş akışı:

1. Port duraklama çerçevelerini ve atışlarını izleyin ️ sıfır atış beklenir; herhangi bir atış yanlış yapılandırmayı veya hatalı optik gösterir.
2. UFM'nin toplu istatistikleri aracılığıyla SHARPv3 işleyişini doğrulayın. Azaltma işlemlerinin boşaltılmasını sağlayın.
3. Dahili teşhis araçlarını kullanın (örneğin,İbdiagnet,İbstatus) bağlantı bütünlüğünü ve sinyal bütünlüğünü kontrol etmek için.

Optimizasyon için, uyarlanabilir yönlendirme algoritması eşiğini (örneğin, yük algılama aralığı) iş yükü kalıplarına göre ayarlayınMQM9790-NS2F InfiniBand anahtarıDüzenli yazılım güncellemeleri (NVIDIA'nın destek portalı üzerinden kullanılabilir) performans geliştirmeleri ve güvenlik yamalarını içerir.

6Özet & Değer Değerlendirme

BuMellanox (NVIDIA Mellanox)RDMA/HPC/AI kümeleri için geleceğe dayanıklı, yüksek performanslı bir temel sunar. 400 Gb/s NDR hızı, 64 port yoğunluğu ve akıllı ağ içi hesaplamayı birleştirerek,Geleneksel engelleri ortadan kaldırır ve ekzascale sınıfına kadar doğrusal ölçeklenebilirlik sağlarÇözüm, port başına daha düşük güç (≈1,5 W), basitleştirilmiş kablolama ve SHARP yüklenmelerinden kaynaklanan CPU genel masraflarını azaltarak toplam sahip olma maliyetini azaltır.

Önemli değerlendirmeleri yapan kuruluşlar içinMQM9790-NS2F fiyatı, yatırım, GPU kullanımındaki ölçülebilir artışlarla (genellikle üretimde% 90'ı aşan) ve RoCEv2 kumaşlarına kıyasla iş tamamlama sürelerinin% 40'a kadar azalması ile haklı çıkar.MQM9790-NS2F veri sayfasıveMQM9790-NS2F özelliklerikapsamlı ayrıntılar sunar ve üniteler kolayca kullanılabilir (Satılık MQM9790-NS2FAyrıca, anahtarın mevcut NVIDIA adaptörleriyle uyumluluğu, Mellanox ekosistemine zaten yatırım yapan kullanıcılar için sorunsuz bir göç yolunu sağlar.

Özetle, bu teknik çözüm,MQM9790-NS2F InfiniBand anahtarıEn zorlu düşük gecikme bağlantı gereksinimlerini karşılayan sağlam, operasyonel olarak verimli bir kumaş sunar.