NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Teknik Çözüm

Bu teknik beyaz kağıt, ağ mimarları, satış öncesi mühendisler ve operasyon liderleri için tasarlanmıştır.   port başına sayaçlar, tampon doluluk histogramları ve tıkanıklık günlükleri sağlar. Performans düşüşü durumunda, uyarlanabilir yönlendirme yapılandırmasını kontrol edin, tüm kumaş bağlantılarının simetrik olduğundan emin olun ve SHARP toplamasının desteklenen toplu işlemler için etkinleştirildiğini doğrulayın. — 400Gb/s NDR InfiniBand anahtarı — üzerine odaklanmaktadır ve özellikle RDMA/HPC/Yapay Zeka kümesi düşük gecikmeli ara bağlantı optimizasyonu için mimari tasarım, temel teknolojiler, dağıtım ve ölçeklendirme ile operasyonlar ve izleme konusunda ayrıntılı rehberlik sağlar.

1. Proje Arka Planı ve Gereksinim Analizi

Modern Yapay Zeka eğitimi ve HPC iş yükleri, kümeleri binlerce ila on binlerce GPU'ya doğru itmektedir. Bu tür ortamlarda, ağ ara bağlantısı birincil darboğaz haline gelmiştir. Geleneksel Ethernet kumaşları kuyruk gecikmesi ve CPU yükü ile mücadele ederken, eski InfiniBand dağıtımları yeterli port yoğunluğu ve bant genişliğinden yoksun olabilir. Temel gereksinimler arasında mikrosaniye altı anahtarlama gecikmesi, paket kaybı olmadan tam hat hızı iletimi, verimli RDMA desteği ve yüzlerce anahtara sorunsuz ölçeklenebilirlik yer alır. NVIDIA Mellanox MQM9790-NS2F NDR 400Gb/s yeteneği ve gelişmiş ağ içi bilgi işlem özellikleriyle bu ihtiyaçları doğrudan karşılar.

2. Genel Ağ ve Sistem Mimari Tasarımı

Önerilen mimari, iki katmanlı bir Fat-Tree (katlanmış Clos olarak da bilinir) topolojisini benimser, bu da bisection bant genişliği, maliyet ve ölçeklenebilirlik arasında denge sağlar. Yaprak katmanında, ConnectX-7 NDR adaptörleriyle donatılmış GPU sunucuları yaprak anahtarlarına bağlanır. Omurga katmanında, MQM9790-NS2F InfiniBand anahtarı birimleri yapraklar arasında engelsiz bağlantı sağlar. Bu tasarım, tam bisection bant genişliğini garanti eder: herhangi bir yaprak anahtarı, diğer herhangi bir yaprakla hat hızıyla iletişim kurabilir. Büyük ölçekli kümeler için, on binlerce GPU düğümünü destekleyen üç katmanlı bir topoloji (yaprak-omurga-süper omurga) dağıtılabilir.

• Yaprak anahtarları: Her biri 32 sunucuya (çift portlu) ve omurgalara giden bağlantılara bağlanan 64 portlu OSFP modelleri.
• Omurga katmanı: MQM9790-NS2F 400Gb/s NDR 64 portlu OSFP anahtarları, her port bir yapraktan gelen bir uplink olarak görev yapar. Tamamen engelsiz bir tasarım, omurga portlarının yaprak anahtarlarının sayısına eşit olmasını gerektirir.
• Alt ağ yönetimi: Özel veya yedekli bir alt ağ yöneticisi yol hesaplaması, uyarlanabilir yönlendirme ve hata devralma işlemlerini yönetir.

3. Çözümde NVIDIA Mellanox MQM9790-NS2F'nin Rolü ve Temel Özellikleri

Çekirdek omurga ve isteğe bağlı yaprak cihazı olarak port başına sayaçlar, tampon doluluk histogramları ve tıkanıklık günlükleri sağlar. Performans düşüşü durumunda, uyarlanabilir yönlendirme yapılandırmasını kontrol edin, tüm kumaş bağlantılarının simetrik olduğundan emin olun ve SHARP toplamasının desteklenen toplu işlemler için etkinleştirildiğini doğrulayın. birkaç kritik yetenek sunar:

• 400Gb/s NDR hat hızı performansı: 64 OSFP portunun her biri tam çift yönlü 400Gb/s hızında çalışır ve toplam 51.2Tb/s anahtarlama kapasitesi sağlar.
• Ultra düşük gecikme ve uyarlanabilir yönlendirme: Kesme anahtarlama, porttan porta gecikmeyi 130ns'nin altında tutar. Uyarlanabilir yönlendirme, trafiği dinamik olarak birden fazla yol arasında dengeler ve sıcak noktaları önler.
• Ağ içi bilgi işlem (SHARPv3): Ölçeklenebilir hiyerarşik toplama ve azaltmayı destekler, toplu işlemleri CPU/GPU'dan boşaltır ve veri hareketini 10 kata kadar azaltır.
• RDMA-yerel tasarım: Donanım hızlandırmalı RDMA, CPU müdahalesini ortadan kaldırarak iletişim yükünü önemli ölçüde düşürerek doğrudan GPU bellek erişimini sağlar.
• Kapsamlı telemetri ve QoS: Hassas trafik kontrolü, tampon izleme ve akış sınıflandırması, karışık iş yükleri için deterministik performans sağlar.

MQM9790-NS2F veri sayfasına ve uyumluluk kılavuzlarına bakın. Özelleştirilmiş bir tasarım görüşmek veya 4. Dağıtım ve Ölçeklendirme Önerileri (Tipik Topoloji ile)

Tipik bir 2.048 GPU'luk küme, 64 yaprak anahtarı ve 32 omurga anahtarı kullanılarak oluşturulabilir. Her yaprak, 32 GPU sunucusuna (çift portlu) bağlanır ve omurgalara 32 uplink sağlar. Omurga katmanı, NDR optikleri veya DAC kabloları çalıştıran

MQM9790-NS2F uyumlu birimlerden oluşur. 8.192 GPU'ya genişletme için, birden fazla podu birbirine bağlayan bir süper omurga katmanı eklenir.Ölçeklendirme yaparken şunları göz önünde bulundurun:

Kablolama ve optikler:

• Kısa raf içi bağlantılar için OSFP-OSFP DAC'leri ve daha uzun mesafeler için OSFP-4xOSFP ayırma kabloları veya optik modüller kullanın. Menzil ve güç bütçesiyle ilgili MQM9790-NS2F spesifikasyonları ile uyumluluğu doğrulayın.Alt ağ boyutlandırma:
• Tek bir alt ağ yöneticisi 2.000 düğüme kadar yönetebilir; bunun ötesinde, birden fazla alt ağ dağıtın veya dağıtılmış bir alt ağ yöneticisi tasarımı kullanın.Yedeklilik:
• Çift bağlı sunucular ve yedekli omurga anahtarları tek hata noktalarını ortadan kaldırır. MQM9790-NS2F InfiniBand anahtar çözümü zorlu RDMA/HPC/Yapay Zeka kümeleri için düşük gecikmeli, yüksek bant genişlikli kumaşlar oluşturmak için net bir yol sunar. 64 portlu 400Gb/s yoğunluğu, mikrosaniye altı anahtarlaması ve ağ içi bilgi işlem yetenekleri, modern iş yüklerinin ölçeklenebilirlik ve performans zorluklarını doğrudan ele alır. Yukarıda belirtilen mimariyi — Fat-Tree topolojisi, NDR çekirdek anahtarları ve RDMA-yerel operasyon — benimseyerek, kuruluşlar doğrusal GPU ölçeklendirmesi elde edebilir, iş tamamlama sürelerini %30'dan fazla azaltabilir ve kumaş yönetimini basitleştirebilir. Ayrıntılı planlama için resmi 5. Operasyonlar, İzleme, Sorun Giderme ve Optimizasyon

Etkili operasyonlar görünürlük ve otomasyon gerektirir. Aşağıdaki uygulamalar önerilir:

İzleme:

• Port hatalarını, sıcaklığı, güç tüketimini ve bağlantı kullanımını izlemek için NVIDIA'nın Fabric Manager ve telemetri API'lerini kullanın. Eşik değerlerini aşan CRC hataları veya sembol hataları için uyarılar ayarlayın.Sorun giderme:
• MQM9790-NS2F port başına sayaçlar, tampon doluluk histogramları ve tıkanıklık günlükleri sağlar. Performans düşüşü durumunda, uyarlanabilir yönlendirme yapılandırmasını kontrol edin, tüm kumaş bağlantılarının simetrik olduğundan emin olun ve SHARP toplamasının desteklenen toplu işlemler için etkinleştirildiğini doğrulayın.Optimizasyon:
• İş yüküne (örneğin, gecikmeye duyarlı mı yoksa verime duyarlı mı) göre uyarlanabilir yönlendirme parametrelerini ayarlayın. Büyük Yapay Zeka modelleri için, tıkanıklık kontrolünü etkinleştirin ve PFC kilitlenmelerini önlemek için tampon sınırlarını ayarlayın. Kapasite eklemeleri planlarken MQM9790-NS2F fiyatı ve kullanılabilirliği hakkında bilgi almak için lütfen yetkili bir NVIDIA ortağıyla iletişime geçin.Satış için

MQM9790-NS2F değerlendiren kuruluşlar için, yazılım yığınınızın (örneğin, NCCL, OpenMPI) SHARPv3 ve donanım tabanlı azaltma gibi NDR özelliklerini desteklediğinden emin olun.6. Özet ve Değer Değerlendirmesi

MQM9790-NS2F InfiniBand anahtar çözümü zorlu RDMA/HPC/Yapay Zeka kümeleri için düşük gecikmeli, yüksek bant genişlikli kumaşlar oluşturmak için net bir yol sunar. 64 portlu 400Gb/s yoğunluğu, mikrosaniye altı anahtarlaması ve ağ içi bilgi işlem yetenekleri, modern iş yüklerinin ölçeklenebilirlik ve performans zorluklarını doğrudan ele alır. Yukarıda belirtilen mimariyi — Fat-Tree topolojisi, NDR çekirdek anahtarları ve RDMA-yerel operasyon — benimseyerek, kuruluşlar doğrusal GPU ölçeklendirmesi elde edebilir, iş tamamlama sürelerini %30'dan fazla azaltabilir ve kumaş yönetimini basitleştirebilir. Ayrıntılı planlama için resmi MQM9790-NS2F veri sayfasına ve uyumluluk kılavuzlarına bakın. Özelleştirilmiş bir tasarım görüşmek veya MQM9790-NS2F fiyatı ve kullanılabilirliği hakkında bilgi almak için lütfen yetkili bir NVIDIA ortağıyla iletişime geçin.