NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Teknik Beyaz Kitabı

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Teknik Beyaz Kitabı: RDMA / HPC / AI Klüsterleri için Düşük Gecikme İlişkisini Optimize Etmek

Bu teknik beyaz kitap ağ mimarları, satış öncesi mühendisler ve operasyon yöneticileri için tasarlanmıştır.NVIDIA Mellanox MQM8790-HS2F200Gb/s HDR InfiniBand anahtarı, RDMA hızlandırılmış, yüksek performanslı bilgisayarda (HPC) düşük gecikme bağlantı optimizasyonu için kapsamlı bir çözüm tasarımı sağlar.ve yapay zeka (AI) kümeleriBelge, mimari tasarımı, kilit teknolojileri, dağıtım ve ölçeklendirme stratejilerini, operasyon izlemesini,ve değer değerlendirmesi bir sonraki nesil veri yoğunluklu bilgisayar altyapısı için yeniden üretilebilir bir taslak sunmak.

1Proje Arkaplanı ve Gereksinimleri Analizi

Yapay zeka modeli parametreleri trilyon ölçekli büyüklüklere ulaştıkça ve HPC simülasyonları daha da ince çözünürlük talep ettikçe,Altta yatan ağ dokusu, destekleyici bir bileşenden birincil performans belirleyicisine dönüştüÖrneğin, dağıtılmış eğitim işleri, eğer bağlantı yeterince bant genişliği ve gecikme özelliklerinden yoksunsa, çalışma zamanlarının %40-60'ını toplu iletişim operasyonlarına harcayabilir.Kurumsal BT ekipleri için, bu, doğrudan yapay zeka girişimleri için piyasaya sürme zamanının uzatılmasına ve az kullanılmış GPU yatırımlarına dönüşür.

Kapsamlı müşteri katılımıyla belirlenen temel gereksinimler şunlardır:

• Çok düşük ve öngörülebilir gecikme:Sub-200ns MPI ve RDMA trafiği için kesme geçişleri, en az gerginlikle.
• Bloklama yapmayan verim:Tüm limanlarda aynı anda sürdürülebilir hat hızı performansı, sıcak nokta oluşumunu ve kuyruk gecikme bozulmasını ortadan kaldırır.
• Ağ içi hesaplama:Genel işlemler için donanım hızlandırması (tüm azaltma, yayın, bariyer) ana CPU'ları boşaltmak ve veri hareketini azaltmak için.
• Ölçeklenebilir topoloji desteği:Aşırı anahtar katmanları olmadan yüzlerce ila binlerce düğümden oluşan yağ ağacı, torus veya akrep + topolojileri oluşturma yeteneği.
• Basitleştirilmiş yönetim:Tek bir kumaş izleme, otomatik topoloji keşfi ve operasyonel genel masrafları azaltmak için proaktif hata tespiti.

BuMQM8790-HS2FBu çözüm mimarisi için en iyi yapı bloğu olarak seçildi.MQM8790-HS2F veri sayfası200Gb/s HDR'nin 40 portunu, 130ns altındaki kesme gecikmesini ve yukarıdaki gereksinimlere doğrudan uyum sağlayan SHARP v3.0 ağ içi işlem yeteneklerini desteklemeyi doğruluyor.

2Genel Ağ / Sistem Mimarlığı Tasarımı

Önerilen mimari, 1.200 düğümüne kadar kümeler için iki katlı yaprak omurilik yağ ağacı topolojisini kullanır ve daha büyük dağıtımlar için üç katına kadar genişletme seçeneği vardır.Bu topoloji performansı dengeler, maliyet ve yönetilebilirlik, tam bölme bant genişliği ve kumaş boyunca deterministik gecikme sağlar.

Her bir yaprak anahtarı, NVIDIA ConnectX-6 veya ConnectX-7 HDR ana kanal adaptörleri aracılığıyla 16'ya kadar hesaplama düğümüne bağlanır.MQM8790-HS2F uyumluBu sistem, bağlantı mesafesine bağlı olarak hem aktif optik kabloları (AOC'lar) hem de pasif bakır DAC'ları içeren optik ekosistemdir.MQM8790-HS2F 200Gb/s HDR 40 portlu QSFP56Tasarım, raf alanının verimli kullanımı için 1U form faktörünü korurken raf düzeyinde toplanma için yeterli yoğunluk sağlar.

1200 düğümden fazla kümeler için, ek bir süper omurilik katmanı ile üç katmanlı bir topoloji önerilir.MQM8790-HS2F InfiniBand anahtar çözümüTüm katmanlarda rolünü korur, tasarruf ve yapılandırma yönetimini basitleştirir.

3NVIDIA Mellanox MQM8790-HS2F'nin Rolü ve Anahtar Özellikleri

BuNVIDIA Mellanox MQM8790-HS2FBu mimaride temel anahtarlama unsuru olarak hizmet verir ve aşağıdaki farklılaştırıcı yetenekleri doğrudan düşük gecikme bağlantı optimizasyonunu yönlendirir:

• HDR 200Gb/s port hızı:Karışık hız ortamları için HDR100 (100Gb/s) ile geriye uyumluluğu korurken önceki nesil EDR'nin (100Gb/s) bant genişliğini ikiye katlar ve önceki yatırımları korur.
• 130ns altındaki gecikme ile kesim geçişi:Paketlerin anahtar içinde geçirdiği zamanı en aza indirir, bu da gecikmeye duyarlı RDMA işlemleri ve kolektif iletişim kalıpları için kritiktir.
• SHARP v3.0 ağ içi hesaplama:Ev sahibi CPU'lardan anahtar dokusuna azaltma işlemlerini boşaltır, veri trafiğini% 30'a kadar azaltır ve AI eğitimi için tüm azaltma performansını 2 katına kadar hızlandırır.
• Uyumlu yönlendirme ve tıkanıklık kontrolü:Trafiği yoğun noktalardan kaçınmak için birden fazla yol üzerinde dinamik olarak dağıtır, tıkanıklık bayrakları ve kredi tabanlı akış kontrolü RDMA performansının bir ön koşulu olan kayıpsız işleyişi sağlar.
• Entegre telemetri ve teşhis:Liman başına tampon işgaline, bağlantı hata oranlarına ve trafik kalıplarına ayrıntılı görünürlük sağlar, proaktif optimizasyon ve hızlı hata izole edilmesini sağlar.

AyrıntılıMQM8790-HS2F özellikleri, düğme hem ileri hem de geri hava akışı varyantlarını destekler ve çeşitli veri merkezi soğutma tasarımlarını barındırır.Çifte yedek güç kaynakları ve sıcak değiştirilebilir fan modülleri güvenilirliği ve servis kabiliyetini daha da artırır.

4Uygulama ve genişleme önerileri (Tipik Topoloji ile)

Dengeli ve maliyet etkin bir ilk dağıtım için aşağıdaki en iyi uygulamalar önerilir:

• Düğümden yaprağa bağlantı:200Gb/s HDR kablolarını (< 3m için bakır DAC, < 30m için AOC)MQM8790-HS2F uyumluQSFP56 konektörleri. Ev sahibi kanal adaptörlerinin aynı bağlantı hızı ve FEC ayarları için yapılandırıldığını kontrol edin.
• Yaprak ile omurilik bağlantısı:200Gb/s AOC'ları veya multimod fiber optik alıcıları 100m'ye kadar mesafeler için dağıtmak.MQM8790-HS2FBağlantı parametrelerini otomatik olarak müzakere eder, dağıtımı basitleştirir.
• Aşırı abonelik planlaması:Genel amaçlı AI / HPC iş yükleri için, 2: 1 fazla abonelik oranı (her 200Gb / s yukarı bağlantısı başına iki hesaplama düğümü) maliyet-performans tatlı noktası sağlar.1. bakış1 (tam) fazla abonelik.
• Genişleme yolu:Yeni raflar eklerken, sadece ek yaprak anahtarları yerleştirin ve mevcut omurilik anahtarlarına bağlayın.omurilik katmanını daha yüksek bir kök katmanına yükseltin veya bir süper omurilik katmanı ekleyin.

Değerlendirme sırasındaMQM8790-HS2F fiyatıve toplam sahiplik maliyeti,birleşik mimarinin “tüm kumaş katmanlarında aynı anahtar türünü kullanmanın” çoklu SKU yaklaşımlarına kıyasla yedek parça stok gereksinimlerini yaklaşık %70 oranında azalttığını düşünüyorlar.Bu basitleştirme, olay yanıtını hızlandırır ve donanım arızası sırasında duraklama süresini en aza indirir.

5Operasyon İzleme, Sorun Çözme ve Optimizasyon

Etkili yönetimMQM8790-HS2F InfiniBand anahtarıÇevre, izleme, teşhis ve performans ayarlama için sistematik bir yaklaşım gerektirir.

En iyi uygulamaların izlenmesi:

• Topoloji haritaları, bağlantı başına kullanım ısı haritaları ve gerçek zamanlı gecikme histogramları da dahil olmak üzere merkezi bir kumaş görünürlüğü için NVIDIA'nın Birleşik Kumaş Yöneticisi (UFM) dağıtın.
• Portlar başına hata sayaçlarını –özellikle CRC hatalarını, sembol hatalarını ve bağlantı olaylarını – izleyin, bozulmuş optikleri veya kabloları erken tespit edin.Proaktif bakımı etkinleştirmek için önceden tanımlanmış eşikler için SNMP tuzakları ayarlayın.
• SHARP kolektif işletim verimliliğini anahtarın entegre performans sayaçları aracılığıyla takip etmek, uygulama düzeyinde kolektif iletişim kalıplarını optimize etme fırsatlarını belirlemek.

Genel sorunların giderilmesi:

• Belirli portlardaki CRC hataları:Eğer hatalar devam ederse, kabloyu veya alıcıyı değiştirin.MQM8790-HS2F veri sayfasıLiman başına ayrıntılı teşhis eşikleri sunar.
• Beklenmedik gecikme pikleri:UFM'in trafik akışı analizini kullanarak tıkanıklık sıcak noktalarını kontrol edin. Uyumlu yönlendirmeye bazı trafik kalıpları için yeniden yapılandırma gerekebilir.(minimal olmayan).
• Kumaş bölme sorunları:Düzgün bölüm anahtarı (PKey) ve IPoIB alt ağ yöneticisi yapılandırmalarını güvence altına alın.Ancak çoklu kiracı ortamları için manuel ayarlamalar gerekli olabilir..

Performans optimizasyonu ipuçları:

• Yapay zekâ eğitim iş yükleri için SHARP v3.0'yu etkinleştirin ve anahtarın boşaltma yeteneklerini kullanmak için kolektif iletişim kitaplıklarını (NCCL, OpenMPI) yapılandırın.Bu, büyük mesaj boyutları için 2x'e kadar tüm azaltma gecikmesini azaltabilir.
• Gecikme duyarlı HPC uygulamaları için, öngörülebilir gecikme için bazı yol çeşitliliğini değiştirerek, deterministik yol seçimini uygulamak için uyarlanabilir yönlendirmeyi devre dışı bırakmayı düşünün.
• NVIDIA, performans geliştirmeleri ve güvenlik yamalarını düzenli olarak yayınladığı için periyodik olarak anahtar yazılımını gözden geçirin ve güncelleyin.MQM8790-HS2F veri sayfasısürüm uyumluluk matrisleri için.

6Özet ve Değer Değerlendirme

BuNVIDIA Mellanox MQM8790-HS2FRDMA/HPC/AI kümelerini oluşturan veya yükselten kuruluşlar için zorlayıcı bir değer önerisi sunar.ve 1U içinde ağ içi hesaplama hızlandırması, 40 portlu şasi, anahtar, modern veri yoğunluklu iş yüklerinin en sıkı bağlantı gereksinimlerini karşılar.

Önemli değer sürücüleri şunlardır:

• Performans ölçeklenebilirliği:Çevresinde inşa edilen engelleyici olmayan yağ ağacı mimarisiMQM8790-HS2F 200Gb/s HDR 40 portlu QSFP56düğümler temel topoloji değişiklikleri olmadan 200'den 10.000+ düğümlere kadar ölçeklenir.
• Çalışma verimliliği:Tüm kumaş katmanlarında tek bir anahtar türü yedek malzeme stokunu azaltır, eğitimi basitleştirir ve sorun gidermeyi hızlandırır.
• Yatırım koruması:HDR100 ve EDR ile geri uyumluluk, aşamalı yükseltmelere izin verirken, anahtarın form faktörü ve port yoğunluğu gelecekteki 400G (NDR) yol haritasıyla uyumludur.
• Kanıtlanmış ekosistem:NVIDIA'nın ConnectX adaptörleri, BlueField DPU'ları ve UFM yönetim platformu ile derin entegrasyon, uçtan uca performans öngörülebilirliğini sağlar.

Uygulama için hazır olan kuruluşlar için,Satılık MQM8790-HS2FNVIDIA'nın yetkili dağıtımcılarının küresel ağı aracılığıyla, yerinde yedek parçalar, gelişmiş değiştirme ve firmware güncelleme abonelikleri dahil olmak üzere kapsamlı destek seçenekleri içerir. AyrıntılıMQM8790-HS2F özelliklerive referans tasarımları NVIDIA'nın teknik belge portalı üzerinden mevcuttur ve büyük ölçekli kahverengi alan veya yeşil alan dağıtımları için özel topoloji danışmanlığı sunulmaktadır.