NVIDIA Mellanox MQM8790-HS2F InfiniBand Anahtar Teknik Çözümü

NVIDIA Mellanox MQM8790-HS2F InfiniBand Anahtar Teknik Çözüm | RDMA/HPC/AI Kümeleri için Düşük Gecikmeli Ara Bağlantı Optimizasyonu

1. Proje Arka Planı ve Gereksinim Analizi

Yapay zeka (AI) eğitim kümeleri binlerce GPU'ya ölçeklendikçe ve yüksek performanslı bilgi işlem (HPC) sistemleri üst düzey performansa doğru ilerledikçe, bilgi işlem düğümlerini birbirine bağlayan ağ yapısı kritik bir performans belirleyicisi haline geldi. Bu ortamlarda gecikme yalnızca bir ölçüm değildir; uygulama performansını, çözüm süresini ve genel küme verimliliğini doğrudan etkiler. Büyük ölçüde MPI (Mesaj Aktarma Arayüzü) kolektif operasyonlarına ve hepsi bir arada iletişim modellerine (büyük dil modeli eğitimi, hesaplamalı akışkanlar dinamiği ve kuantum kimyası simülasyonları gibi) dayanan iş yükleri için, mikrosaniye düzeyindeki gecikme artışları bile saatlerce ek çalışma süresine dönüşebilir. Geleneksel Ethernet ağları, Yakınsanmış Ethernet (RoCE) üzerinden RDMA ile bile, bu zorlu uygulamaların gerektirdiği deterministik düşük gecikme süresini ve tıkanıklıksız çalışmayı sağlamakta sıklıkla zorluk çeker.

Bu zorluk, eş zamanlı üç trendle daha da güçleniyor. Birincisi, AI modellerinin büyüyen ölçeği (artık trilyonlarca parametreyi aşıyor), binlerce GPU arasında büyük paralellik gerektiriyor ve minimum gecikme farkıyla yüksek verimi sürdürebilen bir yapı gerektiriyor. İkincisi, HPC ve AI iş yüklerinin yakınsaması, tek bir yapının hem MPI tabanlı iletişim modellerini hem de NCCL tabanlı GPU kolektif operasyonlarını verimli bir şekilde desteklemesi gerektiği anlamına gelir. Üçüncüsü, operasyonel verimlilik, kapsamlı izleme ve otomatik optimizasyon yetenekleriyle yapının uygun ölçekte yönetilebilir olmasını gerektirir. Uygun ölçekte öngörülebilir performans sağlamak için düşük gecikmeli iletim, gelişmiş tıkanıklık yönetimi ve ağ içi bilgi işlem hızlandırma özelliklerine sahip yüksek performanslı bir InfiniBand anahtarından yararlanan yapılandırılmış bir teknik çözüm gereklidir.

2. Genel Ağ / Sistem Mimarisi Tasarımı

Önerilen mimari, omurga-yaprak topolojisini benimser.NVIDIA Mellanox MQM8790-HS2Fbüyük ölçekli yapılar için daha yüksek bağlantı noktası yoğunluklu omurga anahtarlarına (400 Gb/s NDR'nin 64 bağlantı noktasına sahip QM9700 serisi gibi) bağlı yaprak katmanı olarak anahtarlar. Mimari, tam ikiye bölmeli bant genişliği ile engellemesiz iletişimi destekleyecek şekilde tasarlanmıştır ve herhangi bir bilgi işlem düğümünün diğer herhangi bir düğümle çekişme olmadan kablo hızında iletişim kurabilmesini sağlar.

2.000 düğümlü bir kümeye yönelik tipik bir dağıtımda mimari şunları içerir:

• Yaprak Katmanı:20MQM8790-HS2F InfiniBand anahtarıher biri 200 Gb/s HDR'de çalışan 40 QSFP56 bağlantı noktasına sahip üniteler. Her bir yaprak anahtarı 50 hesaplama düğümüne bağlanır (QSFP56 - 2×QSFP56 kablolar aracılığıyla 200 Gb/sn doğrudan bağlantılar ve 100 Gb/sn HDR100 çıkışının bir karışımını kullanarak).
• Omurga Seviyesi:Yapraklar arası bağlantı sağlayan, her biri 64 adet 400 Gb/s NDR bağlantı noktasına sahip 4 QM9700 anahtarı (veya eşdeğer yüksek yoğunluklu anahtarlar).
• Hesaplama Düğümleri:Her düğüm, pasif bakır veya aktif optik kablolar aracılığıyla yaprak anahtarlara bağlanan bir veya daha fazla ConnectX-6 HDR veya ConnectX-7 NDR adaptörüyle donatılmıştır.
• Yönetim Ağı:Merkezi yapı izleme ve optimizasyonu için NVIDIA Unified Fabric Manager (UFM) platformuyla entegre edilmiş, anahtar yönetimine yönelik ayrı bir bant dışı Ethernet ağı.

Mimari şunları kullanır:MQM8790-HS2F 200 Gb/sn HDR 40 bağlantı noktalı QSFP56Anahtar başına 8 TB/s'lik toplam yaprak anahtarlama kapasitesi sağlayacak yapılandırma. HDR100 çıkışının kullanılması esnek bağlantı seçeneklerine olanak tanır: Her 200 Gb/s bağlantı noktası, tek bir 200 Gb/s uç noktasını veya iki 100 Gb/s uç noktasını destekleyerek farklı arayüz hızlarına sahip heterojen bilgi işlem düğümlerini barındırabilir.

3. NVIDIA Mellanox MQM8790-HS2F'nin Çözümdeki Rolü ve Temel Özellikleri

Bu mimari içerisindeMQM8790-HS2FHPC ve AI iş yükleri için gerekli olan gelişmiş özellikleri desteklerken, bilgi işlem düğümlerine düşük gecikme süreli, yüksek bant genişlikli bağlantı sağlayan temel yaprak anahtarı görevi görür. Temel teknik özellikleri genel çözümün başarısı açısından kritik öneme sahiptir:

• 100 nanosaniyenin altında bağlantı noktasından bağlantı noktasına gecikme süresi:Gecikmeye duyarlı MPI toplulukları ve tamamen azaltma işlemleri için gerekli olan deterministik düşük gecikme süresini sunar.
• 40 adet 200 Gb/sn HDR InfiniBand bağlantı noktası:Kompakt 1U form faktöründe 8 TB/s toplam anahtarlama kapasitesi sağlayarak bağlantı noktası yoğunluğunu maksimuma çıkarır ve raf alanı tüketimini azaltır.
• SHARP (Ölçeklenebilir Hiyerarşik Toplama ve Azaltma Protokolü) desteği:CPU/GPU'dan iletişim iş yükünün %20'sine kadar yükünü boşaltarak MPI toplu işlemleri için ağ içi bilgi işlem hızlandırmayı etkinleştirir.
• Uyarlanabilir yönlendirme:Trafiği, gerçek zamanlı tıkanıklık ölçümlerine dayalı olarak mevcut yapı yolları boyunca dinamik olarak dağıtarak verimi optimize eder ve gecikme değişkenliğini en aza indirir.
• Tıkanıklık kontrolü:Ağ etkin noktalarının performansı düşürmesini önlemek için gelişmiş tıkanıklık yönetimi mekanizmalarını (paket düzeyinde akış kontrolü ve tıkanıklık bildirimi dahil) uygular.
• HDR100 çıkış desteği:Her 200 Gb/s bağlantı noktasının iki bağımsız 100 Gb/s bağlantı noktası olarak yapılandırılmasına olanak tanıyarak karma hızlı ortamlar için dağıtım esnekliği sağlar.
• Kapsamlı yönetim arayüzleri:IBTA uyumlu Alt Ağ Yönetimini (SM), SNMP, CLI, Web Kullanıcı Arayüzünü ve merkezi yapı yönetimi için UFM ile entegrasyonu destekler.
• Enerji verimliliği:230 W'ın altındaki tipik güç tüketimi, daha düşük soğutma gereksinimlerine ve geliştirilmiş PUE'ye katkıda bulunur.

Bu özellikler kapsamlı bir şekilde belgelenmiştir.MQM8790-HS2F veri sayfasıRaf düzeni araçlarına entegrasyon için ayrıntılı performans eğrileri, termal özellikler ve mekanik çizimler içeren.

4. Dağıtım ve Ölçeklendirme Önerileri (Tipik Topoloji Açıklamasıyla)

İlk dağıtım için bölme düzeyinde mimariyi temel alan modüler bir genişletme stratejisi öneririz. Her bir bölme, tam ikiye bölme bant genişliği ile yaklaşık 400 hesaplama düğümünü destekleyen 4 yaprak anahtar ve 2 omurga anahtardan oluşur.MQM8790-HS2F InfiniBand anahtar çözümüomurga katmanının birleşik bir yapı için bölmeler arasında bağlantı sağlamasıyla birlikte, işlem kapasitesi arttıkça bölmeler ekleyerek artımlı ölçeklendirmeye olanak tanır.

Tek bir bölme (400 işlem düğümü) için tipik topoloji:

• Yaprak Anahtarları:4 × MQM8790-HS2F, her biri 200 Gb/s hızında 40 bağlantı noktasına sahiptir. Hesaplama düğümü bağlantısı için yaprak başına 36 bağlantı noktası kullanılır (HDR100 koparma kullanılarak yaprak başına 72'ye kadar düğümü destekler), omurga yukarı bağlantıları için yaprak başına 4 bağlantı noktası kullanılır.
• Omurga Anahtarları:2 × QM9700 (veya eşdeğer 64 bağlantı noktalı NDR anahtarları), her biri 4 yaprak anahtarların tümüne 400 Gb/sn uplink aracılığıyla bağlanır (4×200 Gb/s QSFP56 - QSFP-DD kabloları kullanılarak).
• Hesaplama Düğümleri:Her biri tek bir 200 Gb/s veya çift 100 Gb/s HDR100 bağlantısı aracılığıyla bir yaprak anahtara bağlanan 400 düğüm.

Tek bir bölmenin ötesinde ölçeklendirme:

• Bilgi işlem kapasitesinin gerektirdiği şekilde ek bölmeler (her biri 4 yapraklı MQM8790-HS2F anahtarına sahip) ekleyin.
• Ek QM9700 veya NDR anahtarlarını kullanarak bölmeleri daha yüksek katmanlı bir omurga (süper omurga) katmanı aracılığıyla bağlayın.
• kullanarak kumaş tutarlılığını koruyun.MQM8790-HS2Ftüm yaprak konumlarında eşit gecikme ve yönetim sağlar.

Dağıtımı yaparkenMQM8790-HS2FHDR100 ara modunda aşağıdaki kablolama yönergeleri geçerlidir:

2.000 düğümü aşan büyük ölçekli yapılar için, dağıtımdan önce topoloji tasarımını ve tıkanıklık davranışını doğrulamak amacıyla UFM'nin yapı simülasyonu yeteneklerini kullanmanızı öneririz.

5. İşletme ve Bakım: İzleme, Sorun Giderme ve Optimizasyon

MQM8790-HS2F tabanlı InfiniBand yapısının operasyonel yaşam döngüsü, izleme, sorun giderme ve optimizasyona yönelik sistematik bir yaklaşım gerektirir. Yapı performansı, gecikme ölçümleri ve tıkanıklık modellerine ilişkin gerçek zamanlı görünürlük sağlayan NVIDIA UFM platformunu merkezi yönetim ve izleme aracı olarak kullanmanızı öneririz.

İzlenecek temel izleme ölçümleri:

• Bağlantı noktası düzeyinde gecikme:Gecikme eşiklerini aşan bağlantı noktalarına yönelik uyarılarla birlikte yapı genelinde uçtan uca gecikme.
• Verim ve kullanım:Az kullanılan veya aşırı kullanılan bağlantıları belirleyerek toplam ve bağlantı noktası başına aktarım hızı.
• Tıkanıklık göstergeleri:Paket düşüşleri, çerçeveleri duraklatma ve tıkanıklık bildirimi olayları.
• Kumaş sağlığı:Bağlantı durumu, hata sayaçları ve sıcaklık/güç telemetrisi.

Yaygın sorunlara yönelik sorun giderme protokolü:

1. Gecikme bozulması:Artan gecikme yaşayan belirli yolu veya bağlantı noktasını belirlemek için UFM'nin gecikme analizi araçlarını kullanın; uyarlanabilir yönlendirmede tıkanıklık veya yanlış yapılandırma olup olmadığını kontrol edin.
2. Bağlantı hataları veya düşmeler:Fiziksel bağlantıyı (kablolar, optikler) ve bağlantı noktası hata sayaçlarını inceleyin; doğrulayınMQM8790-HS2F uyumlukablolar ve optikler ihtiyaca göre kullanılırMQM8790-HS2F teknik özellikleri.
3. Alt ağ yönetimi sorunları:Alt Ağ Yöneticisinin (SM) çalıştığını ve yapı topolojisinin doğru şekilde keşfedildiğini doğrulayın; SM yük devretme olaylarını kontrol edin.

Optimizasyon önerileri:

• Uyarlanabilir yönlendirme ayarı:Yönlendirme algoritması parametrelerini gözlemlenen trafik modellerine göre ayarlayın; farklı yönlendirme politikalarını üretim yapısına uygulamadan önce simüle etmek için UFM'yi kullanın.
• Tıkanıklık kontrolü yapılandırması:İş yükü özelliklerine göre tıkanıklık kontrol mekanizmalarını (paket ilerleme hızı ve öncelikli akış kontrolü gibi) etkinleştirin ve ayarlayın; AI eğitimi, HPC iş yüklerine kıyasla daha agresif tıkanıklık kontrolünden yararlanır.
• Firmware ve yazılım güncellemeleri:Performans iyileştirmelerine ve yeni özelliklere erişmek için anahtar donanım yazılımını ve UFM yazılımını düzenli olarak güncelleyin.
• Periyodik kumaş denetimleri:Geniş ölçekte operasyonel güvenilirliği sağlamak için düzenli kablolama, güç ve soğutma denetimleri gerçekleştirin.

6. Özet ve Değer Değerlendirmesi

NVIDIA Mellanox MQM8790-HS2Ftabanlı teknik çözüm, RDMA/HPC/AI kümelerinde düşük gecikmeli ara bağlantıyı optimize etmek için kapsamlı, sahada doğrulanmış bir metodoloji sağlar. Kuruluşlar, anahtarın 40 adet 200 Gb/s HDR InfiniBand bağlantı noktası, 100 nanosaniyenin altında gecikme süresi, SHARP ağ içi bilgi işlem ve uyarlanabilir yönlendirme özelliklerinden yararlanarak, yönetimi basitleştirirken ve operasyonel ek yükü azaltırken, ölçekte öngörülebilir performans sağlayan yapılar oluşturabilir.

Karşılaştırılabilir dağıtımlardan elde edilen anahtar değer ölçümleri şunları içerir:

• Gecikme azaltma:100 nanosaniyenin altındaki bağlantı noktaları arasında gecikme süresi, MPI toplu tamamlanma sürelerini önceki nesil yapılara kıyasla %35'e kadar azaltır.
• Uygulama hızlandırma:SHARP ağ içi bilgi işlem yükü, CPU/GPU iletişim yükünü %20'ye kadar azaltır ve yapay zeka eğitim dönemi sürelerini %25-30 oranında hızlandırır.
• Kumaş verimliliği:Uyarlanabilir yönlendirme ve tıkanıklık kontrolü, değişen yük altında tutarlı performansı koruyarak performans değişkenliğini %60'a kadar azaltır.
• Operasyonel basitleştirme:UFM entegrasyonu, kapsamlı görünürlük ve otomasyon sağlayarak yapı olaylarına ilişkin MTTR'yi %50'ye kadar azaltır.
• Maliyet verimliliği:MQM8790-HS2F fiyatıyüksek bağlantı noktası yoğunluğuyla birleştiğinde, alternatif InfiniBand çözümlerine kıyasla bağlantı noktası başına daha düşük maliyet sağlarken, raf alanı ve güç gereksinimlerini de azaltır.

Ağ mimarları ve mühendislik liderleri için MQM8790-HS2F, yeni nesil HPC ve yapay zeka kümeleri için ölçeklenebilir, yüksek performanslı bir temel sunar. Çözüm, özellikle büyük ölçekli GPU hızlandırmalı ortamların yanı sıra 100 Gb/sn'den 200 Gb/sn'ye yükseltme yapan geleneksel HPC merkezlerinin dağıtımını yapan kuruluşlar için önerilir. InfiniBand, NDR (400 Gb/s) ve XDR'ye (800 Gb/s) doğru gelişmeye devam ederken, MQM8790-HS2F'nin HDR100 çıkışına yönelik desteği, gelecekteki hızlara net bir geçiş yolu sağlarken mevcut altyapıyla uyumluluk sağlar.

Ayrıntılı yapı tasarımı şablonları, performans ayarlama kılavuzları ve dağıtım kontrol listeleri için bkz.MQM8790-HS2F veri sayfasıve NVIDIA Mellanox InfiniBand mimarisi belgeleri.