Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Anahtar Teknik Çözümü

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Anahtarı Teknik Çözümü | RDMA/HPC/Yapay Zeka Kümeleri için Düşük Gecikmeli Bağlantı Optimizasyonu

Proje Arka Planı ve Gereksinim Analizi

Yapay zeka büyük model eğitimi ve HPC bilimsel hesaplama daha büyük ayak izlerine ölçeklendikçe, hesaplama kümeleri için temel zorluk tek düğüm hesaplama gücünden düğümler arası iletişim verimliliğine kaymıştır. RDMA ağları, toplu işlemler, depolama erişimi ve kontrol noktası trafiği için taşıma omurgası olarak hizmet eder ve davranışları genel küme kullanımını doğrudan belirler.

Bu projelerdeki tipik gereksinimler şunları içerir:

• Düğüm başına yüksek bant genişliği: GPU sunucuları, çoklu GPU eğitim iş yüklerine ayak uydurmak için giderek daha fazla 200Gb/s veya daha yüksek hızlara ihtiyaç duymaktadır.
• Tahmin edilebilir düşük gecikme: AllReduce ve parametre senkronizasyonu, yalnızca ortalama gecikmeye değil, kuyruk gecikmesine de duyarlıdır.
• Ölçeklenebilirlik: Kumaş, topolojiyi yeniden tasarlamadan onlarca düğümden yüzlerce veya binlerce düğüme kadar büyümek zorundadır.
• Yönetilebilirlik: Operasyon ekipleri, yavaş düğümleri ve yanlış yapılandırılmış bağlantıları izole etmek için telemetri ve tıkanıklık görünürlüğüne ihtiyaç duyar.

MQM8790-HS2F, 200Gb/s HDR InfiniBand anahtar platformu olarak bu gereksinimleri karşılamak üzere konumlandırılmıştır.

Genel Ağ ve Sistem Mimarisi Tasarımı

Önerilen mimari, omurga katmanı MQM8790-HS2F anahtarlarından ve hesaplama ve depolama düğümlerini bağlayan yaprak katmanından oluşan engelsiz iki katmanlı bir fat-tree'dir. Bu tasarım, RDMA trafik modelleri için gerekli olan tekdüze doğu-batı bant genişliği ve tahmin edilebilir yol çeşitliliği sağlar.

Temel mimari kararlar şunları içerir:

• Uçtan uca HDR: ConnectX-6 veya ConnectX-7 adaptörleriyle donatılmış hesaplama düğümleri, MQM8790-HS2F uyumlu bir uçtan uca yol oluşturan yaprak anahtarlarına 200Gb/s hızında bağlanır.
• Omurga kapasitesi: Her MQM8790-HS2F 200Gb/s HDR 40 bağlantı noktalı QSFP56 anahtarı, aşırı abonelik hedeflerine göre esnek yukarı ve aşağı bağlantı tahsisine izin veren 200Gb/s hızında 40 bağlantı noktası sağlar.
• Depolama kumaşı: Paralel depolama ve NVMe-over-Fabrics hedefleri, depolama trafiğini eğitim trafiğinden izole etmek için özel yaprak gruplarına yerleştirilebilir.
• Yönetim düzlemi: Bant dışı yönetim ve telemetri toplama, paraziti önlemek için veri düzleminden ayrılır.

Mellanox (NVIDIA Mellanox) MQM8790-HS2F'nin Rolü ve Temel Özellikleri

Bu çözüme, Mellanox (NVIDIA Mellanox) MQM8790-HS2F, yaprak trafiğini toplayan ve ağ içi hesaplamayı etkinleştiren omurga anahtarlama elemanı olarak görev yapar. Rolü yalnızca iletmekle sınırlı değildir: toplu iletişim yükünü azaltır ve kumaş verimliliğini artırır.

Temel teknik özellikler şunları içerir:

• 40 × 200Gb/s HDR bağlantı noktası: 1U form faktöründe 16Tb/s'ye kadar toplu iş hacmi, HDR, EDR ve FDR hızları için uyarlanabilir destekle.
• SHARP ağ içi hesaplama: AllReduce ve ilgili toplu işlemleri anahtara boşaltır, GPU ve CPU katılımını azaltır.
• Uyarlanabilir yönlendirme: Yoğun noktaları azaltır ve birden çok yol boyunca yük dengelemesini iyileştirir.
• Tıkanıklık kontrolü: Yük altında gecikmeyi sabit tutmak için DCQCN ve ilgili mekanizmaları destekler.
• Yazılım ekosistemi: MLNX-OS tarafından yönetilir ve UFM ve NetQ aracılığıyla izlenir.

Mimarlar, raf düzenlerini sonlandırmadan önce güç, soğutma ve bağlantı noktası bölme ayrıntıları için MQM8790-HS2F veri sayfası ve MQM8790-HS2F özelliklerini incelemelidir. Bütçeleme için, fiyatlandırma ölçeğe ve yapılandırmaya göre değiştiği için MQM8790-HS2F fiyatı ve satılık MQM8790-HS2F seçenekleri tedarik kanalıyla doğrulanmalıdır.

Dağıtım ve Genişletme Önerileri

İlk dağıtım için, tek bir MQM8790-HS2F InfiniBand anahtarı, küçük bir kümede hem omurga hem de çekirdek olarak hizmet edebilir ve 40 düğüme kadar 200Gb/s hızında bağlayabilir. Küme büyüdükçe, ek omurga anahtarları eklenir ve kumaş, yaprak-omurga ayrımı ile tam bir iki katmanlı tasarıma geçer.

Genişletme kılavuzu:

• Kablolama disiplini: Yedeklemeyi basitleştirmek ve uyumluluk riskini azaltmak için QSFP56 optikleri ve DAC/AOC türlerinde standartlaşın.
• Bağlantı noktası bölme: Düğüm başına 200Gb/s'nin gerekli olmadığı yerlerde 2×100Gb/s kırılma kullanın, bağlantı noktası verimliliğini artırın.
• Aşırı abonelik hedefleri: Omurga-yaprak oranlarını yalnızca teorik tepe bant genişliğine göre değil, iş yükü ani desenlerine göre planlayın.
• Güç ve soğutma: Ölçeklendirmeden önce raf başına güç boşluğunu anahtarın derecelendirilmiş çekişine karşı doğrulayın.

Operasyon İzleme, Sorun Giderme ve Optimizasyon

Ölçekte düşük gecikmeyi sürdürmek için operasyonel görünürlük kritiktir. MQM8790-HS2F InfiniBand anahtar çözümü, kumaş genelinde izleme için UFM ve telemetri ve doğrulama için NetQ ile entegre edilmelidir.

Önerilen uygulamalar şunları içerir:

• Hatalar, atılan paketler ve tıkanıklık olayları için düğüm başına sayaçları izleyin.
• Yalnızca iş düzeyindeki başarısızlıklara güvenmek yerine telemetri kullanarak yavaş düğüm adaylarını izleyin.
• Uyumluluk sorunlarını önlemek için tüm anahtarlar ve adaptörler arasında donanım yazılımı tutarlılığını doğrulayın.
• Yanlış yapılandırılmış toplama ağaçları performansı iyileştirmek yerine azaltabileceğinden, SHARP yapılandırmasını periyodik olarak gözden geçirin.

Özet ve Değer Değerlendirmesi

MQM8790-HS2F, tahmin edilebilir düşük gecikme ve yüksek bant genişliği gerektiren RDMA, HPC ve Yapay Zeka kümeleri için pratik bir temel sağlar. 40 × 200Gb/s HDR bağlantı noktası, SHARP ağ içi hesaplama ve olgun bir yönetim ekosistemini birleştirerek, NVIDIA Mellanox MQM8790-HS2F, mimarların verimlilikten ödün vermeden ölçeklenen kumaşlar tasarlamasına yardımcı olur.

Değer perspektifinden, anahtarın katkısı, yalnızca bağlantı noktası sayısına göre değil, küme kullanımına, iş tamamlama süresine ve operasyonel yüke karşı değerlendirilmelidir.