NVIDIA Mellanox 920-9B110-00FH-0D0 Pratikte: HPC ve AI Klüsterleri için Düşük Gecikme RDMA Kumaşlarını Optimize Etmek

NVIDIA Mellanox 920-9B110-00FH-0D0 Pratikte: HPC ve AI Klüsterleri için Düşük Gecikme RDMA Kumaşlarını Optimize Etmek

Arkaplan ve Zorluk: HDR Performansı Bütçe Gerçekliği ile Karşılaştığında

Orta büyüklükte bir yapay zeka araştırma laboratuvarı yakın zamanda tanıdık bir zorlukla karşı karşıya kaldı: mevcut 100Gb/s EDR InfiniBand kumaşları, genişleyen GPU kümeleri için bir sıkıntı haline geliyordu.NVIDIA A100 düğümlerinin sayısı 128'den 512'e çıkmıştı.Büyük ölçekli transformatör modelleri için eğitim süreleri, tüm kısıtlama işlemleri sırasında ağ tıkanıklığı nedeniyle %40'tan fazla arttı.ve ekip, tam 400Gb/s NDR dağıtımı için gerekli olan sermaye harcamaları olmadan önemli performans kazanımları sağlayabilecek bir yükseltmeye ihtiyaç duydu.

Laboratuvar birkaç seçeneği değerlendirdi ve 200Gb/s HDR'yi performans ve maliyet arasında ideal bir denge olarak belirledi.Gelişmiş tıkanıklık kontrolü, ve mevcut HDR uyumlu kabloları ve alıcılarıyla sorunsuz bir entegrasyon.NVIDIA Mellanox 920-9B110-00FH-0D0HDR'nin aşırı tedarik olmadan bol bant genişliği sağladığı ortamlar için özel olarak inşa edilmiş bir anahtar.

Çözüm ve Uygulama: Maliyet Optimize Edilmiş HDR Kumaş

Laboratuvar,920-9B110-00FH-0D0 InfiniBand anahtarı OPN(Ordering Part Number) yeni yaprak omurgası mimarisinin temel taşı olarak.920-9B110-00FH-0D0 MQM8790-HS2F 200 Gb/s HDROSFP-OSFP doğrudan bağlantı kabloları aracılığıyla GPU sunucularına 200Gb/s bağlantı sağlayan 40 port. Omurga katmanında, dört ek 920-9B110-00FH-0D0 anahtarı tüm yaprak anahtarlarını birbirine bağladı.Tam bölme bant genişliği ile engellemez bir yağ ağacı kumaşı oluşturmak.

Bu dağıtımı özellikle etkili kılan anahtarın entegre SHARPv2 (ölçeklenebilir Hiyerarşik Toplama ve Redüksiyon Protokolü) teknolojisidir.Toplu iletişim işlemlerini doğrudan anahtar dokusuna boşaltanBu, pratikte, daha önce önemli bir ev sahibi CPU döngüsü ve ağ bant genişliği tüketen tüm azaltma işlemlerinin,İşlerin tamamlanma sürelerini önemli ölçüde azaltarak artık kumaş boyunca tek bir geçişle tamamlandı..

Buna göre920-9B110-00FH-0D0 veri sayfası, anahtar laboratuvarın performans gereksinimlerine yakın bir şekilde uyum sağlayan 200ns altındaki kesme gecikmesi sağlar.920-9B110-00FH-0D0 uyumluEkosistem, zaten standartlaştırılmış olan tüm kablo türlerini ve optikleri içeriyordu, bu da pahalı kablolama çabalarının gereksizliğini ortadan kaldırıyordu.

Sonuçlar ve Ölçülebilir Kazançlar: Bottleneck'ten Enabler'a

Uygulama sonrasında laboratuvar, birkaç kritik boyutta gelişmeleri ölçtü:

• İşin tamamlanma süresinin azaltılması:13B-parametre modeli için eğitim tekrarları% 35 oranında azaldı ve tipik kolektif boyutlar için tüm azaltma gecikme süresi 12μs'den 5μs'in altına düştü.
• Ağ kullanımı:Değişken yönlendirme ve tıkanıklık kontrol mekanizmaları sayesinde, tıkanıklığa neden olmadan ortalama kumaş kullanım oranı% 58'den% 83'e yükseldi.
• Güç ve soğutma verimi:Önceki EDR kumaşıyla karşılaştırıldığında, yeni HDR altyapısı, laboratuvarın veri merkezi güç bütçesini aşmadan daha fazla hesaplama düğümü eklemesine izin vererek, port başına enerji tüketimini% 30 oranında azaltmıştır.

Toplam mülkiyet maliyeti bakış açısından,920-9B110-00FH-0D0 fiyatıNDR alternatiflerinden önemli ölçüde daha düşüktü, bu da laboratuvarın mevcut bütçeleri dahilinde tüm dokusunu yükseltmesini sağladı.920-9B110-00FH-0D0 özellikleriAyrıca anahtarın çift redundant güç kaynaklarını ve sıcak değiştirilebilir fan modüllerini vurguladı. Bu da laboratuvarın üretim eğitim işleri için 99.999% kullanılabilirlik hedefine katkıda bulundu.

Ağ mühendisleri,920-9B110-00FH-0D0 InfiniBand anahtarı OPN çözümüNVIDIA'nın Unified Fabric Manager (UFM) ile sorunsuz bir şekilde entegre edilmiş, kumaş sağlığına merkezi görünürlük ve otomatik uyarı sağlıyor.Bu, sorun giderme ve proaktif bakım için harcanan zamanı önemli ölçüde azalttı, ekibi ağ yönetimi yerine eğitim boru hatlarını optimize etmeye odaklanmak için serbest bırakıyor.

Özet & Görünüm: Doğru Boyutlu HDR Vakfı

BuNVIDIA Mellanox 920-9B110-00FH-0D0Bu araştırma laboratuvarı için doğru seçim olduğunu kanıtladı, 200Gb/s HDR performansını, iş anlamı veren maliyet yapısına sunarak.Ağ içi hesaplama yetenekleri, ve sağlam yönetim özellikleri ile laboratuvar, ağlarını performans boğazından gelecek büyüme için ölçeklenebilir bir temele dönüştürdü.

920-9B110-00FH-0D0'nun daha büyük topolojileri desteklemesiyle,Ağlarının hesaplama kapasitelerinin yanı sıra büyüyebileceğine inanıyorlar.HDR altyapı seçeneklerini değerlendiren kuruluşlar için,920-9B110-00FH-0D0 satılıkNVIDIA'nın kanal ortakları aracılığıyla performans, yoğunluk ve maliyeti dengeleyen zorlayıcı, üretim doğrulanmış bir çözüm sunuyor.