NVIDIA Mellanox 920-9B210-00FN-0D0 Pratikte: Trilyon Parametreli Yapay Zeka kümeleri için düşük gecikme NDR kumaşı inşa etmek

NVIDIA Mellanox 920-9B210-00FN-0D0 Pratikte: Trilyon Parametreli Yapay Zeka kümeleri için düşük gecikme NDR kumaşı inşa etmek

Background & The Challenge: HDR Trillion-Parameter Modelleri'ne Uygun Olduğunda

Önde gelen bir yapay zeka araştırma kuruluşu, yakın zamanda eğitim zaman çizelgesini 1'e sıkıştırmak amacıyla büyük dil modeli eğitim kümesini 1.024'ten 4.096 NVIDIA H100 GPU'sına yükseltti.8 trilyonluk bir parametreye sahip olan MoE modeli (Ustaların Karışımı) aylardan iki haftaya kadarBununla birlikte, ilk doğrulama sırasında, ekip mevcut 200Gb/s HDR kumaşlarında tümüyle iletişim aşamasında ciddi tıkanıklık gözlemledi.GPU kullanımının beklenen %85'ten sadece %52'ye düşmesine neden olmakla birlikte, iddialı eğitim zamanlamasını karşılamak için gerekli eşiğin çok altında.

Ağ analizi, MoE mimarilerine özgü olan tüm-herkese kolektif işlemlerin,HDR bağlantılarını doyuruyordu ve gecikmeyi daha da artıran tıkanıklık kontrol mekanizmalarını tetikliyordu.Organizasyonun deterministik bir yapıya ihtiyacı vardı.Binlerce uç noktasında mikro saniyeden küçük bir gecikme süresi, performans çöküşü olmadan trafik patlamalarını absorbe etmek için bant genişliği önünü sağlarkenBu tam olarakNVIDIA Mellanox 920-9B210-00FN-0D0Konuyu ele almak için tasarlanmıştı.

Çözüm ve Uygulama: Exascale AI için 400Gb/s NDR Kumaş

Organizasyon,920-9B210-00FN-0D0 InfiniBand anahtarı OPN(Sorunlama Parça Numarası) yeni iki katmanlı yaprak omurilik kumaşının temeli olarak.920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRanahtarlar, OSFP-OSFP aktif optik kablolar aracılığıyla raftaki 64 çift portlu H100 sunucusuna 400Gb/s bağlantısı olan 128 port sağlıyor.16 ek 920-9B210-00FN-0D0 anahtarı birbirine bağlanmış tüm yaprak anahtarları, omurilik katmanı başına 51.2 Tb/s tam bölme bant genişliği ile engellemez bir yağ ağacı oluşturur.

Bu çözümü özellikle çekici yapan anahtarın entegre SHARPv3 (ölçeklenebilir Hiyerarşik Toplama ve Azaltma Protokolü) teknolojisidir.Herkese iletişimi doğrudan anahtar dokusuna indirildi., anahtarların ağ içi veri azaltma ve yeniden dağıtımını gerçekleştirmesiyle.Daha önceki HDR dağıtımındaki iletişim masraflarını önemli ölçüde azalttı..

Buna göre920-9B210-00FN-0D0 veri sayfası, anahtar, kavram kanıtlama aşamasında doğrulanmış olan 100ns altındaki kesme gecikmesi sağlar.920-9B210-00FN-0D0 uyumluEkosistem, satın alma gecikmelerini ortadan kaldırarak zaten nitelikli olan tüm OSFP optiklerini ve kablolarını içeriyordu.920-9B210-00FN-0D0 özellikleri-Çift redundant güç kaynakları ve sıcak değiştirilebilir fanlar dahil olmak üzere, ekip, üretim kümesi için 99.999% kullanılabilirlik hedefine ulaşma konusunda güven verdi.

Sonuçlar ve Ölçülebilir Kazançlar: Bottleneck'ten Enabler'a

Tam NDR dokusu konuşlandırıldıktan ve MEA eğitim işi yeniden başlatıldıktan sonra, organizasyon çok boyutlu dönüştürücü iyileştirmeleri ölçtü:

• GPU kullanımı kurtarma:Ortalama GPU kullanım oranı %52'den %89'a yükseldi ve en yüksek kullanım oranı, ağ kaynaklı duraklamaların ortadan kaldırılmasının doğrudan bir sonucu olarak, hesaplama yoğunluklu aşamalarda %94'e ulaştı.
• Hepsinden fazla gecikme azaltımı:4.096 GPU'da tam bir herşeyden herşeye değişim için gereken zaman 180ms'den 45ms'in altına düştü, bu da doğrudan daha hızlı eğitim tekrarlarına çevrilen% 75'lik bir iyileşme.
• İşin tamamlanma süresi:1.8T MoE modeli için öngörülen eğitim zaman çizelgesi, hem piyasaya sürme hem de bulut bilişim maliyetlerini önemli ölçüde azaltan% 36 hızlandırma ile 14 günden sadece 9 güne düşürüldü.
• Çalışma verimliliği:Bir anahtar başına 64 port ile, 40 portlu HDR tasarımına kıyasla gereken omurilik anahtarlarının sayısı% 37 oranında azalmış, kablolama basitleştirilmiş ve rak başına enerji tüketimini% 28 oranında azaltılmıştır.

Toplam mülkiyet maliyeti bakış açısından, organizasyonun finans ekibi,920-9B210-00FN-0D0 fiyatıHDR alternatifinden daha yüksek olduğu için, GPU başına ağ maliyeti, daha yüksek radiks ve daha az anahtar katmanı sayısına bağlı olarak düştü.Bu, dramatik performans artışlarıyla birleşti., NDR'nin yükseltilmesini açık bir iş kazancı yaptı.920-9B210-00FN-0D0 InfiniBand anahtarı OPN çözümüAyrıca mevcut NVIDIA UFM dağıtımı ile sorunsuz bir şekilde entegre oldular. Merkezi görünürlük ve otomatik uyarı sağlayarak operasyonel genel masrafları% 40 oranında azaldılar.

Özet & Bakış Açısı: Yeni Nesil Yapay Zeka için NDR Vakfı

BuNVIDIA Mellanox 920-9B210-00FN-0D0Bu yapay zeka araştırma organizasyonunun 4096 GPU H100 kümesinin tüm potansiyelini açığa çıkarmak için ihtiyacı olan dönüştürücü çözüm olduğunu kanıtladı.ve SHARPv3 ağ içi hesaplama, geçiş, performans veya yönetilebilirliği tehlikeye atmadan 1.024'ten 4.096 GPU'ya ölçeklendirilmelerini sağladı.

Önümüze bakarak, kuruluş önümüzdeki 18 ay içinde 8.192 GPU'ya genişlemeyi planlıyor.920-9B210-00FN-0D0 satılıkYeni nesil AI ve HPC ağ yatırımlarını değerlendiren kuruluşlar için,920-9B210-00FN-0D0 kanıtlanmış bir, düşük gecikme RDMA bağlantı optimizasyonunu eksascale'de sağlayan üretime hazır bir çözümdür.