Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Anahtarı Uygulamada

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Switch uygulamada.

Arka plan ve zorluklar: Kluster ölçeği birbirine bağlanmanın sıkıntılarıyla karşılaştığında

Önde gelen bir internet şirketinin yapay zeka araştırma bölümü kendini tanıdık bir kavşakta buldu.Büyüyen GPU sunucuları filosunun “çok rak'ı kapsayan ve büyük dil modeli eğitimi için giderek daha fazla kullanılan “büyük filoları, öngörülemeyen iş tamamlama sürelerinden muzdaripti.Mevcut Ethernet tabanlı yapı, genel amaçlı iş yükleri için yeterli olsa da, dağıtılmış eğitimin senkronize edilmiş, patlayıcı trafik kalıplarını kaldıramadı.Tüm azaltma operasyonları düzenli olarak paket düşüşleri ve içsel tıkanıklık nedeniyle durduracaktır.Altyapı ekibinin arka uç ağının RDMA trafiğini nasıl işlediğine temel bir değişikliğe ihtiyacı vardı.Ve tüm veri merkezi mimarisini yeniden düzenlemeden buna ihtiyaç duydular..

Çözüm Tasarımı: 920-9B210-00FN-0D0 InfiniBand Switch OPN'nin dağıtımı

Çoklu bağlantı seçeneklerini değerlendirdikten sonra, ekipMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0Yeni arka uç dokusunun temel taşı olarak. dağıtım, her bir yaprak anahtarının 400Gb / s bağlantıları üzerinden 40'a kadar GPU düğümüne bağlanması ile iki katlı bir yaprak omurilik topolojisi etrafında odaklandı.920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRVariant, engelleme olmayan mimarisi ve entegre SHARPv3 ağ içi işlem yetenekleri için özel olarak seçildi.Bu, ekibin toplu iletişim işlemlerini doğrudan anahtar dokusuna indirmesini sağladı., CPU genel masraflarını azaltır ve gerçek hesaplama için GPU döngülerini serbest bırakır.

Fiziksel dağıtım açısından, anahtarlar mevcut sıcak koridor/soğuk koridor yapılandırmasına uymak için önden arkaya hava akışı ile kuruldu.920-9B210-00FN-0D0 veri sayfasıGüç ve soğutma gereksinimlerini doğrulamak için, mevcut güç dağıtım ünitelerine kesintisiz entegrasyon sağlamak. Kablolama, QSFP-DD alıcıları kullanarak tutarlı tutuldu.920-9B210-00FN-0D0 uyumlu100 metreye kadar uzanan omurilikten yaprağa bağlantılar dahil olmak üzere tüm bağlantı bütçesi boyunca doğrulanmış optikler.

Uygulama Yaklaşımı: Adım Adımlı Entegrasyon

• 1. aşama √ Laboratuvar Validasyonu:Gecikme ve işlem hızını ölçmek için 8 GPU düğümünden ve iki anahtarından oluşan küçük ölçekli bir test yatağı kullanıldı.NVIDIA Mellanox 920-9B210-00FN-0D0Alt-600ns anahtar gecikme gösterdi, önceki HDR nesline göre% 60'lık bir iyileşme.
• 2. aşama  Aşamalı başlatma:Ekip, NVIDIA'nın Unified Fabric Manager'ını kullanarak bağlantı sağlığını ve tıkanıklık ölçümlerini gerçek zamanlı olarak izlemek için bir seferde bir eğitim kapsülü göç etti.Bu, devam eden üretim iş yüklerinin bozulmasını en aza indirdi..
• Aşama 3  Tam ölçekli entegrasyon:Tüm 18 anahtar, 400Gb / s yukarı bağlantıları ile tamamen engelleme olmayan bir omurga oluşturan üç raf arasında dağıtıldı.Adapte edici rotalama, trafikin dinamik olarak dengelenmesini ve en yoğun iş gönderileri sırasında fazla abonelikten kaçınmasını sağladı.

Yayınlanma boyunca mühendislik ekibi kapsamlı920-9B210-00FN-0D0 özellikleriDeğiştiricinin gelişmiş telemetri bağlantı hatası sayıları ve bağlantı kullanımına ayrıntılı görünürlük sağladı.Proaktif bakım ve kapasite planlamasını mümkün kılan.

Ölçülebilir Sonuçlar ve Operasyonel Faydalar

Tam ölçekli dağıtımdan iki hafta sonra, gelişmeler somut oldu. standart 1.024-GPU eğitim görevi için tamamlama süreleri 12.3 saniyeden 7.8 saniyeye düştü.İletişim genel masraflarında %37'lik bir azalmaTipik bir GPT tarzı model için iş tamamlama süreleri, araştırma ekibinin daha hızlı tekrar etmesini ve haftada daha fazla deney yürütmesini sağlayan yaklaşık% 30 oranında iyileşti.Dahili SHARPv3 motoru toplu operasyonların ortalama %18'ini boşaltmıştı., doğrudan daha yüksek GPU kullanımına ve eğitim koşusu başına daha düşük enerji tüketimine dönüşür.

Operasyonel olarak, BT ekibi daha az ağla ilgili iş başarısızlığı ve bağlantı düzeyinde sorunları teşhis etmek için önemli ölçüde daha az zaman harcadığını bildirdi.920-9B210-00FN-0D0 InfiniBand anahtarı OPN çözümüÜç aylık gözlem dönemi boyunca planlanmamış kesintilerle sıfır, dikkat çekici derecede istikrarlı olduğunu gösterdi.Şimdi tüm kumaşı tek bir cam paneli ile yönetebilecek olan.

Maliyet ve Alışveriş Konusunda Düşünceler

Başlangıç920-9B210-00FN-0D0 fiyatıİşlerin tamamlanma sürelerini azaltarak ve GPU kullanımını iyileştirerek,örgüt eşdeğer işlem kapasitesi için bulut örneği maliyetlerinde % 22'lik bir düşüş elde ettiAyrıca,920-9B210-00FN-0D0 satılıkÇoklu kanal ortakları aracılığıyla rekabetçi teklif vermeye izin verildi ve NVIDIA Mellanox'un uzun vadeli destek taahhüdü yatırım konusunda güven verdi.

Özet & Görünüm: Yeni Nesil AI Altyapısı için Bir Plan

EğitimMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0Bu büyük ölçekli AI araştırma tesisi, benzer bağlantı zorluklarıyla karşı karşıya kalan kuruluşlar için zorlayıcı bir referans mimarisi olarak hizmet ediyor.Mikrosaniye altındaki gecikme, ve ağ içi hesaplama yetenekleri, RDMA tabanlı HPC ve AI kümelerinin temel sorun noktalarını ele alıyor.920-9B210-00FN-0D0 InfiniBand anahtarı OPNÇeşitli topolojilerde, BT yöneticileri sağlam yönetim araçlarına ve kapsamlı bir920-9B210-00FN-0D0 veri sayfasıKapasite planlaması için.

Geleceğe bakıldığında, organizasyon daha büyük GPU kümelerini desteklemek için kumaş genişletmeyi planlıyor.Ek depolama yükü ve güvenlik yalıtımı için BlueField-3 DPU'larının entegre edilmesi dahil.920-9B210-00FN-0D0 uyumluBu sistem, yeni NIC'lere veya optik teknolojilere yönelik gelecekteki yükseltmelerin sorunsuz bir şekilde desteklenmesini sağlar.Bu geçiş sadece artan bir yükseltme değil, ölçekte performansın temel bir sağlayıcısıdır..