Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Anahtarı Uygulama Pratiği

Arka Plan ve Zorluklar: Modern Bilgisayarda Ağ Darboğazı

Bilimsel keşif ve yapay zeka atılımları yarışında, önde gelen bir araştırma kurumunun hesaplama yetenekleri, ham işlem gücü eksikliğinden değil, ağ yapılarından dolayı engelleniyordu. Mevcut HDR InfiniBand altyapıları, yetenekli olmasına rağmen, yeni konuşlandırılan NVIDIA DGX kümelerinin ve geleneksel HPC iş yüklerinin devasa, senkronize iletişim taleplerine ayak uydurmakta zorlanıyordu. Araştırmacılar, iş tamamlama sürelerinde önemli gecikmelerle karşılaştılar ve tümden tümüne iletişim desenleri sırasında ağ gecikmesi ve tıkanıklığı birincil darboğaz haline geldi.

Zorluk iki yönlüydü: İlk olarak, MPI tabanlı HPC simülasyonları için kritik olan Uzak Doğrudan Bellek Erişimi (RDMA) işlemleri için gecikmeyi drastik bir şekilde azaltmak. İkincisi, yüzlerce GPU arasında sürekli parametre senkronizasyonu gerektiren yapay zeka eğitim işleri için kesintisiz, engelsiz bir yapı sağlamak. Kurum, mevcut ekosistemleriyle tam olarak uyumlu, NDR 400Gb/s hızlarını kaldırabilecek ve tam bir revizyona gerek kalmadan uygun maliyetli bir yükseltme yolu sağlayacak geleceğe hazır bir çözüme ihtiyaç duyuyordu.Çözüm ve Uygulama: 920-9B210-00FN-0D0 Yapısının UygulanmasıKapsamlı bir değerlendirmeden sonra, kurum yeni yüksek performanslı yapılarının temel taşı olarak NVIDIA Mellanox 920-9B210-00FN-0D0'ı seçti. Çözüm, tüm hesaplama ve depolama düğümlerini birbirine bağlayan yüksek bant genişliğine sahip, düşük gecikmeli bir omurga katmanı oluşturmak için birden fazla 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR anahtarının konuşlandırılmasına odaklandı.

Uygulama, iki yönlü bant genişliğini en üst düzeye çıkarmak ve atlama sayısını en aza indirmek için hibrit bir iki katmanlı fat-tree topolojisi olarak yapılandırıldı. Uygulamanın temel yönleri şunları içeriyordu:

Yapı Çekirdeği:Kesintisiz Entegrasyon:Anahtarın geriye dönük uyumluluğundan yararlanarak, mevcut HDR yaprak anahtarları ve NIC'ler bağlandı, önceki yatırımları korurken NDR'ye kademeli düğüm yükseltmelerine izin verdi.Gelişmiş Yönetim:

Yeni 920-9B210-00FN-0D0 InfiniBand anahtar OPN birimleri dahil olmak üzere tüm yapı, hassas performans telemetrisi, otomatik yapılandırma ve hızlı arıza izolasyonu sağlayan NVIDIA UFM® kullanılarak tek bir pencereden yönetildi.

• Doğrulama:BT ekibi, veri merkezlerindeki kablo erişimi, güç ve soğutma gereksinimlerini doğrulamak ve optimum performansı sağlamak için resmi 920-9B210-00FN-0D0 veri sayfasını ve teknik özelliklerini titizlikle inceledi.Etkiler ve Faydalar: Performans ve Verimlilikte Ölçülebilir Kazançlar
• 920-9B210-00FN-0D0'ın konuşlandırılmasının etkisi, operasyonlarının birden fazla boyutunda anında ölçülebilir ve dönüştürücü oldu.Metrik
• Konuşlandırmadan Önce920-9B210-00FN-0D0 Konuşlandırmasından SonraOrtalama MPI Gecikmesi (Gidiş-Dönüş)~0,7 mikrosaniye
• ~0,5 mikrosaniyeYapay Zeka Eğitim İş Tamamlama Süresi (Büyük Model)5,2 gün3,8 gün(%27 azalma)Tepe Noktasında Tümden Tümüne Yapı Kullanımı

%85'i sıklıkla aştı, tıkanıklığa neden olduNDR hızlarında %60'ın altında kararlıİdari Görevler (Yapılandırma)

Manuel, zaman alan süreçler

UFM® entegrasyonu ile otomatikleştirildiSonuç ve Görünüm: Geleceğe Hazır Altyapılar İçin Bir Mavi Baskı