Mellanox 920-9B210-00FN-0D0 InfiniBand Switch.

Yapay zeka modellerinin karmaşıklığı arttıkça, GPU kümeleri ve yüksek performanslı bilgi işlem (HPC) ortamları, bilgi işlem düğümleri arasındaki verimli iletişime giderek daha fazla bağımlı hale geliyor. Ağ bant genişliği, gecikme ve tıkanıklık yönetimi, dağıtılmış iş yükü performansını etkileyen kritik faktörler haline geldi.NVIDIA Mellanox 920-9B210-00FN-0D0InfiniBand anahtarı, bu zorlu uygulamalar için yüksek yoğunluklu bir ağ temeli sağlar.

NVIDIA Quantum-2 teknolojisiyle desteklenen QM9790, 51,2 Tb/s'ye kadar toplam çift yönlü anahtarlama kapasitesiyle 400 Gb/s'ye kadar hızda çalışan 64 NDR bağlantı noktası sunar. Bu makalede, temsili bir çok raflı yapay zeka ve HPC dağıtım senaryosu incelenerek,920-9B210-00FN-0D0kuruluşların RDMA iletişimini optimize etmesine, yapı ölçeklenebilirliğini geliştirmesine ve ağla ilgili performans sınırlamalarını azaltmasına yardımcı olabilir.

01. Arka Plan ve Zorluklar: Yapay Zeka ve HPC Kümelerindeki Ağ Darboğazları

Büyük dil modeli eğitimi, bilimsel simülasyonlar ve dağıtılmış veri işleme için birden fazla GPU sunucusu rafını çalıştıran bir veri merkezi düşünün. Ek bilgi işlem düğümleri dağıtıldıkça toplu iletişim, parametre senkronizasyonu ve uzaktan veri erişimi tarafından oluşturulan trafik hacmi önemli ölçüde artar.

Modern GPU'lar önemli bilgi işlem yetenekleri sağlasa da, yetersiz ara bağlantı performansı uygulamaların mevcut kaynakları tam olarak kullanmasını engelleyebilir. Bu ortamda ağ mimarları genellikle birkaç önemli zorlukla karşılaşır:

• Bant genişliği sınırlamaları:Büyük ölçekli GPU iş yükleri sürekli veri alışverişi gerektirir ve potansiyel olarak düşük hızlı ara bağlantıları bunaltabilir.
• İletişim gecikmesi:Sık senkronizasyon işlemleri, dağıtılmış bilgi işlem düğümleri arasındaki bekleme süresini artırabilir.
• Ağ tıkanıklığı:Birden fazla sunucu arasındaki eşzamanlı iletişim, sıcak noktalara ve tutarsız uygulama performansına neden olabilir.
• Ölçeklenebilirlik zorlukları:Küme boyutunun genişletilmesi, anahtar kapasitesinin, ağ topolojisinin ve kablolama altyapısının dikkatli bir şekilde planlanmasını gerektirir.
• Operasyonel karmaşıklık:Güvenilir yapı yönetimini, hata görünürlüğünü ve konfigürasyon tutarlılığını sürdürmek giderek daha önemli hale geliyor.

Bu zorluklar, yüksek hızlı InfiniBand ağlarının sıkı bir şekilde birbirine bağlı bilgi işlem iş yükleri için neden önemli olmaya devam ettiğini gösteriyor.920-9B210-00FN-0D0 InfiniBand anahtarı OPNyüksek bant genişliğine sahip, düşük gecikme süreli ara bağlantı mimarileri oluşturmak için gereken donanım yeteneklerini sağlar.

02. Çözüm Mimarisi: NVIDIA Quantum-2 NDR InfiniBand Anahtarını Dağıtma

920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/sn NDRanahtar, önemli bant genişliği ve verimli iletişim gerektiren yüksek performanslı bilgi işlem yapıları için tasarlanmıştır. 64 NDR bağlantı noktası sağlayan 32 fiziksel OSFP konektörüne sahip 1U sistemi, GPU sunucuları, ağ anahtarları ve diğer InfiniBand cihazları arasındaki yoğun bağlantıları destekler.

Temsili bir çoklu raf uygulamasında, QM9790 anahtarları yaprak omurga InfiniBand topolojisi içinde konumlandırılabilir. Uyumlu NVIDIA ConnectX adaptörleriyle donatılmış GPU sunucuları yaprak anahtarlara bağlanırken omurga anahtarları raflar arasında bağlantı sağlar. Anahtarların, yukarı bağlantıların ve ağ katmanlarının sayısı küme boyutuna, bant genişliği gereksinimlerine ve seçilen aşırı abonelik oranına bağlıdır.

RDMA ve Düşük Gecikmeli Veri İletişimi

Uzaktan Doğrudan Bellek Erişimi (RDMA), uyumlu bilgi işlem sistemlerinin daha az CPU kullanımıyla kayıtlı bellek bölgeleri arasında verileri doğrudan aktarabilmesini sağlar. Dağıtılmış GPU ortamlarında bu, geleneksel yazılım yoğunluklu ağ yollarıyla karşılaştırıldığında iletişim yükünün azaltılmasına ve veri taşıma verimliliğinin artırılmasına yardımcı olabilir.

Quantum-2 InfiniBand yapısı, uyarlanabilir yönlendirme, tıkanıklık kontrolü ve NVIDIA SHARP ağ içi bilgi işlem dahil olmak üzere RDMA tabanlı iletişimi ve gelişmiş ağ oluşturma yeteneklerini destekler. Uygulama yığını tarafından uygun şekilde yapılandırıldığında ve desteklendiğinde bu teknolojiler, toplu operasyonların optimize edilmesine, tıkanıklıktan kaynaklanan gecikmelerin azaltılmasına ve ağ kaynağı kullanımının iyileştirilmesine yardımcı olabilir.

Yapı Yönetimi ve Uyumluluk Planlaması

QM9790, dahili olarak yönetilen QM9700'ün aksine, dışarıdan yönetilen bir InfiniBand anahtarıdır. Bu nedenle dağıtım, uygun harici alt ağ yönetimini ve operasyonel izlemeyi gerektirir. NVIDIA Unified Fabric Manager (UFM), merkezi yapı görünürlüğü ve yönetim işlevleri sağlamak üzere desteklendiği yere dahil edilebilir.

Değerlendiren mühendisler920-9B210-00FN-0D0 uyumluadaptörler ve ara bağlantı bileşenleri, ana bilgisayar adaptörü yeteneklerini, ürün yazılımının birlikte çalışabilirliğini, onaylanmış kabloları ve konektör yapılandırmalarını doğrulamalıdır. 920-9B210-00FN-0D0 modeli, aynı zamanda veri merkezi soğutma tasarımına da uyması gereken ileri hava akışı, güç-konektör (P2C) konfigürasyonuna karşılık gelir.

03. Beklenen Sonuçlar ve Operasyonel Faydalar

Kuruluşlar, uygun şekilde tasarlanmış bir NDR InfiniBand ağını uyguladıktan sonra iletişim verimliliği, kaynak kullanımı ve yapı ölçeklenebilirliğinde iyileştirmeleri hedefleyebilir. Gerçek performans kazanımları iş yükü özelliklerine, sunucu donanımına, ağ topolojisine, yazılım yapılandırmasına ve orijinal ağ darboğazlarına bağlıdır.

Objektif bir performans değerlendirmesi için ağ mühendislerinin geçişten önce bir temel oluşturması ve dağıtımdan sonra kontrollü testler yapması gerekir. Yararlı doğrulama araçları arasında InfiniBand performans yardımcı programları, NCCL Testleri ve MPI tabanlı uygulama kıyaslamaları bulunur.

Önerilen ölçümler arasında etkili aktarım hızı, noktadan noktaya gecikme süresi, toplu iletişim performansı, bağlantı hatası sayaçları, tıkanıklık göstergeleri ve uçtan uca iş yükünün tamamlanma süresi yer alır. Temsili yük koşulları altında P50, P95 ve P99 gecikme sürelerinin karşılaştırılması, ortalama değerlerin gizleyebileceği performans tutarlılığı sorunlarının belirlenmesine de yardımcı olabilir.

Sabit yüzdeli iyileştirmeleri varsaymak yerine amaç, yükseltilmiş ağın ölçülebilir iletişim darboğazlarını azaltıp azaltmadığını ve bilgi işlem kaynaklarının gerçek üretim iş yükleri altında daha verimli çalışmasına izin verip vermediğini belirlemektir.

04. Teknik Özellikler ve Ürün Seçimi

NVIDIA Mellanox 920-9B210-00FN-0D0NVIDIA Quantum-2 QM9790 ailesine aittir. Aşağıdaki spesifikasyonlar altyapı tasarımı ve ürün tedariki için referans sağlar.

İncelerken920-9B210-00FN-0D0 veri sayfasıveya dağıtım seçeneklerini karşılaştırırken, BT ekipleri tek başına anahtar kapasitesi yerine çözümün tamamını değerlendirmelidir. Kablolama tasarımı, bağdaştırıcı uyumluluğu, harici alt ağ yönetimi, raf hava akışı ve gelecekteki küme genişletmesi birlikte değerlendirilmelidir.

05. Sonuç ve Geleceğe Bakış

920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/sn NDRSwitch, yapay zeka ve HPC ağ altyapısını modernleştirmek isteyen kuruluşlar için güçlü bir temel sağlar. Yüksek hızlı InfiniBand bağlantısını gelişmiş Quantum-2 ağ özellikleriyle birleştirerek verimli RDMA iletişimini ve ölçeklenebilir dağıtılmış bilgi işlem mimarilerini destekler.

Yapay zeka modelleri büyüdükçe ve GPU kümeleri daha fazla bilgi işlem düğümünde genişledikçe, ağ donanımı, yapı yönetimi ve yazılım iletişiminin koordineli optimizasyonu hayati olmaya devam edecek.920-9B210-00FN-0D0 InfiniBand anahtar OPN çözümüDeğişen iş yükü gereksinimlerine göre gelişebilecek yüksek performanslı, düşük gecikme süreli ara bağlantı tasarımları için pratik bir yapı taşı sunar.