NVIDIA Mellanox MCX653105A-HDAT Sunucu Adaptörü Uygulamada | RDMA/RoCE Düşük Gecikmeli İletim ve Sunucu Verim Artışı

NVIDIA Mellanox MCX653105A-HDAT Sunucu Adaptörü Hareket Halinde.

Arkaplan ve Zorluk: Yapay Zeka Eğitimi Şişlik Boğazı

Algoritmik ticaret ve gerçek zamanlı risk analizi konusunda uzmanlaşmış önde gelen bir finansal teknoloji firması kritik bir altyapı zorluğu ile karşı karşıya kaldı.Makine öğrenimi ekibi 32 GPU hızlandırılmış sunucuyu içeren dağıtılmış bir eğitim kümesi yerleştirmişti.Bununla birlikte, model karmaşıklığı milyonlarca parametreden milyarlara yükseldikçe, ağ gecikmesi baskın bir engelle dönüştü.Mevcut 25GbE adaptörleri, geleneksel TCP/IP ile çalışarak, küme boyunca eğim senkronizasyonunu önemli ölçüde yavaşlatan öngörülemeyen kuyruk gecikmesi tanıttı.

Şirketin altyapı mimarları iki temel sorun tespit etti.TCP/IP yığını, her sunucuda önemli miktarda CPU kaynağı tüketti. Bu da mevcut çekirdeklerin %30'una kadarını tüketti. Bu da gerçek model eğitimi için kullanılabilir kapasiteyi azalttı.İkincisi, RDMA için donanım yükünün olmaması, GPU belleği ve ağ arasındaki veri transferlerinin birden fazla bellek kopyasına ihtiyaç duyduğunu gösterdi.Eğitim adımı başına binlerce parametre değişimi boyunca birikmiş olan mikrosaniye düzeyinde gecikmeler eklemekEkip, sunucu verimliliğini feda etmeden veya tam bir ağ revizyonu gerektirmeden belirleyici düşük gecikme iletişimini sağlayabilecek bir çözüme ihtiyaç duyuyordu.

Çözüm ve dağıtım: MCX653105A-HDAT ile RoCE uygulamak

Çoklu seçenekleri değerlendirdiği zaman, şirketNVIDIA Mellanox MCX653105A-HDATBu PCIe ağ kartı, önceki nesil adaptörlerin yerini alan 32 eğitim sunucusunun her birine dağıtıldı.MCX653105A-HDAT ConnectX adaptörü PCIe ağ kartımevcut Ethernet dokusu boyunca gerçek RDMA iletişimini sağlayan yüksek bant genişliği ve donanım hızlandırılmış RoCEv2 desteğinin gerekli kombinasyonunu sağladı.

Gösterim yapılandırılmış bir yaklaşım izledi:

• Fiziksel kurulum:Her sunucuMCX653105A-HDAT Ethernet adaptör kartı, çift portlu 25GbE SFP28 bağlantıları ile fazladan üst rak anahtarlarına bağlı.
• RoCEv2 yapılandırması:Ağ anahtarları, en uygun RDMA performansı için ön koşul olan kayıpsız Ethernet taşımacılığını sağlamak için öncelik akış kontrolü (PFC) ve açık tıkanıklık bildirimi (ECN) ile yapılandırılmıştır.
• GPUDirect entegrasyonu:Ekip, adaptörün GPUDirect yeteneklerinden yararlandı ve ana CPU'nun katılımı olmadan GPU belleği ve ağ arayüzü arasında doğrudan veri hareketini sağladı.
• Yazılım yığını:NVIDIA ağ sürücü yığını yüklendi ve eğitim çerçevesi (PyTorch dağıtılmış veri paralel) RDMA taşıma katmanını kullanmak için yapılandırıldı.

Buna göreMCX653105A-HDAT veri sayfası, adaptör PCIe Gen 4.0 x16'ı destekler.256 GB/s'ye kadar ana bilgisayar bant genişliği sağlayan ′′ 50GbE veya 100GbE'ye gelecekteki yükseltmeler için bol miktarda başlık alanı bırakarak çift 25GbE portlarını tamamen doyurmaya yetecek kadarAdaptörün esnekliğinin,MCX653105A-HDAT uyumluPCIe Gen 3.0 ve 4'ü destekleyen mevcut sunucu donanımlarıyla.0.

BuMCX653105A-HDAT özellikleriGecikme ile CPU kullanımını dengelemek için kesinti birleşimi parametrelerini ayarladılar.ve en yüksek QoS muamelesi almasını sağlamak için kuyruğa göre öncelik ayarları yapılandırıldı.

Sonuçlar ve Ölçülebilir Faydalar

Performans iyileştirmeleri önemli ve birden fazla boyutta doğrudan ölçülebilirdi:

Kütleleri arttırmanın ötesinde,NVIDIA Mellanox MCX653105A-HDATTakımın tahmin etmediği operasyonel faydalar sağladı.Deterministik gecikme, eğitim yakınlaşmasının öngörülebilir zaman dilimleri içinde sürekli olarak sağlanmasını sağladı. Şirketin zaman hassaslığındaki model geliştirme döngüleri için kritik bir gereksinimSerbestleştirilen CPU çekirdekleri gerçek hesaplamalara yönlendirilmiş, böylece yeni donanım eklenmeden kümenin etkin hesaplama kapasitesini etkin bir şekilde arttırmışlardır.

Ekip ayrıca, kumaş tıkanıklığı kalıplarına görünürlük kazanmak için adaptörün yerleşik telemetriyi de kullandı.Bu veriler, ağ tamponu yapılandırmalarını optimize etmelerine ve potansiyel performans bozukluklarını proaktif olarak tanımlamalarına yardımcı oldu..MCX653105A-HDAT Ethernet adaptör kart çözümüPerformans hızlandırıcısı ve operasyonel istihbarat aracı olduğu kanıtlandı.

Özet ve Görünüm

Bu dağıtım,NVIDIA Mellanox MCX653105A-HDATAğ yükseltmesinden daha fazlası ¢ dağıtılmış hesaplama performansına stratejik bir yatırımdır. GPUDirect ile donanım yüklenmiş RoCEv2'yi etkinleştirerek,Adaptör eğitim süresini %70'ten fazla düşürdü., yeni modellerin piyasaya sürülme zamanını hızlandırdı ve altyapı verimliliğini önemli ölçüde iyileştirdi.

Şirket şimdi bu mimarinin gerçek zamanlı risk analizi platformu da dahil olmak üzere ek kümelere yayılmasını planlıyor.hafızadaki veritabanları ve hesaplama düğümleri arasında düşük gecikme verisi taşınması gerekli olduğunda.MCX653105A-HDAT fiyatı, işletme tasarruflarına ve performans kazanımlarına karşı değerlendirilince,Özellikle özel InfiniBand altyapısı yerleştirme veya ek hesaplama düğümleri satın alma maliyeti ile karşılaştırıldığında, yatırımın zorlayıcı bir getirisini temsil etti..

Aktif olarak değerlendiren kuruluşlar içinMCX653105A-HDAT satılıyor.Seçenekler, bu vaka çalışması adaptörün gerçek dünya üretim ortamlarında düşük gecikme, yüksek verimli ağlama sözünü verdiğini göstermektedir.Donanım hızlandırma kombinasyonu, kapsamlı telemetri ve mevcut Ethernet altyapısı ile kesintisiz uyumluluğuNVIDIA Mellanox MCX653105A-HDATModern veri merkezi mimarileri için temel bir bileşen.