Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Sunucu Adaptörü Hareket Halinde.

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Sunucu Adaptörü Hareket Halinde.

Büyük çaplı bir internet şirketinin elastik metaller ve yapay zeka çıkarımları hibrid dağıtım senaryosunda,Ağ gecikmesi ve CPU overhead, GPU kullanımını ve depolama performansını ölçeklendirmek için kritik engeller haline gelmişti.. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureBu vaka çalışması,MCX623106AN-CDATMellanox'tan (NVIDIA Mellanox) bu zorlukları ele aldı ve ağ dokusunu gerçek bir hesaplama hızlandırıcısına dönüştürdü.

Arkaplan ve Zorluklar: 25G NIC'ler Sınırlarına Ulaştığında

Üretim ortamı, iki kullanılabilirlik bölgesine bölünmüş 1.200'den fazla hesaplama düğümünden oluşuyordu ve çevrimiçi çıkarım hizmetleri, çevrimdışı yapay zeka eğitimi ve dağıtılmış nesne depolama birimi çalıştırıyordu.Mevcut 25G Ethernet adaptörleri, temel bağlantı için yeterli olsa da, eşzamanlı iş yükleri altında mücadele etti.

• Yüksek CPU kullanımı: Yazılım tabanlı TCP/IP yığın işleme, I/O patlamalarının en yüksek noktasında depolama düğümlerindeki CPU çekirdeklerinin% 35'ine kadarını tüketir.
• Düzgün olmayan gecikme: Dağıtılmış tüm azaltma işlemleri için kuyruk gecikmesi (p99) sıklıkla 50μs'yi aştı, bu da parametre senkronizasyonu sırasında GPU'nun yetersiz kullanılmasına neden oldu.
• Depolama sıkışıklığı: Kayıplı Ethernet üzerinden NVMe-oF trafiği, paket düşüşlerinden muzdarip oldu ve etkili işlem hızını neredeyse% 40 oranında düşüren yeniden iletimlere neden oldu.

Çoklu alternatifleri değerlendirdikten sonra, özel InfiniBand ve rakip 25G NIC'leri de dahil olmak üzere, ekipNVIDIA Mellanox MCX623106AN-CDATdonanım tabanlı RoCEv2 hızlandırması, programlanabilir veri yolu ve geniş platform uyumluluğunun benzersiz kombinasyonu için.

Çözüm ve Uygulama Yaklaşımı

Uygulama stratejisi üç direk üzerine odaklandı:RDMA/RoCE etkinleştirme,Akıllı boşaltma etkinleştirme, veFlotun aşamalı göçü. Her hesaplama düğümü bir tane aldıMCX623106AN-CDAT Ethernet adaptör kartı, altta yatan 25G bakır/fiber altyapısını değiştirmeden önceki nesil NIC'lerin yerini alacak.

Yapılandırma açısından, ekipMCX623106AN-CDAT veri sayfasıAşağıdaki parametreleri ince ayarlamak için:

• RoCEv2 PFC (Öncelik Akış Kontrolü) ayarları: Depolama (NVMe-oF) ve AI kolektif iletişimleri için özel kayıpsız trafik sınıfları tanımlandı, en iyi çaba trafiği ise ayrı kayıplı kuyruklarda kaldı.
• Donanım boşaltması etkinleştirildi: VXLAN/NVGRE tünel yüklenmesi, kontrol toplamı segmentasyonu ve LRO (Büyük Alıcı Yüklenme) paket başına CPU müdahalesini azaltmak için etkinleştirildi.
• DPU hazır programlanabilirliği: ASAP2 kullanılarak, ekip, depolama trafiğini tamamen çekirdek ağ yığınından geçip doğrudan NVMe-oF hedef uç noktalarına yönlendirmek için hafif akış kuralları dağıttı.

Uyumluluk doğrulanması basit oldu.MCX623106AN-CDAT uyumlulistesi, filodaki tüm sunucu modellerini (Dell PowerEdge R750 ve Supermicro Ultra serileri) kapsıyordu ve mevcut Red Hat OpenShift ve Ubuntu tabanlı düğümler yeni sürücüleri sorunsuz bir şekilde benimsedi.

Sonuçlar ve Ölçülebilir Faydalar

Bilgisayar filosunun% 40'ında üretim dağıtımının üç haftasından sonra, performans kazanımları hemen görünür oldu.

Nüfussal iyileştirmelerin ötesinde, mühendislik ekibi operasyonel istikrarda nitelikli bir değişim bildirdi.Donanım tabanlı PFC ve ECN (Açık tıkanıklık bildirimi) mekanizmaları, depolama trafiğinin neredeyse kayıpsız kalmasını sağladı., daha önce uygulama SLA'larını etkileyen kaskad geri iletim fırtınalarını ortadan kaldırdı.MCX623106AN-CDAT ConnectX adaptörü PCIe ağ kartıBölge çapında kopyalama trafiği için satır hızı IPSec şifrelemesini işledi, güvenlik ekibinin özel şifreleme cihazları kullanmadan sıfır güven politikalarını uygulamasını sağladı.

Özet ve Geleceğe Bakış

Bu çalışma,MCX623106AN-CDAT Ethernet adaptör kart çözümüNIC'in sadece bir aşamalı yükseltmesi değil, modern veri merkezi mimarileri için stratejik bir destekçidir.ve kapsamlı boşaltma yetenekleri, adaptör etkili bir şekilde standart bir Ethernet kumaşını düşük gecikme ve yüksek verimlilikli bir altyapı katmanına dönüştürür.BT organizasyonu şimdi tüm kalan düğümlere dağıtımı genişletmeyi planlıyor ve aktif olarak değerlendiriyorMCX623106AN-CDAT özellikleriBir sonraki nesil 50G Spine-Leaf tasarımları için.

Benzer performans tavanları ile karşı karşıya olan altyapı mimarları ve BT yöneticileri için,MCX623106AN-CDATBir üst düzey mimarın belirttiği gibi:"Eski 25G NIC'lerimize göre yarı CPU maliyetinde daha iyi bir gecikme elde ettik ve tek bir rafı yeniden kablolamak zorunda kalmadık".Bu kocamanMCX623106AN-CDAT uyumluekosistem ve rekabetçiMCX623106AN-CDAT fiyatıkonumlandırma, bu adaptör, iş yükü AI eğitimi, dağıtılmış depolama veya gerçek zamanlı analitik olsun 25G RoCE dağıtımları için varsayılan seçim haline gelmek için iyi durumda.

Etiketler:MCX623106AN-CDATNVIDIA Mellanox ConnectX-6 Dx. RDMA/RoCE dağıtım. Düşük gecikme ağları. Sunucu verimi optimizasyonu.