Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Sunucu Adaptörü Çalışırken

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Sunucu Adaptörü Devrede | RDMA/RoCE Düşük Gecikmeli İletim ve Sunucu Verim Optimizasyonu

Büyük ölçekli bir İnternet şirketinin esnek çıplak metal ve yapay zeka çıkarım hibrit dağıtım senaryosunda, ağ gecikmesi ve CPU yükü, GPU kullanımını ve depolama performansını ölçeklendirmede kritik engeller haline gelmişti. Altyapı ekibinin, mevcut kablolama altyapısında maliyetli yükseltmeler gerektirmeden, dağıtılmış eğitim işleri için mikrosaniye altı gecikme sağlamanın yanı sıra yüksek verimli NVMe-oF depolama trafiğini de destekleyebilecek bir çözüme ihtiyacı vardı. Bu vaka çalışması, Mellanox'tan (NVIDIA Mellanox) gelen MCX623106AN-CDAT modelinin bu zorlukları nasıl ele aldığını ve ağ yapısını gerçek bir hesaplama hızlandırıcısına nasıl dönüştürdüğünü inceliyor.

Arka Plan ve Zorluklar: 25G NIC'ler Sınırlarına Ulaştığında

Üretim ortamı, iki kullanılabilirlik alanına yayılmış 1.200'den fazla hesaplama düğümünden oluşuyordu ve çevrimiçi çıkarım hizmetleri, çevrimdışı yapay zeka eğitimi ve dağıtılmış nesne depolama karışımını çalıştırıyordu. Mevcut 25G Ethernet adaptörleri, temel bağlantı için yeterli olsa da, eşzamanlı iş yükleri altında zorlanıyordu. Ana sorun noktaları şunları içeriyordu:

• Yüksek CPU kullanımı: Yazılım tabanlı TCP/IP yığını işlemesi, zirve G/Ç patlamaları sırasında depolama düğümlerindeki CPU çekirdeklerinin %35'ine kadarını tüketiyordu.
• Tutarsız gecikme: Dağıtılmış tüm-azaltma işlemleri için kuyruk gecikmesi (p99), parametre senkronizasyonu sırasında GPU'nun yetersiz kullanımına neden olarak sık sık 50µs'yi aşıyordu.
• Depolama darboğazı: Kayıplı Ethernet üzerinden NVMe-oF trafiği, paket kayıplarından muzdaripti ve yeniden iletimleri tetikleyerek etkili verimi neredeyse %40 oranında düşürüyordu.

Özel InfiniBand ve rakip 25G NIC'ler de dahil olmak üzere birden fazla alternatif değerlendirildikten sonra, ekip donanım tabanlı RoCEv2 hızlandırması, programlanabilir veri yolu ve geniş platform uyumluluğunun benzersiz kombinasyonu nedeniyle NVIDIA Mellanox MCX623106AN-CDAT modelini seçti.

Çözüm ve Dağıtım Yaklaşımı

Dağıtım stratejisi üç temel üzerine odaklandı: RDMA/RoCE etkinleştirme, akıllı boşaltma aktivasyonu ve kademeli filo geçişi. Her hesaplama düğümü, önceki nesil NIC'lerin yerini alan bir MCX623106AN-CDAT Ethernet adaptör kartı aldı ve alttaki 25G bakır/fiber altyapısını değiştirmeden kullanıldı.

Yapılandırma açısından, ekip aşağıdaki parametreleri ince ayarlamak için MCX623106AN-CDAT veri sayfasından yararlandı:

• RoCEv2 PFC (Öncelik Akış Kontrolü) kurulumu: Depolama (NVMe-oF) ve yapay zeka toplu iletişimi için özel kayıpsız trafik sınıfları tanımlanırken, en iyi çaba trafiği ayrı kayıplı kuyruklarda kaldı.
• Donanım boşaltmaları etkinleştirildi: Paket başına CPU müdahalesini azaltmak için VXLAN/NVGRE tünel boşaltması, sağlama toplamı segmentasyonu ve LRO (Büyük Alım Boşaltması) etkinleştirildi.
• DPU uyumlu programlanabilirlik: ASAP² kullanılarak, ekip depolama trafiğini doğrudan NVMe-oF hedef uç noktalarına yönlendirmek, çekirdek ağ yığınını tamamen atlamak için hafif akış kuralları dağıttı.

Uyumluluk doğrulaması basitti; MCX623106AN-CDAT uyumlu listesi, filodaki tüm sunucu modellerini (Dell PowerEdge R750 ve Supermicro Ultra serisi) kapsıyordu ve mevcut Red Hat OpenShift ve Ubuntu tabanlı düğümler yeni sürücüleri sorunsuz bir şekilde benimsedi.

Sonuçlar ve Ölçülebilir Faydalar

Hesaplama filosunun %40'ına üç haftalık üretim dağıtımının ardından, performans artışları hemen görüldü. Aşağıdaki tablo, temel öncesi ve sonrası metrikleri özetlemektedir:

Niceliksel iyileştirmelerin ötesinde, mühendislik ekibi operasyonel kararlılıkta niteliksel bir değişim bildirdi. Donanım tabanlı PFC ve ECN (Açık Tıkanıklık Bildirimi) mekanizmaları, depolama trafiğinin neredeyse kayıpsız kalmasını sağlayarak, daha önce uygulama SLA'larını etkileyen kaskatlı yeniden iletim fırtınalarını ortadan kaldırdı. Dahası, MCX623106AN-CDAT ConnectX adaptör PCIe ağ kartı bölge çapında çoğaltma trafiği için hat hızında IPSec şifrelemesini işleyerek, güvenlik ekibinin özel şifreleme cihazları dağıtmadan sıfır güven politikalarını uygulamasına olanak tanıdı.

Özet ve İleriye Dönük Bakış Açısı

Bu dağıtım, MCX623106AN-CDAT Ethernet adaptör kartı çözümünün yalnızca artımlı bir NIC yükseltmesi olmadığını, modern veri merkezi mimarileri için stratejik bir kolaylaştırıcı olduğunu vurgulamaktadır. Donanım hızlandırmalı RoCEv2, esnek programlanabilirlik ve kapsamlı boşaltma yeteneklerini birleştirerek, adaptör standart bir Ethernet yapısını düşük gecikmeli, yüksek verimli bir altyapı katmanına etkili bir şekilde dönüştürür. BT organizasyonu şimdi dağıtımı kalan tüm düğümlere genişletmeyi planlıyor ve gelecek nesil 50G Spine-Leaf tasarımları için MCX623106AN-CDAT spesifikasyonlarını aktif olarak değerlendiriyor.

Benzer performans tavanlarıyla karşılaşan altyapı mimarları ve BT yöneticileri için MCX623106AN-CDAT, zorlayıcı, kanıtlanmış bir yol sunuyor. Kıdemli bir mimarın belirttiği gibi: "Önceki 25G NIC'lerimizden daha iyi gecikme elde ettik, CPU maliyetinin yarısı kadar ve tek bir rafın kablolarını değiştirmek zorunda kalmadık." Geniş MCX623106AN-CDAT uyumlu ekosistemi ve rekabetçi MCX623106AN-CDAT fiyatlandırması ile bu adaptör, iş yükü yapay zeka eğitimi, dağıtılmış depolama veya gerçek zamanlı analiz olsun, 25G RoCE dağıtımları için varsayılan seçenek haline gelmeye hazır.