NVIDIA Mellanox MCX631102AN-ADAT: RDMA / RoCE Düşük Gecikme Taşıma ve Sunucu Verimliliği Optimizasyonu

NVIDIA Mellanox MCX631102AN-ADAT Uygulamada: RDMA/RoCE Düşük Gecikmeli İletim ve Sunucu Verim Optimizasyonu

Arka Plan ve Zorluklar: Dağıtık Depolamada Gecikme ve Verim Darboğazı

120 x86 sunucu üzerinde dağıtık bir Ceph depolama kümesi işleten orta ölçekli bir bulut hizmet sağlayıcısı, artan performans sorunları yaşamaya başladı. Düğüm içi iletişim için TCP/IP'ye dayanan mevcut 10GbE ağ altyapısı, büyüyen NVMe tabanlı depolama havuzlarının hızına ayak uydurmakta zorlanıyordu. Anahtar belirtiler arasında ağ protokolü işlemesi nedeniyle depolama düğümlerinde %45'i aşan yüksek CPU kullanımı, yoğun saatlerde ortalama okuma/yazma gecikmelerinin 3 milisaniyenin üzerine çıkması ve teorik disk verimi ile gerçek ağ tarafından sağlanan performans arasında önemli bir boşluk yer alıyordu. Mühendislik ekibi, milisaniyenin altındaki gecikme süresine ulaşmak ve NVMe performansını tam olarak ortaya çıkarmak için ağ yaklaşımında temel bir değişikliğin - özellikle RDMA over Converged Ethernet (RoCE) benimsenmesinin gerekli olduğunu fark etti.

Çözüm ve Dağıtım: MCX631102AN-ADAT Ethernet Adaptör Kartı Çözümünün Tanıtılması

Birden fazla satıcı seçeneğini değerlendirdikten sonra ekip, ağ yükseltmeleri için temel sağlayıcı olarak NVIDIA Mellanox MCX631102AN-ADAT seçti. MCX631102AN-ADAT ConnectX-6 Lx çift portlu 25GbE SFP28 adaptörü, yerel RoCEv2 desteği, donanım tabanlı tıkanıklık kontrolü ve mevcut SFP28 kablolama altyapısıyla sorunsuz entegrasyonu nedeniyle tercih edildi.

Dağıtım stratejisi üç küme üzerinden aşamalı olarak gerçekleştirildi:

• Aşama 1 (Pilot): 16 depolama düğümü, eski 10GbE NIC'lerin yerini alan MCX631102AN-ADAT Ethernet adaptör kartı ile donatıldı. Adaptörler, yedeklilik için her portu bir çift NVIDIA Spectrum anahtarına bağlanan çift portlu aktif-aktif modda yapılandırıldı.
• Aşama 2 (Optimizasyon): Ağ kesintilerini önlemek için Öncelik Akış Kontrolü (PFC) ve Açık Tıkanıklık Bildirimi (ECN) ile ayarlanmış RoCEv2 etkinleştirildi. Ekip, NVMe-oF ve silme kodlama hesaplamaları için adaptörün donanım boşaltma motorlarından yararlandı.
• Aşama 3 (Tam Dağıtım): Tüm 120 düğüm NVIDIA Mellanox MCX631102AN-ADAT üzerine taşındı ve Ceph OSD (Nesne Depolama Arka Plan Programı) ağ yığını RDMA iletimini kullanacak şekilde yeniden yapılandırıldı.

MCX631102AN-ADAT veri sayfasına göre, adaptörün PCIe 4.0 x8 arayüzü, 50 Gb/s toplam verimi işlemek için yeterli bant genişliği sağlar. Ekip, MCX631102AN-ADAT özellikleri - milisaniyenin altında 0,6 mikrosaniye gecikme ve donanım tabanlı trafik yönlendirme dahil - katı performans gereksinimleriyle mükemmel bir şekilde uyumlu olduğunu doğruladı. Adaptör ayrıca mevcut Linux dağıtımlarıyla (RHEL 9.2) ve Mellanox OFED sürücüleriyle MCX631102AN-ADAT uyumlu olduğunu kanıtladı, bu da dağıtım sürecini önemli ölçüde basitleştirdi.

Sonuçlar ve Faydalar: Gecikme ve Verimde Ölçülebilir Kazançlar

Taşımanın etkisi üretim metriklerinde hemen görüldü. Dağıtım sonrası gözlemlenen anahtar iyileştirmeler şunları içerir:

Sayıların ötesinde, ekip önemli operasyonel iyileştirmeler gözlemledi. MCX631102AN-ADAT, ağ titreşiminin ihmal edilebilir seviyelere düşmesiyle, gecikmeye duyarlı uygulamalar çalıştıran VM'lerin sorunsuz canlı geçişini sağladı. Donanım tabanlı NVMe-oF boşaltması, depolama erişim gecikmesini ek %30 azalttı, bu da kümenin tutarlı milisaniyenin altındaki yanıt süreleriyle karışık okuma/yazma iş yüklerini işlemesine olanak tanıdı. Yatırımın geri dönüşünü hesaplayan kuruluşlar için, MCX631102AN-ADAT fiyatı, 2,3 kat verim artışı ve ek sunucu satın alımlarını en az 18 ay erteleme yeteneği ile haklı çıktı. Sağlayıcı ayrıca, kanal ortakları aracılığıyla MCX631102AN-ADAT satılık seçeneklerinin büyük ölçekli dağıtımlar için esnek toplu indirimler sunduğunu belirtti.

Ayrıca, adaptörün yerleşik telemetri ve bant dışı yönetim yetenekleri - MCX631102AN-ADAT veri sayfasında ayrıntılı olarak belirtilmiştir - ağ sağlığına ilişkin derin görünürlük sağlayarak proaktif tıkanıklık yönetimi ve olay çözümlemesi sırasında hızlı kök neden analizi sağladı.

Özet ve Görünüm: Gelecekteki İş Yükleri İçin Stratejik Bir Temel

Bu gerçek dünya dağıtımı, NVIDIA Mellanox MCX631102AN-ADATın basit bir bant genişliği yükseltmesinden çok daha fazlası olduğunu göstermektedir. RoCE özellikli ortamlar için özel olarak üretilmiş bir MCX631102AN-ADAT Ethernet adaptör kartı çözümü olarak, ağı etkili bir şekilde bir performans darboğazı olmaktan çıkararak modern NVMe depolama ve CPU mimarilerinin tam potansiyelini ortaya çıkarır. Çift portlu 25GbE verimi, kapsamlı RDMA boşaltmaları ve geniş ekosistem uyumluluğunun birleşimi, bu adaptörü AI/ML işlem hatlarını, dağıtık veritabanlarını veya hiper-yakınsak altyapıyı ölçeklendirmeyi planlayan herhangi bir kuruluş için stratejik bir yatırım olarak konumlandırır.

Geleceğe bakıldığında, ekip programlanabilir veri yolları ve sıfır dokunuşlu sağlama için NVIDIA DOCA entegrasyonu dahil olmak üzere genişletilmiş kullanım senaryolarını araştırıyor. Gecikmeyi azaltma, verimi artırma ve CPU kaynaklarını geri kazanma konusundaki kanıtlanmış yeteneğiyle MCX631102AN-ADAT, kurumsal ve bulut ortamlarında 25GbE sunucu adaptörleri için yeni bir ölçüt belirliyor.