RDMA/RoCE Düşük Gecikmeli Taşıma ve Sunucu Verim Artışı

Bu teknik beyaz kağıt, mimarlar, satış öncesi mühendisler ve operasyon liderleri için temel olarak NVIDIA Mellanox MCX631432AN-ADAB üzerine kurulu kapsamlı bir referans tasarım sunmaktadır. Çözüm, yüksek performanslı, birleşik bir RDMA/RoCE fabric'in temel taşı olarak MCX631432AN-ADAB Ethernet adaptör kartı dağıtarak modern veri merkezi zorluklarını—yani, eski ağ yığınlarından kaynaklanan CPU yükü, tutarsız depolama gecikmesi ve yetersiz kullanılan 25GbE bant genişliği—ele almaktadır.

1. Proje Arka Planı ve Gereksinim Analizi

Geleneksel veri merkezi ağları, hem işlem hem de depolama trafiği için TCP/IP'ye dayanır ve CPU'nun her paketi işlemesini gerektirir. Dağıtılmış veritabanları, NVMe-over-Fabrics (NVMe-oF) veya AI eğitim iş yükleri çalıştıran ortamlarda, bu yazılım tabanlı yaklaşım üç temel sorun yaratır: yüksek ve değişken gecikme (depolama işlemleri için genellikle 50µs'yi aşar), önemli CPU yükü (ağ işleme için %30-60) ve protokol yükü nedeniyle fiziksel bant genişliğinin verimsiz kullanımı. 25GbE erişim katmanı hızı standardı haline geldikçe, bu verimsizlikler artık kabul edilemez hale gelmiştir. Bu çözüm için hedef gereksinimler şunlardır: 5µs'nin altında uçtan uca depolama gecikmesi, ağ G/Ç'si için %10'un altında CPU kullanımı ve sunucu başına çift 25GbE bağlantı noktalarının tam hat hızı kullanımı.

2. Genel Ağ/Sistem Mimari Tasarımı

Önerilen mimari, Katman 2'de kayıpsız Ethernet ile iki katmanlı bir spine-leaf topolojisi benimser. İşlem ve depolama düğümleri, her biri RoCEv2'yi etkinleştirmek için PFC (Öncelik Akış Kontrolü) ve ECN (Aşırı Yük Bildirimi) ile yapılandırılmış yaprak anahtarlarına eşit olarak dağıtılır. Temel mimari karar, her sunucuda MCX631432AN-ADAB ConnectX-6 Lx çift portlu 25GbE SFP28 adaptörünü dağıtmaktır, bu da hem ağ bağlantısı hem de RDMA için donanım boşaltması sağlar. RoCE trafiği için, en iyi çaba IP trafiğinden ayrı olarak özel bir DSCP tabanlı öncelik kuyruğu ayrılır. Merkezi yönetim, anahtar yapılandırması için NVIDIA'nın Cumulus Linux veya SONiC'ini kullanırken, ana bilgisayar tarafı orkestrasyonu NVIDIA OFED yığınından yararlanır.

3. NVIDIA Mellanox MCX631432AN-ADAB'ın Rolü ve Temel Özellikleri

Bu çözüm içinde, MCX631432AN-ADAB kritik bir kolaylaştırıcı olarak hizmet vermektedir—sıradan sunucuları düşük gecikmeli, yüksek verimli düğümlere dönüştürmektedir. MCX631432AN-ADAB veri sayfası temelinde, adaptör birkaç gelişmiş yetenek içerir:

• Donanım RDMA boşaltması: Silikon içinde tam RoCEv2 durum makinesi, yazılım tabanlı taşıma işlemesini ortadan kaldırır.
• Çift portlu 25GbE SFP28: Hem aktif optik hem de DAC kablolamasını destekler, port başına bağımsız PPS işleme ile.
• PCIe 4.0 x16 ana bilgisayar arayüzü: Adaptör ile ana bilgisayar belleği arasında herhangi bir darboğaz bırakmadan 200Gbps'ye kadar çift yönlü bant genişliği sağlar.
• Satır içi şifreleme boşaltması: Satır hızında IPsec ve TLS işlemesi, sıfır güven depolama ağları için kritiktir.
• NVMe-oF hızlandırması: NVMe/TCP ve NVMe/RoCE için özel olarak optimize edilmiş donanım tabanlı komut kuyruklama ve veri yerleştirme.

Resmi MCX631432AN-ADAB spesifikasyonlarına göre, adaptör 800ns'nin altında donanım gecikmesi sağlar ve saniyede 200 milyon mesaja kadar destekler. Açık kaynaklı RDMACM kütüphanesi ile birleştirildiğinde, uygulamalar minimum kod değişikliğiyle TCP soketlerinden RDMA fiillerine geçiş yapabilir. Bu çözümü değerlendiren kuruluşlar için, MCX631432AN-ADAB uyumlu sunucu listesinin tüm büyük OEM platformlarını (Dell PowerEdge, HPE ProLiant, Lenovo ThinkSystem ve Supermicro) RHEL, Ubuntu, Rocky Linux ve Windows Server için sertifikalı sürücülerle içerdiğini belirtmek önemlidir.

4. Dağıtım ve Ölçeklendirme Önerileri

Tipik bir raf seviyesi dağıtımı bu deseni izler: her işlem veya depolama düğümü bir MCX631432AN-ADAB Ethernet adaptör kartı çözümü alır, çift portları yedeklilik için aktif-aktif LACP bağlama olarak veya ayrı fabric yolları (biri leaf-A'ya, biri leaf-B'ye) olarak yapılandırılır. Fiziksel topoloji basittir:

• Her sunucu → iki adet 25GbE bağlantı → iki ayrı yaprak anahtarı (kesintisiz hata devralmayı destekler).
• Yaprak anahtarları → 100GbE uplink'ler → tam ağ geçidi engellemeyen için iki spine anahtarı.
• Tüm anahtarlarda PFC'nin etkinleştirildiği bu sınıf için RoCE trafiği için özel DSCP işaretlemesi (örneğin, 46).

200 sunucunun ötesinde ölçeklendirme için, depolama ve işlem için sırasıyla ayrı bir RoCE kümesi dağıtmanızı veya depolama RoCE trafiğinin önceliklendirildiğinden emin olmak için QoS politikasını kullanmanızı öneririz. Yaprak anahtarlarındaki tampon ayarlaması da kritiktir: paket kaybı olmadan mikro-patlamaları emmek için 25GbE portları için port başına paylaşılan tampon boyutları 12MB'a yükseltilmelidir. Kuruluşlar, toplu fiyatlandırma için MCX631432AN-ADAB satılık satıcı kataloglarına ve düğüm başına MCX631432AN-ADAB fiyatı genellikle CPU tasarrufları ve depolama verimliliği kazançları nedeniyle altı ay içinde amorti edilir.

5. Operasyonlar, İzleme ve Performans Ayarı

Dağıtım sonrası, aşağıdaki araçlar ve uygulamalar sürekli düşük gecikmeyi sağlar:

• Ana bilgisayar tarafı izleme: Kuyruk başına RDMA sayaçlarını, PCIe yeniden iletimini ve RoCE aşırı yük işaretlerini izlemek için mlx_perf ve ethtool -S kullanın.
• Anahtar telemetrisi: Üretimi etkilemeden önce hat başı engellemesini tespit etmek için PFC watchdog ve ECN işaretleme histogramlarını etkinleştirin.
• Ayarlama önerileri: RDMA tamamlama kuyrukları için CPU çekirdeklerini izole etmek üzere irqbalance ayarlayın; PCIe maksimum okuma isteği boyutunu 4096 bayta yükseltin; yanlış aşırı yük sinyallerini önlemek için en iyi çaba kuyruğunda ECN'yi devre dışı bırakın.
• Firmware ve sürücü yaşam döngüsü: NVIDIA OFED sürüm notlarına abone olun; MCX631432AN-ADAB Ethernet adaptör kartı çift görüntü bankası sayesinde ana bilgisayar yeniden başlatması olmadan yerinde firmware yükseltmesini destekler.

Sorun giderme için, adaptörün yerleşik hata sayaçları (örneğin, sembol hataları, yerel bağlantı bütünlüğü hataları) hızlı teşhis sağlar. Yeni anahtar modelleriyle entegre olurken, NVIDIA tarafından tutulan MCX631432AN-ADAB uyumlu birlikte çalışabilirlik matrisini kontrol edin.

6. Özet ve Değer Değerlendirmesi

NVIDIA Mellanox MCX631432AN-ADAB-tabanlı çözüm üç boyutta ölçülebilir değer sunar: performans, TCO ve operasyonel basitlik. Taşıma, şifreleme ve depolama protokolü işlemesini CPU'dan adaptöre kaydırarak, kuruluşlar 40'tan fazla CPU döngüsünü uygulama mantığı için serbest bırakırken 5µs'nin altında NVMe-oF gecikmesi elde eder. Çift portlu 25GbE tasarımı, sunucu bağlantısını geleceğe hazırlar ve olgun NVIDIA OFED yazılım yığını entegrasyon riskini azaltır. Yeşil alan 25GbE dağıtımı planlayan veya mevcut TCP'ye bağlı altyapıyı modernize eden mimarlar için, MCX631432AN-ADAB ConnectX-6 Lx çift portlu 25GbE SFP28-merkezli bu teknik çözüm, RDMA/RoCE başarısı için kanıtlanmış, ölçeklenebilir ve yatırım korumalı bir yol temsil eder.