NVIDIA Mellanox MCX653106A-HDAT Teknik Çözüm: RDMA/RoCE Tabanlı Düşük Gecikmeli Aktarım ve Sunucu
June 16, 2026
Bu teknik beyaz kitap ağ mimarları, satış öncesi mühendisler ve operasyon yöneticileri için tasarlanmıştır.NVIDIA Mellanox MCX653106A-HDATsunucu adaptörü ve mikrosaniye ölçeğinde RDMA / RoCE taşımacılığı ve ultra yüksek işlem performansına sahip bir veri merkezi ağ altyapısı nasıl inşa edileceğini açıklar.
Modern veri merkezleri üç temel zorlukla karşı karşıyadır: dağıtılmış depolama alanlarında öngörülemeyen gecikme, yapay zeka eğitim kümelerinde bant genişliği açlığı,ve geleneksel ağ protokol yığınları tarafından aşırı CPU tüketimiGeleneksel TCP/IP çözümleri artık NVMe-oF, yüksek frekanslı ticaret ve gerçek zamanlı analitiklerin mikrosaniye ölçekli gecikme taleplerini karşılayamaz.MCX653106A-HDAT Ethernet adaptör kart çözümüBu, standart Ethernet altyapısı üzerinden donanım boşaltılmış RDMA taşımacılığını sağlayan ve aynı zamanda sunucu verimliliğini 200Gbps seviyesine kadar ölçeklendiren.
Bu çözüm, iki katmanlı bir Leaf-Spine CLOS mimarisini benimsiyor.NVIDIA Mellanox MCX653106A-HDATAna tasarım ilkeleri şunlardır:
- PFC (Öncelik Akış Kontrolü) ve ECN (Açık tıkanıklık bildirimi) ile etkinleştirilen uçtan sona kayıpsız ağ
- Depolama ve HPC iş yükleri için özel RDMA taşıma yolları
- Kontrol düzleminin (standart TCP/IP) ve veri düzleminin (RoCEv2) ayrılması
- Donanım tabanlı sanallaştırma yükleri (SR-IOV, VXLAN/NVGRE/Jeneve)
Bu konuyaMCX653106A-HDAT veri sayfası, adaptör 600ns altındaki port-to-port gecikme sağlar ve saniyede 215 milyona kadar paketi destekler, bu da hem Doğu-Batı depolama trafiği hem de Kuzey-Güney uygulama akışları için idealdir.
BuMCX653106A-HDAT ConnectX adaptörü PCIe ağ kartıTemel veri uçağı motoru olarak hizmet eder.
- RDMA/RoCE Hızlandırma:RoCEv2'nin tıkanıklık yönetimi, sıra dışı paket işleme ve uygulama tamponlarına anında veri yerleştirme de dahil olmak üzere tam donanım yüklenmesi.
- Depolama protokolü yükleme:NVMe-oF (hem TCP hem de RoCE varyantları), iSER ve SRP için yerel destek, yazılım tabanlı hedef işlemeyi ortadan kaldırır.
- Sanalleştirme ve Çoklu Kiralama:Port başına 1.000 sanal fonksiyona kadar (VF), üst üste tünel boşaltması ile hat hızı kapsülleme / dekapsülleme sağlar.
- Güvenlik ve Telemetri:200Gbps'lik iç IPsec/TLS şifreleme, artı donanım tabanlı akış izleme (örneğin bağlantı izleme, histogramlar).
Buna göreMCX653106A-HDAT özellikleri, adaptör, PCIe 4.0/5.0 x16 arayüzlerini destekler, tam 200GbE hat hızında bile ev sahibi tarafında engelleme sağlamaz.
Onaylanmış bir referans topolojisi şunlardan oluşur:
- Hesaplama Katmanı:48 çift soketli sunucu, her biri bir tane ile donatılmıştırMCX653106A-HDAT(iki portlu 100GbE yapılandırması) Portlar aktif-aktif bir LAG olarak bağlanır.
- Depolama katmanı:Her biri iki adet olan 12 tüm flash NVMe-oF hedef sunucusuMCX653106A-HDAT Ethernet adaptör kartıBirimler: biri ön uç hesaplama erişimi için, diğeri arka uç kopyalama için.
- Ağ Katmanı:Dört 100GbE Spine anahtarı ve sekiz Leaf anahtarı, DCBX, PFC (RoCE için sınıf 3) ve ECN eşiği ile yapılandırılmıştır.
200 düğümün ötesinde ölçeklendirme için mimari, donanım yüklenmesi (tamamen) ile EVPN-VXLAN kullanan çok pod tasarımlarını destekler.MCX653106A-HDAT uyumluKapasite değerlendirmesinde,MCX653106A-HDAT fiyatıkullanılabilir 100GbE bağlantı noktasına göre, kıyaslanabilir Fibre Channel veya InfiniBand çözümlerinden yaklaşık% 40 daha düşüktür.
RDMA/RoCE dağıtımlarının etkili bir şekilde çalıştırılması için özel araçlar gereklidir.
| Çevre | Önerilen Eylemler ve Araçlar |
|---|---|
| Telemetri ve Görünürlük | Donanım sayaçlarını etkinleştirmlx5cmdve Prometheus ihracatçısı; PFC molalarını, ECN işaretlenmiş paketleri ve RoCE yeniden iletimlerini izler. |
| Trafik sıkışıklığı tespiti | KullanımıEttool -SKuyruk istatistikleri için; NVIDIA'nın Docker tabanlı tıkanıklık telemetri kitini dağıtın. |
| Firmware ve Sürücü Mgmt | Devam et.MCX653106A-HDAT uyumluFirmware sürümleri (≥ 26.35.x) DOCA 2.5+ sürücü yığınının yanında. |
| Optimizasyon Rehberleri | Jumbo çerçeveler için MTU=9000 ayarlayın; roce_rx_qos_policy ayarlayın; karışık iş yükleri için dinamik kesinti moderesyonunu etkinleştirin. |
Sorun giderme için, RoCEv2-specifik meta verileri yakalamak içinRdmatoolveİBB_devinfoGenel tuzaklar arasında yanlış yapılandırılmış PFC öncelikleri (tüm ağ cihazları arasında tutarlılığı sağlamak) ve PCIe bağlantı hızlarının uyumsuzluğu (tekrarlama ile doğrulama) bulunur.İspci -vvv)
BuNVIDIA Mellanox MCX653106A-HDATStandart Ethernet kumaşlarını yüksek performanslı, kayıpsız ağlara dönüştürmek için kanıtlanmış, üretime hazır bir platform sunar.
- Gecikme:Deterministik alt-10μs NVMe-oF okuma gecikmesi (P99), gerçek zamanlı analiz ve HPC yakınlaşmasını sağlar.
- Devamı:Sınıf yakınındaki 200GbE hızı, sıfır paket kaybı ile, karşı doğrulanmıştır.MCX653106A-HDAT özellikleri.
- CPU verimliliği:Daha önce ağ ve depolama yığınları tarafından tüketilen CPU çekirdeklerinin% 30'una kadarını serbest bırakır.
- TCO:Özel bağlantılarla karşılaştırıldığında,MCX653106A-HDAT satılıyor.fiyatlandırma, standart Ethernet geçiş ile birleştirildiğinde, üç yıllık işletme maliyetlerini yaklaşık olarak% 35-50 oranında azaltır.
Mimarlar ve operasyon yöneticileri bu çözümü AI kumaşları, ayrılmış depolama ve ultra düşük gecikme mali sistemler için güvenle dağıtabilirler.yetkiline başvurMCX653106A-HDAT veri sayfasıve NVIDIA'nın DOCA belge kütüphanesi.