NVIDIA Mellanox MCX653106A-HDAT Sunucu Adaptörü Teknik Beyaz Kitap RDMA/RoCE Düşük Gecikmeli Taşıma ve Sunucu Verimliliği

September 11, 2026

NVIDIA Mellanox MCX653106A-HDAT Sunucu Adaptörü Teknik Beyaz Kitap RDMA/RoCE Düşük Gecikmeli Taşıma ve Sunucu Verimliliği

NVIDIA Mellanox MCX653106A-HDAT Sunucu Adaptörü Teknik Beyaz Kitap.

1Proje Arkaplanı ve Gereksinimler Analizi

Modern veri merkezi iş yükleri yapay zeka, yüksek performanslı hesaplama (HPC), dağıtılmış veritabanları,ve kurumsal depolama sistemleri, ağ gereksinimlerini temelden değiştirdi.Geleneksel TCP / IP tabanlı ağ yığınları, her yerde olsa da, ölçekte yasaklayıcı hale gelen gecikme ve CPU overhead'i getirir.Dağıtılmış makine öğrenimi eğitimi, ve gerçek zamanlı analitikler, optimal performansı elde etmek için deterministik, 5 mikrosaniyelik gecikme ve donanım hızlandırılmış veri hareketini gerektirir.

Ağ mimarları ve altyapı liderleri, bu performans kritik iş yükleri için tercih edilen ulaşım aracı olarak RDMA'yı Converged Ethernet (RoCE) üzerinden giderek daha fazla benimsiyorlar.Başarılı RoCE dağıtımı, altta yatan adaptörün taşıma işlemini boşaltma yeteneğine bağlıdır., sıkışıklığı etkili bir şekilde yönetmek ve çatal kaldırıcı yükseltmeleri gerektirmeden mevcut Ethernet kumaşlarıyla sorunsuz bir şekilde entegre olmak.ve HPC ortamları:

  • Yüksek frekanslı ticaret ve bellekteki veritabanları gibi gecikme duyarlı uygulamalar için 3 mikrosaniyelik RDMA gecikmesi
  • Yüksek yoğunluklu depolama düğümlerini ve GPU hızlandırılmış hesaplama kümelerini desteklemek için sunucu başına 100 Gb/s'yi aşan toplam işlem hızı
  • GPUDirect için AI ve HPC iş yüklerinde ana taraf hafıza kopyalarını ortadan kaldırmak için donanım yüklenmesi
  • Kayıpsız Ethernet taşımacılığı PFC ve ECN ile belirleyici, titreşimsiz performans için
  • Proaktif operasyonel görünürlük ve sorun giderme için kapsamlı telemetri ve programlanabilir veri yolu

BuNVIDIA Mellanox MCX653106A-HDATgelişmiş ConnectX mimarisi ile bu gereksinimleri doğrudan karşılıyor, donanım hızlandırılmış RoCEv2 sunuyor, gelişmiş tıkanıklık yönetimi,ve en zorlu kurumsal ve bulut ortamlarına uygun kapsamlı bir programlanabilirlik çerçevesi.

2Genel Ağ ve Sistem Mimarlığı Tasarımı

Önerilen çözüm mimarisi, sunucu erişim katmanında 25/50/100GbE bağlantılı bir yaprak omurilik topolojisini kullanır.MCX653106A-HDAT ConnectX adaptörü PCIe ağ kartı, üst raf (ToR) anahtarlarına fazladan bağlantı sağlar. Mimarlık dört farklı katmandan oluşur:

  • Hesaplama / Depolama Kenarı:BuMCX653106A-HDAT Ethernet adaptör kartıPCIe Gen 4.0 x16 üzerinden makineye bağlanır,256 GB/s'ye kadar iki yönlü ana bilgisayar bant genişliği sunmak ‡ ikili 100GbE bağlantı noktalarını tam olarak doyurmak için yeterli olup, aynı zamanda patlama trafiği ve gelecekteki hız yükseltmeleri için başlık alanı korumak.
  • Ağ Kumaşı:Çift port, aktif-aktif yük dengeleme ve donanım LAG boşaltma ile esnek ortamları (25GbE için SFP28, 50/100GbE için QSFP) destekliyor.Adaptör, donanım tabanlı hata geçiş ile 200 Gb / s'ye kadar toplu işlem kapasitesini destekler.
  • RDMA taşıma katmanı:Bölünme, yeniden montaj, tıkanıklık kontrolü ve tamamlama işlemi ile donanım hızlandırılmış RoCEv2.Adaptör, saniyede 200 milyon mesaja (Mpps) kadar, mikro saniyenin altındaki gecikme ile destekler..
  • Yönetim ve Telemetri:Redfish ve SNMP desteği ile bant dışı yönetim, gerçek zamanlı kumaş izleme ve performans optimizasyonu için bant içi telemetri ile tamamlanır.

Tasarım, kayıpsız bir Ethernet kumaşını vurgular.NVIDIA Mellanox MCX653106A-HDATRDMA son noktası olarak hizmet eder ve ana CPU müdahalesi olmadan doğrudan hafızadan hafıza aktarımlarını sağlar.MCX653106A-HDAT uyumlumevcut Ethernet geçiş altyapısı ile, yalnızca PFC ve ECN desteği gerektirir ¢ tüm büyük satıcılardan gelen modern veri merkezi geçişlerinde yaygın olarak bulunan özellikler.

3NVIDIA Mellanox MCX653106A-HDAT'ın Rolü ve Anahtar Özellikleri

BuMCX653106A-HDATMimarlıkta merkezi bir rol oynar ve birlikte düşük gecikme ve yüksek performanslı ağları sağlayan dört farklı değer katmanı sunar:

A. Donanım hızlandırılmış RDMA motoru
Adaptör, RoCEv2 taşıma işlemlerini “segmentasyon, yeniden montaj, tıkanıklık kontrolü dahil olmak üzere boşaltan, tamamen programlanabilir bir paket işleme boru hattı entegre eder.ve tamamlama işleme tamamen ana CPU'dan.MCX653106A-HDAT veri sayfası, donanım, 200 Mpps'lik maksimum mesaj hızı ve mikrosaniye altındaki uçtan sona gecikme ile tüm paket boyutlarında kablo hızı performansını destekler.

B. GPUDirect & NVMe-oF Taşınma
Bu durumun temel bir farklılaştırıcıMCX653106A-HDATGPUDirect için entegre desteği,Ana sayfa kopyaları olmadan GPU belleği ve ağ arayüzü arasında doğrudan veri hareketini mümkün kılmakDepolama iş yükleri için, adaptör NVMe-oF işlemlerini boşaltır.Standart Ethernet'i daha önce yalnızca özel InfiniBand ile elde edilebilen gecikme özelliklerine sahip yüksek performanslı bir depolama dokusuna dönüştürmek.

C. Gelişmiş QoS ve tıkanıklık yönetimi
Adaptör, sıkı öncelik, ağırlıklı adil kuyruğu ve oran sınırlama desteği ile trafik sınıfı başına öncelik vermeyi sağlar.PFC üretimi, ve uyarlanabilir yönlendirme yetenekleriMCX653106A-HDAT özellikleri.

D. Güvenlik ve Programlanabilirlik
Adaptör, güvenilir bir donanım kökü, güvenli önyükleme, şifrelenmiş firmware güncellemeleri ve güvenli yönetim arayüzlerini içerir.Gelişmiş operasyonel görünürlük için özel boşaltmalar ve bant içi ağ telemetri (INT) toplamasını sağlayan.

4. Uygulama ve ölçeklenebilirlik önerileri

Tipik dağıtım topolojisi

Önerilen dağıtım, aşağıdaki yapılandırmayla "omurga yaprağı" topolojisini takip eder:

  • Yaprak anahtarları:RoCEv2 desteği ile 25/50/100GbE ToR anahtarları, özel öncelik kuyruğunda (genellikle bir veya iki öncelik) ve tıkanıklık sinyallemesi için ECN'de PFC ile yapılandırılmıştır.En iyi RoCE performansı için jumbo çerçeveler (MTU 9000) önerilir..
  • Sunucu düğümleri:Her bir düğümMCX653106A-HDATAdaptörün PCIe Gen 4.0 x16 arayüzü, ana ve ikincil yaprak anahtarlarına çift evlendirme yoluyla bağlanır.
  • Omurilik katmanı:100/400GbE omurilik anahtarları, çoklu raflar arası mikro patlamaları absorbe etmek için yeterli tampon kapasitesine sahip engellemeyen raflar arası bağlantı sağlar.
  • Depolama / Bilgisayar Entegrasyonu:NVMe-oF dağıtımları için, hedef düğümler tutarlı RDMA yetenekleri için aynı adaptör türünü kullanır.adaptörün GPUDirect desteği, GPU'lar arasında eğim senkronizasyonu için kullanılır.

Ölçeklenebilirlik Düşünceleri

  • Sıkışıklık Alanları:PFC yayılmasını sınırlamak için kumaşı birden fazla tıkanıklık yönetim bölgesine (örneğin, raf veya kümeler başına) bölün.Adaptörün port başına oran sınırlaması gürültülü komşuları izole etmeye ve adil bant genişliği tahsisini korumaya yardımcı olur.
  • Orkestrasyon Entegrasyonu:Adaptör, Kubernetes (NVIDIA ağ operatörü aracılığıyla) ve OpenStack tarafından tam olarak desteklenir ve bulut ölçeğinde ortamlarda otomatik tedarik ve yaşam döngüsü yönetimini sağlar.
  • Geleceğe Güven:BuMCX653106A-HDAT100GbE ve daha yüksek hızları destekler, adaptör değiştirmeden gelecekteki ağ yükseltmeleri için ön plan sağlar.0 arayüzü aynı zamanda bir sonraki nesil sunucu platformları ile uyumluluğu sağlar.

Önemli değerlendirmeleri yapan kuruluşlar içinMCX653106A-HDAT fiyatı, toplam sahiplik maliyeti, özel depolama ağlarının ortadan kaldırılmasından kaynaklanan tasarrufları, CPU çekirdek tahsisinin azaltılmasını (tipik olarak sunucu başına 4-6 çekirdek kurtarma) içermelidir.ve birleşik kumaş yönetiminden gelen operasyonel verimlilik.

5İşlemler, İzleme, Sorun Çözme ve Optimizasyon

İzleme Çerçevesi

Çözüm, çok katmanlı gözlemlenebilirlik yaklaşımını içerir:

  • Adaptör düzeyinde telemetri:BuMCX653106A-HDATNVIDIA'nın ethtool, sysfs ve yönetim araçları aracılığıyla yüzlerce donanım sayacını ortaya çıkarır. Anahtar ölçümler arasında port başına verimlilik, PFC duraklama çerçeveleri, ECN işaretli paketler, RoCEv2 tıkanıklık olayları,RDMA tamamlama kuyruğu istatistikleri, ve her akış için gecikme histogramları.
  • Kumaş düzeyinde görünürlük:NVIDIA'nın birleşik yönetim platformuyla entegrasyon, topoloji görselleştirmesini, akış yolu analizini ve tüm doku boyunca anomali tespitini sağlar.
  • Uygulama ilişkisi:Adaptör, ağ performansının uygulama düzeyinde işlem gecikmesi ile kesin bir korelasyonu sağlayan sıra başına ve RDMA tamamlama sırası istatistikleri sağlar.

Sorunları Çözmek İçin Genel Szenaryolar

Operasyonel deneyime dayanarakNVIDIA Mellanox MCX653106A-HDAT, aşağıdaki teşhis kalıpları belirlenir:

  • PFC fırtına tespiti:PFC duraklama çerçeve sayaçlarını önceliklere göre izleyin ️ uzun süreli duraklama > hat hızının% 5'i tıkanıklık veya yanlış yapılandırmayı gösterir.Adaptörün sıraya tampon kullanımı sayaçları kullanarak kaynağı araştırın.
  • RoCEv2 Paketi Damlaları:Adaptörün düşme sayaçlarını kontrol edin (rx_discard, tx_discard) ve adaptör düzeyinde düşmeler ile kumaş düzeyinde boğulma arasında ayrım yapmak için ECN işaretlenmiş paketlerle ilişkilendirin.
  • Performans ayarlama:CPU kullanımına karşı gecikme oranını dengelemek için kesinti birleştirme parametrelerini ayarlayın.MCX653106A-HDAT veri sayfasıTüm ayarlanabilir parametreler hakkında ayrıntılı bir rehberlik sağlar.

Optimizasyon Rehberleri

Maksimum verim ve minimum gecikme ile elde etmek içinMCX653106A-HDAT Ethernet adaptör kart çözümü, aşağıdaki optimizasyonlar önerilir:

  • Donanım CRC, başlık / veri bölünmüş offloads ve alıcı tarafında ölçeklendirme (RSS) etkinleştirmek için trafiği çoklu CPU çekirdekleri arasında verimli dağıtmak
  • Gözlenen iş yükü profillerine dayanan adaptörün satıcıya özel tampon yapılandırma araçlarını kullanarak öncelik başına PFC eşiklerini dinamik olarak yapılandırın
  • Trafik sınıfı başına oran sınırlaması ve sıkı öncelik veya ağırlıklı adil kuyruğu dahil olmak üzere adaptörün gelişmiş QoS özelliklerini etkinleştir
  • Büyük ölçekli dağıtımlar için, PFC ve ECN müzakerelerini anahtarlarla otomatikleştirmek için adaptörün 802.1Qaz DCBX desteğini kullanın
  • Adaptörün programlanabilir veri yolunu, özel uygulama gereksinimlerine uyarlanmış özel telemetri toplama veya özel paket işleme yüklerini uygulamak için kullanın

6Özet & Değer Değerlendirme

Teknik çözüm,MCX653106A-HDATNVIDIA Mellanox'tan, 3 mikrosaniyelik RDMA gecikme ve sunucu başına 100 Gb/s'yi aşan toplu işlem hızına ulaşmak için açık bir yol sunuyor.MCX653106A-HDAT Ethernet adaptör kartıAI eğitimi, HPC, kurumsal depolama ve gerçek zamanlı analitik iş yüklerini aynı anda destekleyen modern, birleşik veri merkezi kumaşlarının temel yapı bloğu olarak hizmet eder.

Temel değer önerileri şunları içerir:

  • Altyapı konsolidasyonu:Tüm trafik türleri için kayıpsız Ethernet'i etkinleştirerek hem sermaye hem de işletme masraflarını azaltarak ayrı depolama ve hesaplama ağlarına olan ihtiyacı ortadan kaldırır
  • Performans Liderliği:GPUDirect ile donanım yüklenmiş RoCEv2, %90'dan fazla hat oranı kullanımı altında bile deterministik, mikrosaniye altındaki gecikmeyi sağlar.ve yüksek frekanslı ticaret
  • Operasyonel Verimlilik:Kapsamlı telemetri, kendi kendine iyileşen tıkanıklık yönetimi ve otomatik orkestrasyon entegrasyonları ortalama çözünme süresini (MTTR) ve operasyonel genel masrafları azaltır
  • Yatırım Koruması:Adaptörün PCIe Gen 4.0 arayüzü, programlanabilirliği ve çok hızlı port desteği, gelecekteki CPU nesilleri ve daha yüksek hızlı ağ kumaşları ile uyumluluğu sağlar

Aktif olarak değerlendiren kuruluşlar içinMCX653106A-HDAT satılıyor.Bu çözüm, finansal hizmetler, bulut sağlayıcıları, sağlık ve araştırma kurumları arasında üretim ortamlarında doğrulanmış kanıtlanmış bir referans mimarisi sunar.Performans kombinasyonu, ölçeklenebilirlik ve operasyonel olgunlukNVIDIA Mellanox MCX653106A-HDATYüksek performanslı, geleceğe hazır veri merkezi altyapısı inşa etmeye karar veren herhangi bir kuruluş için stratejik bir yatırım.