NVIDIA Mellanox MCX653105A-HDAT Sunucu Adaptörü Teknik Çözümü

Dağıtılmış depolama, birleştirilmiş veritabanları ve yapay zeka eğitim platformları 100GbE/200GbE ağlara doğru geliştikçe, geleneksel TCP/IP yığını birincil performans darboğazı haline geldi. Veri çoğaltma ve günlük senkronizasyonu gibi kritik işlemler gecikmeye karşı oldukça hassastır, ancak çekirdek ağ yığını onlarca mikrosaniyelik gecikmeye neden olur ve protokol işleme için önemli miktarda CPU kaynağı tüketir, bu da üretimin ölçeklenebilirliğini ciddi şekilde sınırlandırır. Modern veri merkezleri, belleğe yakın gecikme süresi, hat hızında işlem hacmi ve minimum CPU müdahalesi sağlayan bir ağ çözümü gerektirir.

Bu teknik çözüm,NVIDIA Mellanox MCX653105A-HDATaşağıdaki temel gereksinimleri karşılamak üzere tasarlanmış sunucu adaptörü:

• Dağıtılmış depolama ve HPC iş yükleri için mikro saniyenin altında düğümler arası gecikme süresi
• Ağ işleme için %10'un altında CPU kullanımı, uygulama mantığı için çekirdeklerin serbest bırakılması
• Kuyruk gecikmesindeki ani artışları önlemek için tıkanıklık kontrolüyle kayıpsız aktarım
• Mevcut Ethernet altyapısıyla kusursuz entegrasyon
• NVMe-over-Fabrics (NVMe-oF) ve GPUDirect RDMA için donanım aktarımı

Önerilen mimari, birincil aktarım protokolü olarak dağıtılan RoCE (Yakınsanmış Ethernet üzerinden RDMA) ile iki katmanlı bir CLOS (omurga yaprağı) topolojisini benimser. Tüm bilgi işlem ve depolama sunucuları aşağıdakilerle donatılmıştır:MCX653105A-HDAT Ethernet adaptör kartı, RoCE özellikli yaprak anahtarlara bağlanır. PFC (Öncelikli Akış Kontrolü) ve ECN (Açık Tıkanıklık Bildirimi), RDMA trafiği için kayıpsız Ethernet etki alanları oluşturmak üzere etkinleştirilirken, ayrı öncelik kuyrukları depolama, HPC ve yönetim akışlarını izole eder.

Temel mimari kararlar şunları içerir:

• RoCEv2Katman 3 sınırları boyunca yönlendirmeye izin vermek için UDP‑IP üzerinden
• DCQCN (Veri Merkezi Sayısallaştırılmış Tıkanıklık Bildirimi)proaktif tıkanıklık yönetimi için
• Bölümlenmiş PCIeaynı bağdaştırıcıda depolamaya karşı işlem trafiğine bant genişliği ayırmak için
• Çoklu ana bilgisayar desteğitek bir bağdaştırıcıyı paylaşan en fazla dört sunucunun etkinleştirilmesi (ayrılmış depolama senaryoları)

Bu çözümün temelindeNVIDIA Mellanox MCX653105A-HDAT– çift bağlantı noktalı 100GbE ConnectX‑6 Dx adaptör – kritik boşaltma motoru olarak görev yapar. göreMCX653105A-HDAT veri sayfasıKart, sunucuların ağ G/Ç işlemlerini temelden değiştiren donanım hızlandırıcılarını entegre ediyor.

Aşağıdaki tabloda belirli özelliklerin mimari gereksinimleri nasıl karşıladığı vurgulanmaktadır:

MCX653105A-HDAT ConnectX adaptör PCIe ağ kartıaynı zamanda gelişmiş telemetri içerir; her paket, ana bilgisayar CPU'sunu sorgulamadan gerçek zamanlı tıkanıklık görünürlüğünü besleyen donanım zaman damgalarını ve akış sayaçlarını taşır. Tedarikle ilgilenen kuruluşlar için,MCX653105A-HDAT fiyatıYalnızca CPU ölçeklendirmesi veya FPGA tabanlı alternatiflerle karşılaştırıldığında cazip bir yatırım getirisi sunar.

Tipik bir 200 düğümlü küme için aşağıdaki dağıtım yaklaşımını öneririz:

• Yaprak katmanı:PFC/ECN etkinleştirilmiş, iş yükü yoğunluğuna göre ayarlanmış DCQCN parametreleri için yapılandırılmış, RoCE özellikli anahtarlar (örneğin, NVIDIA SN3700).
• Omurga katmanı:Yeterli aşırı abonelik oranına sahip, bloke olmayan anahtarlar (depolama trafiği için maksimum 3:1).
• Sunucu tarafı:BirMCX653105A-HDAT Ethernet adaptör kartı çözümüpaylaşılan depolama kümeleri için iki düğüm başına veya bilgi işlem yoğunluklu HPC için düğüm başına bir tane.
• Tamponlar ve MTU:9000 baytlık jumbo çerçeveleri uçtan uca yapılandırın ve kayıpsız garantiler için öncelik grubu başına anahtar arabelleğinin %10-20'sini ayırın.

Uyumluluk doğrulanırken çoğu büyük sunucu platformuMCX653105A-HDAT uyumlu– Dell PowerEdge, HPE ProLiant, Lenovo ThinkSystem ve Supermicro dahil. Adaptörün PCIe 4.0/5.0 x16 arayüzü, yeni nesil CPU'lar için geleceğe yönelik bant genişliği sağlar.

Üretim RoCE dağıtımları proaktif görünürlük gerektirir. Aşağıdaki operasyonel uygulamaları öneriyoruz:

• Telemetri koleksiyonu:NVIDIA'yı kullanmft(Mellanox Ürün Yazılımı Araçları) veettool -Sbağlantı noktası başına ve kuyruk başına sayaçları Prometheus veya benzer sistemlere aktarmak için.
• İzlenecek temel ölçümler:Saniye başına PFC duraklatma kareleri, ECN işaretli paket hızı, RoCE yeniden iletimleri ve adaptör sıcaklığı.
• Tıkanıklık tespiti:PFC duraklamalarındaki ani bir artış genellikle yavaş bir alıcıya işaret eder; kontrol etmekMCX653105A-HDAT teknik özellikleriarabellek eşiği ayarlama parametreleri için.
• Firmware yönetimi:Bakım pencereleri sırasında ürün yazılımı yükseltmelerini planlayın; adaptör, kesinti süresini en aza indirmek için RoCE bağlantılarının canlı geçişini destekler.
• Performans ayarlama kontrol listesi:IRQ birleştirmeyi etkinleştirin, uygun Rx/Tx halka boyutlarını ayarlayın (4096 önerilir), özel çekirdeklere pin kesintileri yapın ve PCIe bağlantı genişliğini (x16 @ Gen4/5) doğrulayın.

NVIDIA Mellanox MCX653105A-HDATRDMA/RoCE tabanlı düşük gecikmeli yapılar için eksiksiz, üretime hazır bir temel sunar. Depolama komutlarından sanal anahtarlamaya ve güvenlik şifrelemesine kadar tüm veri yolunu boşaltarak sunucu ağını bir darboğazdan hızlandırıcıya dönüştürür. Bu çözümü benimseyen kuruluşlar şunları bekleyebilir:

• Deterministik 2 µs'nin altında gecikmeyüzlerce düğümde
• 5–10 kat verim artışıNVMe‑oF ve HPC iş akışları için
• %80–90 azalmaağla ilgili CPU ek yükünde
• Doğrusal ölçeklenebilirliktıkanıklık olmadan çöküş

Seçenekleri değerlendiren mühendisler içinMCX653105A-HDAT veri sayfasıve resmi uyumluluk kılavuzları yetkili referanslardır. Adaptörle artık yaygın olarakMCX653105A-HDAT satılıkNVIDIA'nın kanal ortakları aracılığıyla yüksek performanslı, düşük gecikmeli bir veri düzlemine giden yol hem açık hem de ulaşılabilirdir. Bu teknik çözüm, RDMA ve RoCE ile 100GbE ağının tüm potansiyelini ortaya çıkarmak isteyen her kuruluş için bir plan sağlar.