Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Sunucu Adaptörü Teknik Beyaz Kitap

Bu teknik whitepaper, ağ mimarları, satış öncesi mühendisler ve operasyon yöneticileri için tasarlanmıştır.Mellanox (NVIDIA Mellanox) MCX623106AN-CDATServer adaptörü ve RDMA/RoCE teknolojisini kullanarak düşük gecikme ve yüksek verimlilikli veri merkezi ağlarının nasıl inşa edileceğini gösterir.dağıtım ve ölçeklendirme stratejileri, operasyon ve izleme gibi gerçek dünya uygulaması için uygulanabilir rehberlik sağlayan.

Modern veri merkezleri üç temel zorlukla karşı karşıyadır: CPU ağ sıkıntılarına dönüşüyor, aşırı depolama erişim gecikmesi ve dağıtılmış uygulamalar için kontrol edilemeyen iletişim başlığı.Geleneksel TCP/IP protokol yığını, büyük ölçekli paralel iletişim sırasında protokol işleme ve veri kopyalamasına CPU kaynaklarının% 30'undan fazlasını tüketirBu arada, NVMe over Fabrics, dağıtılmış makine öğrenimi çerçeveleri (örneğin, NCCL),ve hafızadaki veritabanları 20 mikrosaniyelik son-son gecikme gerektiriyorAcilen gereken, çekirdeği atlayan ve donanım düzeyinde taşıma yükünü sağlayan bir çözümdür.MCX623106AN-CDATRoCE teknolojisi çözümleriyle birleştirilmiş.

Bu çözüm, iki katmanlı bir Spine-Leaf topolojisini benimser.NVIDIA Mellanox MCX623106AN-CDATEthernet adaptörü. Yaprak anahtarları, kayıpsız RoCE işlevi için yapılandırılmıştır, PFC (Öncelik Akış Kontrolü) ve ECN (Açık tıkanıklık bildirimi)RoCE trafiği için ayrılmış özel bir öncelik kuyruğu ileTemel tasarım ilkeleri şunlardır:

• Kontrol ve veri düzlemlerinin ayrılması: RoCE veri akışları tamamen adaptördeki donanım tarafından işlenirken, kontrol protokolleri (örneğin, ARP, DHCP) hala geleneksel yolu takip eder.
• Birleştirilmiş kumaş: Ethernet hem standart TCP/IP hem de RoCE trafiğini taşır ve QoS izolasyonu DSCP işareti ile elde edilir.
• Son-son tıkanıklık yönetimi: DCQCN algoritmasına dayanarak, kaynak adaptörleri ve anahtarlar arasında kapalı döngü geri bildirim mekanizması oluşturur.

BuMCX623106AN-CDAT Ethernet adaptör kartıHer sunucu düğümünde kritik bir rol oynar. Çift portlu 100GbE tasarımı, yedeklik için farklı Leaf anahtarlarına bağlanabilir veya depolama ve hesaplama trafiği arasında fiziksel izolasyon sağlayabilir.

Bu çözümün temel veri düzlemi bileşeni olarak,MCX623106AN-CDAT ConnectX adaptörü PCIe ağ kartıaşağıdaki belirleyici yetenekleri sağlar:

• Donanım RoCE boşaltma motoru: Ev sahibi CPU müdahalesi olmadan taşıma katmanı işleme (segmentasyon, yeniden montaj, onaylama, yeniden iletim) çalışır.
• Dinamik ConnectX boşaltmaları: Çok çekirdekli sunucularda işlem hızını artırarak, çok kuyruğundaki trafiği otomatik olarak dağıtır.
• PCIe 4.0 x16 makine arayüzü: 256Gb/s teorik bant genişliği, hat hızı iletiminde engelleme sağlanmıyor.
• Gelişmiş depolama boşaltmaları: Fabrics üzerinden NVMe için donanım hızlandırmasını destekler, isim alanı arama ve veri bütünlüğü kontrolleri de dahil.

Buna göreMCX623106AN-CDAT veri sayfasıve halka açıkMCX623106AN-CDAT özellikleri, bu adaptör 600 nanosaniye altındaki port-to-port gecikme hızına ulaşır ve saniyede 200 milyon pakete kadar paket işleme hızlarını destekler.MCX623106AN-CDAT fiyatıkarşılaştırılabilir 100GbE RoCE adaptörleri arasında çok rekabetçi veMCX623106AN-CDAT satılıkStandart dağıtım kanalları aracılığıyla mevcuttur. Seçimden önce, sunucu modellerinin internette göründüğünü onaylamanız önerilir.MCX623106AN-CDAT uyumlulisteki ana OEM platformlarının hepsi onaylanmıştır.

Tipik Topoloji Açıklaması:
2 Spine anahtarı ve 4 Leaf anahtarından oluşan bir Clos mimarisi.MCX623106AN-CDAT, her iki 100GbE portu da iki farklı Leaf anahtarına bağlıdır. Leaf yük bağlantı portları Spines'e 4: 1 fazla abonelik oranında bağlanır. RoCE trafiği için özel bir VLAN kullanılır.

Uygulama Adımları:

• Adım 1: Fiziksel olarak yükleyinMCX623106AN-CDATPCIe 4.0 x16 yuvasına, sonra en son yazılım yazılımı ve NVIDIA MLNX_OFED sürücüsünü yükleyin.
• Adım 2: anahtarlarda, PFC'yi (önceliği 3 önerilen) ve ECN'yi (Kmin/Kmax ayar) RoCE trafiği için yapılandırın.
• Adım 3: işletim sisteminde RoCEv2 modunu etkinleştirin ve DCQCN parametrelerini yapılandırın (başlangıç değerleri: α=1, β=1, zamanlama süresi 100μs).
• Adım 4: Performans temelini doğrulamak için ib_write_bw ve ib_write_lat araçlarını kullanın.

Ölçekleme Tavsiyeleri:Klüster 500 düğümün ötesine ölçeklendikten sonra, adaptörün akış kontrolünü (PPC) ve QoS haritalama tablolarını etkinleştirmeyi ve hat başı engellemeyi önlemek için birden fazla RoCE önceliğini kullanmayı düşünün.

Operasyon ekipleri, aşağıdaki araçları kullanarakMCX623106AN-CDAT Ethernet adaptör kart çözümü:

• mlxconfig / mlxfwmanager: Firmware parametrelerini yapılandırın ve firmware yükseltmelerini yönetin.
• Ettool -S: RoCE gönderme/karşılama sayaçlarını ve PFC pause frame sayımlarını görüntüle.
• İbdiagnet: Gereksiz PFC fırtınalarını tespit etmek için kapsamlı bir RoCE ağ teşhisini gerçekleştirin.
• Telemetri ve HIST: Kuyruk gecikme anormalliklerini belirlemek için adaptörde yerleşik tarihsel gecikme dağılım tablolarını kullanın.

Genel Sorun Çözümü:

• Beklentilerin altındaki performans: PCIe müzakere durumunu kontrol edin (Gen4 x16 olmalıdır) ve MTU'nun 9000 jumbo çerçevesine eşit şekilde ayarlandığından emin olun.
• RoCE bağlantı hataları: DSCP haritalamasını ve VLAN konfigürasyonunu doğrulayın, anahtarın RoCE işaretlenmiş paketleri düşürmediğinden emin olun.
• Yüksek CPU kullanımı: Bu, donanım yüklenmesinin etkinleştirilmediğini gösterebilir; ethtool yüklenme ayarlarını kontrol edin.

Optimizasyon tavsiyeleri:Son derece gecikme hassas uygulamaları için (örneğin, yüksek frekanslı ticaret, RDMA günlük replikasyonu),RoCE hizmet türünü "bağlantılı" den "datagram" a değiştirmeyi ve tıkanıklık kontrolünü devre dışı bırakmayı düşünün..

RDMA/RoCE çözümüMCX623106AN-CDATDağıtılmış uygulamalar için, mevcut Ethernet altyapısını değiştirmeden, uçtan uca gecikmeyi büyüklük derecesinde (yüzlerce mikrosaniye'den onlarca mikrosaniye'ye) azaltır.Aynı anda CPU hesaplama kaynaklarının %20~30%'ünü serbest bırakırken. Yapay zeka eğitimi, hiperkonverje depolama ve gerçek zamanlı analiz gibi senaryolar için, bu doğrudan daha kısa iş tamamlama sürelerine ve daha yüksek sunucu yoğunluğuna dönüşür.MCX623106AN-CDAT Ethernet adaptör kart çözümü, "kayıpsız Ethernet + akıllı NIC'nin hem yüksek verimlilik hem de düşük gecikme elde etmek için uygulanabilir bir yol olduğunu göstermektedir.MCX623106AN-CDAT veri sayfası, lütfen resmi NVIDIA belgelerine bakın veya çözüm mimarisi ekibine başvurun.