NVIDIA Mellanox MCX4121A-ACAT Sunucu Adaptörü Teknik Çözüm

Bu teknik çözüm, ağ mimarları, satış öncesi mühendisler ve operasyon liderleri için tasarlanmıştır.NVIDIA Mellanox MCX4121A-ACATsunucu adaptörü, RDMA / RoCE tabanlı düşük gecikme taşımacılığını sağlar ve modern veri merkezi ortamlarında sunucu verimliliğini önemli ölçüde artırır.

1Proje Arkaplanı ve Gereksinimler Analizi

Geleneksel TCP/IP ağları, dağıtılmış veritabanları, NVMe-oF depolama ve gerçek zamanlı analitik gibi performans hassas iş yüklerine temel sınırlamalar getirir.Ana ağrı noktaları, ağ yığını işlemesinden kaynaklanan yüksek CPU overhead içerir, paket yeniden iletileri nedeniyle öngörülemeyen gecikme ve çekirdek ve uygulama alanları arasında verimsiz bellek kopyası.

Bu zorlukları çözmek için, modern veri merkezleri aşağıdakileri sağlayan bir ağ çözümü gerektirir:

• Depolama ve HPC trafiği için 10 mikrosaniye altındaki uçtan uca gecikme
• CPU yükünü azaltmak için çekirdek geçiş ve doğrudan bellek erişimi
• Port başına 25GbE'yi destekleyen kayıpsız Ethernet kumaşı
• Mevcut Ethernet altyapısı ile sorunsuz entegrasyon

BuMCX4121A-ACATRoCE tabanlı çözüm, standart geçiş ekosistemleriyle uyumluluğu korurken bu gereksinimleri doğrudan karşılar.

2Genel Ağ ve Sistem Mimarlığı Tasarımı

Önerilen mimari, 25GbE erişim katmanlarında kayıpsız Ethernet ile yaprak omurilik topolojisini benimser.MCX4121A-ACAT Ethernet adaptör kartları, SFP28 DAC kabloları veya optik alıcılar aracılığıyla yaprak anahtarlarına bağlanır.Yaprak anahtarları öncelikli akış kontrolü (PFC) ve gelişmiş iletim seçimi (ETS) de dahil olmak üzere Veri Merkezi Köprüleme (DCB) protokollerini destekler, RoCE trafiği için çok önemlidir.

Yüksek kullanılabilirlik tasarımları için, çift portlu adaptörler aktif-aktif bağlanma veya hata geçirme yapılandırmalarını sağlar.Doğu-Batı trafik düzenleri için engellemeyen bant genişliği sağlamakBu tasarımın anahtarı, RoCE depolama trafiğinin VLAN ve QoS sınıflarını kullanarak düzenli TCP / IP yönetim trafiğinden ayrılmasıdır.

3NVIDIA Mellanox MCX4121A-ACAT'ın rolü ve ana özellikleri

BuNVIDIA Mellanox MCX4121A-ACATConverged Ethernet üzerinden RDMA'yı etkinleştiren kritik uç nokta bileşeni olarak hizmet eder. ConnectX-4 Lx ASIC üzerinde inşa edilmiştir,Bu çift portlu 25GbE SFP28 adaptörü aşağıdaki donanım hızlandırma yeteneklerini sağlar::

• RoCE donanım yüklenmesi:Silikonda RDMA taşıma işlemini tamamlayın, yazılım üst maliyetini ortadan kaldırın
• Etiket eşleşmesi ve kapı zili kurtarma:Donanım destekli güvenilir bağlantı yönetimi
• SR-IOV Sanalleştirme:Konteyner ve VM yoğunluğu için port başına 256 sanal fonksiyona kadar
• GPUDirect RDMA:AI/ML eğitim kümeleri için doğrudan GPU belleğine erişim
• Üst katma ağ yüklenmesi:VXLAN, NVGRE ve Geneve için donanım kapsülasyonu / dekapsülasyonu

BuMCX4121A-ACAT ConnectX-4 Lx çift portlu 25GbE SFP28Adaptör ayrıca uyarlanabilir yönlendirme, tıkanıklık kontrolü ve patlama tampon yükleri de dahil olmak üzere gelişmiş özellikleri destekler.MCX4121A-ACAT veri sayfasıkapsamlı elektrik, termal ve mekanik özellikler sunar.

4. Uygulama ve ölçeklendirme önerileri (Topoloji Örnekleri)

Tipik Topoloji: 100+ düğüm için 25GbE RoCE kumaş:

• Erişim Katmanı:DCB desteği ile 48 portlu 25GbE yaprak anahtarları
• Omurilik katmanı:32 portlu 100GbE omurilik anahtarları
• Sunucu Adaptörü: MCX4121A-ACAT(iki portlu) PCIe 3.0 x8 yuvasında
• Kablolama:SFP28 rak içi pasif DAC (≤5m), çapraz rak için aktif optik

Uygulama aşamaları:

• Sunucu BIOS ayarlarını doğrulayın (PCIe bölünmesi, SR-IOV etkinleştirilmiş, 4G dekodlama üstü)
• KurulumNVIDIA Mellanox MCX4121A-ACATmlxup veya MST araçları aracılığıyla sabit yazılım
• Değiştirici portları yapılandırın: PFC önceliği 3-5, ETS bant genişliği tahsisatı, güven DSCP
• Makine üzerinde RoCE'yi etkinleştir: RoCE modunu v2'ye ayarla (yönlendirme dostu), GID önekini yapılandır
• İbdiagnet ve cqounter izleme kullanarak kayıpsız davranış doğrula

500+ düğümlere ölçeklendirilmek için, depolama trafiğini üretim doğu-batı iletişimlerinden izole etmek için ayrı bir RoCE depolama dokusunu dağıtmayı düşünün.MCX4121A-ACAT uyumluEkosistem, sorunsuz ölçeklendirmeyi sağlayan tüm ana sunucu OEM'lerini ve anahtar satıcılarını içerir.

5İşlemler, İzleme, Sorun Çözme ve Optimizasyon

Ana İzleme Ölçümleri:

• RoCE paket düşüşleri (PFC yapılandırma sorunlarını gösterir)
• RDMA gönder/karşılama tamamlama kuyruğu derinlikleri
• Liman hataları, CRC ve bağlantı yeniden trenleri
• Çekirdek başına CPU kullanımı (çekirdek atlama etkinliğini ölçün)

Temel Aletler:

• mellanox_perf ?? adaptör düzeyinde bant genişliği/gecikme ölçümü
• İbdiagnet RoCE kumaş doğrulama ve kablo teşhisi
• ethtool -S
• syslog/dmesg driver ve firmware olay izleme

Optimizasyon Kılavuzları:

• Çoklu akış adalet için NRPE (ağ alıcı hızlandırma etkinleştirilmiş) ayarlayın
• İş yükü türüne göre kesinti birleşimini ayarlayın (moderasyon)
• Depolama iş yükleri için, RDMA tamamlamalarını özel CPU çekirdeklerine bağlayın
• KullanımıMCX4121A-ACAT özellikleriSürekli hat hızı yükü altında termal limitleri doğrulamak için

Bütçe ve kaynaklar dikkate alındığında, kontrol edinMCX4121A-ACAT fiyatıeğilimleri veMCX4121A-ACAT satılıkSeri tedarik genellikle gerçek bir sabit yazılım desteği sağlayarak birim başına maliyeti düşürür.

6Özet & Değer Değerlendirme

BuMCX4121A-ACAT Ethernet adaptör kart çözümüÇoklu boyutlarda ölçülebilir faydalar sağlar:

Çözüm, ham performansın ötesinde, depolama ve veri ağlarını tek bir kayıpsız Ethernet kumaşına birleştirerek TCO'yu azaltır.MCX4121A-ACATKuruluşların mevcut anahtar yatırımlarını korumalarını sağlarken, daha önce InfiniBand için ayrılmış olan RDMA yeteneklerini açığa çıkarır.Bu adaptör kanıtlanmış bir, düşük gecikme, yüksek performanslı sunucu ağlarına doğru ölçeklenebilir yol.