NVIDIA Mellanox MCX4121A-ACAT Sunucu Adaptörü Teknik Beyaz Kitap | RDMA/RoCE Düşük Gecikmeli Taşıma ve Sunucu

NVIDIA Mellanox MCX4121A-ACAT Sunucu Adaptörü Teknik Beyaz Kağıt

1Proje Arkaplanı ve Gereksinimler Analizi

Modern veri merkezleri, AI/ML eğitiminden ve yüksek frekanslı ticaretten dağıtılmış veritabanlarına ve NVMe-over-Fabrics depolamasına kadar giderek daha zorlu iş yüklerini desteklemek için acımasız bir baskı altındadır.25GbE Ethernet, ana akım erişim katmanı standardı haline geldi., birçok kuruluş tek başına ham bant genişliğinin uygulama performansına dönüşmediğini bulur. Temel engelleme geleneksel TCP/IP yığınındadır:öngörülemeyen gecikme, ve sunucu CPU çekirdeklerinin %20~30%'unu tüketebilecek verimsiz paket işleme. Gecikme duyarlı ve işlem gücü aç uygulamalar için ağ alt sistemi genellikle en zayıf halka olur.

Bu Beyaz Kitap, bu zorluklara,NVIDIA Mellanox MCX4121A-ACAT25GbE altyapısının tüm potansiyelini açığa çıkarmak isteyen kuruluşlar için tasarlanmıştır.MCX4121A-ACAT Ethernet adaptör kartıiki portlu 25GbE bağlantısını, Hardware hızlandırılmış RDMA ile Converged Ethernet (RoCE) üzerinden birleştirir. Çözüm üç temel hedefi hedefler: (1) uygulama düzeyinde gecikmeyi 10μs'in altında azaltmak,(2) CPU ağ işlem masraflarını %80'den fazla azaltmak, ve (3) mimari yeniden işlemeden birkaç düğümden yüzlere kadar kesintisiz ölçeklenebilirliği sağlar.

2Genel Ağ ve Sistem Mimarlığı Tasarımı

Önerilen mimari, sunucu erişim katmanı olarak 25GbE ve omurga ile 100GbE yukarı bağlantıları olan bir yaprak omurilik topolojisini benimser.MCX4121A-ACAT ConnectX-4 Lx çift portlu 25GbE SFP28Her hesaplama ve depolama düğümünde yerleştirilen adaptör.

• Kayıpsız Ethernet kumaşı:Paket düşmelerini ortadan kaldırmak ve deterministik gecikmeyi sağlamak için PFC (Öncelik Akış Kontrolü) ve ECN (Açık tıkanıklık bildirimi) ile RoCE v2'den yararlanmak.
• Her yerde donanım yüklenmesi:Kontrol toplamı, segmentasyon ve RDMA dahil olmak üzere nakliye katman işleminin
• Aktif-Aktif Çıkarma:50Gb/s toplam bant genişliği ve otomatik hata geçiş için bağlantı toplama (LACP) modunda her iki SFP28 portunu kullanmak.

Çözüm tamamenMCX4121A-ACAT uyumluönde gelen sunucu platformları (Dell PowerEdge, HPE ProLiant, Supermicro) ve NVIDIA Spectrum ve Arista'dan anahtarlar ile.Yerel NVMe sürücülerine yaklaşan gecikme süreleri ile paylaşılan ayrıntılı depolamayı mümkün kılan.

3NVIDIA Mellanox MCX4121A-ACAT'ın Rolü ve Anahtar Özellikleri

Bu çözümün temel bileşeni olarak,NVIDIA Mellanox MCX4121A-ACATÜç kritik işlevi yerine getirir:

Önemli özelliklerMCX4121A-ACAT veri sayfasıPCIe 3.0 x8 makine arayüzü, kapsamlı boşaltmalar (kontrol toplamı, LSO/LRO, VLAN çıkarma/ekleme) ve her port için gelişmiş telemetri içerir.Adaptörün güç verimliliği (< 10W tipik) ve geniş işletim sistemi desteği (Linux), Windows, VMware ESXi) onu heterojen ortamlar için çok yönlü bir yapı taşı haline getirir.

4. Uygulama ve ölçeklendirme önerileri

Greenfield dağıtımları için, 25GbE erişimi ve 100GbE/400GbE omurga bağlantıları ile iki katmanlı bir yaprak omurilik topolojisi öneririz.MCX4121A-ACAT Ethernet adaptör kartıHer iki port da yedeklik için ayrı yaprak anahtarlarına bağlıdır. RoCE kumaşı, tüm anahtarlarda tutarlı bir QoS konfigürasyonu gerektirir.PFC öncelik 3'te ve ECN işareti aynı trafik sınıfındaİzleme ve sorun gidermeyi basitleştirmek için RoCE trafiği için özel bir VLAN tahsis etmeyi öneririz.

Brownfield ortamları için,MCX4121A-ACAT Ethernet adaptör kart çözümüAdaptör, 10GbE SFP + optikleriyle geriye uyumlu olduğundan, mevcut kablolar aşamalı olarak 25GbE'ye yükseltme sırasında tekrar kullanılabilir.Adaptör ayrıca zorunlu RoCE etkinleştirme olmadan standart Ethernet geçişini destekler, ekiplerin önce donanımı dağıtmalarına ve kumaş olgunlaştıkça RDMA yeteneklerini aşama aşama etkinleştirmelerine izin verir.

Çözümün ölçeklendirilmesi basit: ek düğümler sadece aynıMCX4121A-ACAT satılıkSKU, ve doku otomatik olarak LLDP ve DCBx müzakere yoluyla yeni uç noktaları barındırır.özel bir RoCE tıkanıklık yönetimi denetleyicisi yerleştirmeyi öneririz (e.g., NVIDIA Spektrum anahtarları ile yerleşik telemetri) ölçekte kayıpsız davranış sürdürmek için.

5İşlemler, İzleme, Sorun Çözme ve Optimizasyon

RoCE kumaşının etkili çalışması çok katmanlı bir izleme stratejisi gerektirir:

• Adaptör düzeyinde telemetri:BuMCX4121A-ACAT özellikleriPFC çerçeveleri, ECN işaretlenmiş paketler ve düşürülmüş çerçeveler için port başına sayaçlar içerir.mlx5cmdveya NVIDIA yazılım araçları bunları Prometheus/Grafana'ya aktarmak için.
• Değiştirme seviyesi izleme:Buffer işgalini, duraklama çerçeve sayısını ve omurilik ve yaprak anahtarlarındaki kuyruğun derinliğini izleyin.
• Uygulama seviyesi ölçümleri:RDMA uygulamaları için, satıcı tarafından sağlanan kütüphaneleri kullanarak WR (İş İsteği) tamamlama gecikmeleri ve CQ (Tamlama kuyruğu) taşınma olaylarını izleyin.

Genel sorun giderme senaryoları şunları içerir:

• RoCE performansının bozulması:PFC'nin tüm anahtar portlarında etkinleştirildiğini ve DSCP işaretinin anahtar konfigürasyonuna uyuştuğunu kontrol edin.MCX4121A-ACAT veri sayfasıBuffer tahsis ayarlarını doğrulamak için.
• Bağlantı çarpması veya CRC hatası:SFP28 kablosunun kalitesini kontrol edin ve adaptör yazılımının en son sürümüne güncellendiğinden emin olun.
• CPU yüklenmesine rağmen hala yüksek:RDMA'nın gerçekten kullanıldığını (TCP'ye geri dönmediğini) sürücü sayaçlarını ve uygulama günlüklerini denemekle doğrulayın.

Optimizasyon için, aşağıdaki ayarlama parametrelerini öneririz (geniş laboratuvar doğrulamalarından türetilmiştir): - Set interrupt coalescing (moderation) to 4 µs for mixed workloads - Enable hardware timestamping for precise latency measurement - Configure RSS (Receive Side Scaling) across multiple CPU cores for non-RDMA traffic - For storage workloads, protokol başlığını azaltmak için maksimum RDMA MTU'yu 4096 baytaya yükseltin

6Özet & Değer Değerlendirme

BuNVIDIA Mellanox MCX4121A-ACATBu çözüm, modern veri merkezleri için dönüştürücü bir değer sunar. TCP/IP'yi RDMA/RoCE ile değiştirerek kuruluşlar uygulama düzeyinde 5×10 oranında gecikme azalması sağlayabilir.% 80'den fazla CPU ağ harcamalarını azaltmak, ve sunucu konteyner yoğunluğunu %30-50 oranında arttırır.MCX4121A-ACAT Ethernet adaptör kartıGeriye dönük uyumluluk ve geleceğe hazır boşaltma yetenekleri ile yatırım koruması ile 25GbE'nin benimsenmesine uygun maliyetli bir yol sağlar.

Toplam mülkiyet maliyetini değerlendirirken,MCX4121A-ACAT fiyatıönemli bir işletme tasarrufu ile dengelenir: daha az sunucu sayısı (daha yüksek kullanım nedeniyle), daha düşük soğutma maliyetleri (<10W güç tüketimi sayesinde),ve ayrı InfiniBand veya özel kumaşların ortadan kaldırılmasıÇözüm tamamenMCX4121A-ACAT uyumluKubernetes, Apache Spark ve TensorFlow dahil olmak üzere büyük açık kaynaklı ekosistemlerle, kurumsal ve bulut yerli dağıtımlarda geniş uygulanabilirliği sağlar.

Ayrıntılı dağıtım komutları, yapılandırma şablonları ve performans referans raporları için lütfen resmiMCX4121A-ACAT veri sayfasıBu beyaz kitap başlangıç noktası olarak hizmet eder ̇ mimarinin doğrulanması, bileşenlerin üretime hazır olması ve faydaların ölçülebilir olması.MCX4121A-ACAT ConnectX-4 Lx çift portlu 25GbE SFP28Bu sadece bir adaptör değil; geleceğin RDMA hazır, verim-optimize edilmiş veri merkezi için stratejik bir araçtır.