NVIDIA Mellanox MCX556A-ECAT Sunucu Adaptörü Teknik Beyaz Kağıt.

NVIDIA Mellanox MCX556A-ECAT Sunucu Adaptörü Teknik Beyaz Kağıt

1Proje Arkaplanı ve Gereksinimler Analizi

Modern veri merkezleri yapay zeka, yüksek performanslı bilgisayar (HPC) ve gerçek zamanlı analitikler tarafından yönlendirilen temel bir dönüşüm geçiriyor.Bu iş yükleri daha önce görülmemiş bir ağ performansı gerektiriyor. Sadece ham bant genişliği değil., ancak belirleyici düşük gecikme, CPU verimli veri hareketi ve kesintisiz ölçeklenebilirlik.CPU çekirdeklerinin %20-30'unu tüketen ve uygulama performansını kötüleştiren öngörülemeyen gecikme değişiklikleri getirenÖlçekte çalışan kuruluşlar için, bu verimsizlik doğrudan daha yüksek altyapı maliyetlerine ve daha yavaş anlayış zamanına dönüşür.

Bu beyaz kitap,NVIDIA Mellanox MCX556A-ECAT100GbE yatırımlarının geri dönüşünü en üst düzeye çıkarmak isteyen işletmeler için tasarlanmıştır.MCX556A-ECAT Ethernet adaptör kartıHardware hızlandırılmış RDMA'yı Converged Ethernet (RoCE) üzerinden sunar ve kaybı olmayan, düşük gecikme taşımacılığını sağlayarak ağ I/O'sunu bir yükümlülükten stratejik bir varlığa dönüştürür.Çözüm, üç temel hedefi karşılamak için özel olarak tasarlanmıştır.: (1) alt-10μs uçtan sona uygulama gecikmesi elde etmek, (2) CPU ağ işleme genel masraflarını% 5'in altına düşürmek ve (3) 100GbE ve ötesinde ölçeklenebilir, geleceğe dayanıklı bir temel sağlamak.

2Genel Ağ ve Sistem Mimarlığı Tasarımı

Önerilen mimari, 100GbE'yi sunucu erişim katmanı olarak ve 400GbE'yi omurga katmanı olarak kullanan yüksek performanslı bir yaprak omurilik topolojisini benimser.MCX556A-ECAT ConnectX adaptörü PCIe ağ kartı, doku boyunca her hesaplama ve depolama düğümünde dağıtıldı. mimari beş temel ilke etrafında inşa edilmiştir:

• Kayıpsız Ethernet kumaşı:Paket düşmelerini ortadan kaldırmak ve RDMA trafiği için deterministik gecikme sağlamak için tüm anahtarlarda PFC (Öncelik Akış Kontrolü) ve ECN (Açık tıkanıklık bildirimi) ile RoCE v2'den yararlanmak.
• Her yerde donanım yüklenmesi:Kontrol toplamı yükü, segmentasyon (LSO / LRO), VLAN etiketleme ve RDMA
• Aktif-Aktif Çıkarma:Her iki QSFP28 portunu bağlantı toplama (LACP) modunda 200Gb/s toplu bant genişliği ve saniyenin altındaki kurtarma ile otomatik hata geçişini kullanmak.
• Trafik Bölümü:Depolama (NVMe-oF), hesaplama (MPI/RDMA) ve yönetim trafiği için özel trafik sınıfları, tüm iş yüklerinde öngörülebilir QoS'yu sağlar.
• Ölçeklenebilir kontrol düzlemi:Merkezi yönetim, yerleşik telemetri ve REST API'leri ve Ansible oyun kitapları aracılığıyla otomasyon ile NVIDIA Spektrum anahtarları aracılığıyla.

Çözüm tamamenMCX556A-ECAT uyumluönde gelen sunucu platformlarıyla (Dell PowerEdge, HPE ProLiant, Supermicro, Lenovo) ve büyük işletim sistemleriyle (Linux, Windows Server, VMware ESXi) sorunsuz bir şekilde entegre olur.mimari, NVMe-oF'yi RoCE üzerinden destekliyor, yerel NVMe sürücülerine yaklaşan gecikme süreleri ile paylaşılan ayrıntılı depolamayı sağlar.

3NVIDIA Mellanox MCX556A-ECAT'ın Rolü ve Anahtar Özellikleri

Bu çözümün temel bileşeni olarak,NVIDIA Mellanox MCX556A-ECATMimarlıkta üç kritik rolü yerine getirir:

Önemli teknik özelliklerMCX556A-ECAT veri sayfasıPCIe 3.0/4.0 x16 makine arayüzü, kapsamlı boşaltma yetenekleri (kontrol toplamı, LSO/LRO, VLAN çıkarma/ekleme, RSS) ve her port için gelişmiş telemetri içerir.Adaptörün güç verimliliği (genellikle 15W'den az) ve geniş işletim sistemi desteği, heterojen ortamlar için çok yönlü bir yapı bloğu haline getirir.MCX556A-ECAT özellikleriAyrıca, karışık hız ortamları için yerleştirme esnekliği sunan 25GbE ve 40GbE uyumluluğu desteğini vurgulamak.

4. Uygulama ve ölçeklendirme önerileri

Greenfield dağıtımları için, 100GbE erişimi ve 400GbE omurilik yukarı bağlantıları ile iki katmanlı bir yaprak omurilik topolojisi öneririz.MCX556A-ECAT Ethernet adaptör kartıHer iki QSFP28 bağlantısı da yedeklik için ayrı yaprak anahtarlarına bağlanmıştır. RoCE kumaşı tüm anahtarlarda tutarlı QoS konfigürasyonunu gerektirir.PFC öncelik 3 (RDMA trafiği için) ve öncelik 4 (depolama için), aynı trafik sınıflarında ECN işareti ile. izleme ve sorun gidermeyi basitleştirmek için RoCE, yönetim ve depolama trafiği için özel VLAN'lar tahsis etmeyi öneririz.

Mevcut 40GbE altyapısı olan kahverengi alan ortamları için,MCX556A-ECAT Ethernet adaptör kart çözümüAdaptör 40GbE QSFP + optikleriyle geriye uyumlu olduğundan, mevcut kablolama 100GbE'ye aşamalı yükseltme sırasında tekrar kullanılabilir.Adaptör ayrıca zorunlu RoCE etkinleştirme olmadan standart Ethernet geçişini destekler, ekiplerin ilk olarak donanımı dağıtmalarına ve kumaş olgunlaştıkça ve iş yükleri geçişi haklı gösterdiğinde RDMA yeteneklerini aşama aşama etkinleştirmelerine izin verir.

Çözümün 50 düğümün ötesine ölçeklendirilmesi ek düşüncelere yol açar.Dahili telemetri ve dinamik ECN eşiği ayarlaması ile NVIDIA Spektrum anahtarları kullanarak özel bir RoCE tıkanıklık yönetimi stratejisi uygulamayı öneririz. 200 düğümden fazla kümeler için, uçtan uca görünürlüğü ve otomatik yapılandırma tutarlılığını korumak için merkezi bir kumaş yönetimi denetleyicisi (örneğin, NVIDIA Cumulus NetQ) dağıtmayı düşünün.BuMCX556A-ECAT satılıyor.NVIDIA'nın küresel kanal ortakları aracılığıyla kapsamlı garanti ve firmware güncelleme desteği içerir, ölçekte uzun vadeli güvenilirliği sağlar.

5İşlemler, İzleme, Sorun Çözme ve Optimizasyon

RoCE kumaşının etkili çalışması, çok katmanlı bir izleme ve sorun giderme stratejisi gerektirir:

• Adaptör düzeyinde telemetri:BuMCX556A-ECAT özellikleriPFC çerçeveleri, ECN işaretlenmiş paketler, düşürülen çerçeveler ve bağlantı hataları için port başına sayaçlar içerir.mlx5cmd,ettool, veya NVIDIA firmware araçları bu ölçümleri Prometheus / Grafana panolarına aktarmak için.
• Değiştirme seviyesi izleme:Bufer işgalini, duraklama kare sayısını, kuyruğun derinliğini ve ECN işaretleme oranlarını omurilik ve yaprak anahtarlarında izleyin.Duraklama çerçevelerinde ani artışlar, ECN eşiği ayarlamasını gerektirebilecek mikro tıkanıklığı gösterir..
• Uygulama seviyesi ölçümleri:RDMA uygulamaları için, WR (Work Request) tamamlama gecikmeleri, CQ (Completion Queue) taşınma olayları ve NVIDIA libibverbs ve rdma-core kitaplıklarını kullanarak QP (Queue Pair) hata sayımlarını izleyin.

Sorun giderme için ortak senaryolar ve önerilen eylemler:

• RoCE performansının bozulması:PFC'nin tüm anahtar portlarında etkinleştirildiğini ve DSCP işaretinin anahtar konfigürasyonuna uyuştuğunu kontrol edin.MCX556A-ECAT veri sayfasıBufer tahsis ayarlarını iş yükü profili için önerilen değerlere karşı doğrulamak için.
• Bağlantı çarpması veya CRC hatası:QSFP28 kablosunun kalitesini kontrol edin ve adaptör yazılımının en son sürümüne güncellendiğinden emin olun. Kabloların 100GBASE-SR4 veya LR4 için IEEE 802.3bj özelliklerine uygun olup olmadığını kontrol edin.
• CPU yüklenmesine rağmen hala yüksek:RDMA'nın gerçekten kullanıldığını (TCP'ye geri dönmediğini) sürücü sayaçlarını, uygulama günlüklerini ve bağlantı durumlarını denemekle doğrulayın.
• PFC çıkmaz veya duraklama fırtınası:Yanlış yapılandırılmış öncelikleri kontrol edin ve PFC'nin yalnızca RoCE trafik sınıflarında (yönetim veya depolama trafiğinde değil) etkinleştirildiğinden emin olun.

Optimizasyon için, kapsamlı laboratuvar onayına dayanan aşağıdaki ayarlama parametrelerini öneririz:

• Kesintili birleşme (temizleme):Gecikme ve CPU verimliliğini dengelemek için karışık iş yükleri (ticaret + depolama) için 4 ¢ 8 μs olarak ayarlayın.
• RDMA MTU:Protokol başlığını azaltmak ve verimi artırmak için depolama iş yükleri için 4096 bayta yükselt.
• RSS (Alış Yanı Ölçeklendirme):İşlemeyi dağıtmak ve tek çekirdekli doyumdan kaçınmak için RDMA dışı trafik için birden fazla CPU çekirdeği arasında yapılandırmak.
• ECN sınırları:Öncelik 3 trafiği için en düşük eşik, tamponun% 50'sinde ve en yüksek eşik, % 80'de belirlenir ve gözlemlenen tıkanıklık kalıplarına göre ayarlanır.

6Özet & Değer Değerlendirme

BuNVIDIA Mellanox MCX556A-ECATçözüm, modern veri merkezleri için dönüştürücü bir değer sunar. Yazılım tabanlı TCP/IP'yi donanım hızlandırılmış RDMA/RoCE ile değiştirerek,kuruluşlar uygulama düzeyinde 5×10 kat gecikme azaltımları elde edebilir, CPU ağ genel masraflarını %80'den fazla azaltır ve sunucu konteyner yoğunluğunu %30-50 artırır.MCX556A-ECAT Ethernet adaptör kartı100GbE'ye geçiş için maliyetle uygun bir yol sunar ve yatırımları 40GbE'ye geriye uyumluluk ve gelişen iş yükleri için geleceğe hazır boşaltma yetenekleri ile korur.

Toplam mülkiyet maliyetini değerlendirirken,MCX556A-ECAT fiyatıönemli bir işletme tasarrufu ile dengelenir: daha az sunucu sayısı (daha yüksek kullanım nedeniyle), daha düşük soğutma maliyetleri (<15W güç tüketimi sayesinde),ve ayrı InfiniBand veya özel RDMA kumaşlarının ortadan kaldırılmasıÇözüm tamamenMCX556A-ECAT uyumluKubernetes, Apache Spark, TensorFlow ve VMware vSphere dahil olmak üzere büyük açık kaynaklı ve kurumsal ekosistemlerle, kurumsal, HPC ve bulut yerli dağıtımlarda geniş uygulanabilirliği sağlar.

Ayrıntılı dağıtım komutları, yapılandırma şablonları ve performans referans raporları için lütfen resmiMCX556A-ECAT veri sayfasıve NVIDIA'nın kapsamlı ağ belgelendirme portalı. bu beyaz kitap bir temel olarak hizmet ederVe faydalar ölçülebilir..MCX556A-ECAT ConnectX adaptörü PCIe ağ kartıSadece bir adaptör değil; geleceğin RDMA hazır, verim-optimize edilmiş veri merkezi için stratejik bir etkinleştiricidir.