NVIDIA Mellanox MCX4121A-ACAT Sunucu Adaptörü Teknik Çözümü: Düşük Gecikme ve Maksimum Performans için RDMA/RoCE Mimarisi

1Proje Arkaplanı ve Gereksinimleri Analizi

Modern veri merkezleri, gerçek zamanlı analitik, dağıtılmış makine öğrenimi eğitimi,ve yüksek performanslı yazılım tanımlı depolamaGeleneksel ağ mimarileri, TCP/IP yığınına büyük ölçüde bağlı olarak, önemli gecikme ve CPU üst maliyetleri getiriyor. Bağlama hızları 10GbE'den 25GbE'ye ve sonrasına geçtikçe,"Kernel bypass" yaklaşımı sadece bir avantaj değil., ama bir zorunluluk.Ağ mimarları ve depolama mühendisleri, tüm bir altyapı revizi gerektirmeden NVMe-oF ve mikroservis mimarilerinin tüm potansiyelini açabilecek çözümler arıyorlar.Tipik bir büyük ölçekli dağıtımda belirlenen temel gereksinimler arasında depolama trafiği için 10 mikronsekondun altındaki gecikme, ağ I/O için CPU genel harcamalarının %40 azaltılması,ve hem standart TCP/IP trafiğini hem de ultra düşük gecikme RDMA trafiğini taşıyabilen birleşik bir doku.

2Genel Ağ ve Sistem Mimarlığı Tasarımı

Önerilen mimari, hem standart LAN trafiğini hem de aynı fiziksel altyapı üzerinden depolama trafiğini desteklemek için tasarlanmış kayıpsız, konverje Ethernet dokusuna dayanıyor.Tasarım, RoCE (RDMA Over Converged Ethernet) yetenekli anahtarlarla yaprak omurilik topolojisini kullanırTemel tasarım ilkeleri şunlardır:

• Birleştirilmiş kumaş:Tek bir 25GbE ağı tüm trafik türlerini taşır ve ayrı depolama ve veri ağlarına (LAN/SAN yakınlaşması) gerek duymaz.
• Kayıpsız Ethernet Vakfı:RDMA trafiği için kayıpsız bir hizmet sınıfı oluşturmak için öncelik akış kontrolü (PFC, IEEE 802.1Qbb) ve gelişmiş iletim seçimi (ETS, IEEE 802.1Qaz) uygulaması,Aksi takdirde felaket gecikme patlamalarına neden olacak paket düşmelerinin önlenmesi.
• Son-son RDMA:Ağ katmanında çalışan RoCEv2'yi dağıtmak, RDMA'nın L3 sınırlarını geçmesine ve RoCEv1'in aksine tek bir yayın alanının ötesine ölçeklenmesine izin verir.

Bu mimaride, sunucu uç noktası en kritik bileşen.NVIDIA Mellanox MCX4121A-ACATsunucu adaptörü, RoCE protokolünü uygulayan ve karmaşık ağ fonksiyonlarını ana CPU'dan indirgenen akıllı arayüz olarak hareket ederek kilit rolünü oynar.

3Çözümde NVIDIA Mellanox MCX4121A-ACAT'ın rolü

BuMCX4121A-ACAT Ethernet adaptör kartıConnectX-4 Lx denetleyicisine dayanarak, buMCX4121A-ACAT ConnectX-4 Lx çift portlu 25GbE SFP28Adapter, projenin hedeflerine ulaşmak için gerekli donanım hızlandırmasını sağlar.

• Donanımlı RoCE Motoru:Adaptör, tüm RoCEv2 protokolünü silikonda uyguluyor. Bu, hafıza okuma / yazma ve gönderme / alma fiilleri de dahil olmak üzere RDMA işlemlerinin tamamen NIC'de işlendiği anlamına gelir.çekirdeği atlamak ve bağlam anahtarlarını ortadan kaldırmakBu, 10 mikrosaniye altındaki uygulama-uygulama gecikmesi elde etmek için birincil mekanizmadır.
• NVMe-oF boşaltma:Depolama trafiği için,MCX4121A-ACATRDMA ile NVMe over Fabrics'i (NVMe-oF) destekler.
• Dinamik kesinti moderesyonu:Adaptör akıllı bir şekilde kesintileri kontrol eder. Trafik yüküne göre birleştirir.Bu, hassas trafik için düşük gecikme süresi sürdürürken, yüksek verimlilik senaryoları sırasında ana CPU aşırı giderini azaltır..
• Hizmet kalitesi (QoS) uygulanması:Mimarların farklı öncelik kuyruklarına farklı trafik sınıfları (örneğin depolama, yönetim, hesaplama) atamalarını sağlayan donanım tabanlı QoS'yi destekler.Bu, RDMA trafiğinin garantili bant genişliği ve düşük gecikme aldığını sağlar, hatta ağ tıkanıklığı sırasında bile.

4- Yerleştirme ve ölçeklendirme tavsiyeleri

Riskleri en aza indirmek için aşamalı bir dağıtım yaklaşımı önerilir.

• Pilot Aşama:Depolama sunucularının ve hesaplama düğümlerinin küçük bir kümesini dağıtın.MCX4121A-ACATRoCE trafiği için kayıpsız bir kumaş sağlamak için PFC / ETS yapılandırmasını doğrulayın.
• Entegrasyon ve Test:YapılandırMCX4121A-ACAT Ethernet adaptör kart çözümüHem depolama hedefleri (örneğin, Ceph, Lustre veya özel NVMe-oF dizileri) hem de istemci uygulamaları üzerinde.en iyiAna hat gecikmesini (ib_send_lat) ve bant genişliğini (ib_send_bw) ölçmek için.
• Kumaşın ölçeklenmesi:Pilot istikrarlı olduğunda, tam bir yaprak omurilik topolojisine ölçeklendirin. Omurilik anahtarlarının da tüm ağ boyunca kayıpsız QoS işaretlerini korumak için RoCE bilinçli olduğundan emin olun.NVIDIA Mellanox MCX4121A-ACATAktif / bekleme veya 802.3ad bağlantısı toplanmasını izin verir.
• Uyumluluk Kontrolü:Her zaman doğrulayın.MCX4121A-ACAT uyumludonanım ve yazılım sürümleri.MCX4121A-ACAT özellikleriveMCX4121A-ACAT veri sayfasıSunucu ana kartları, BIOS ayarları ve anahtar yazılımları ile uyumluluğu sağlamak için gözden geçirilmelidir.MCX4121A-ACAT fiyatıve erişilebilirliği yetkili distribütörler üzerinden elde edilebilir, özellikle büyük ölçekliMCX4121A-ACAT satılıkAlışveriş.

5Operasyonel İzleme, Sorun Çözme ve Optimizasyon

En iyi performansı korumak proaktif izleme ve RoCE kumaş davranışının sağlam bir anlayışını gerektirir.

• RDMA Trafiğini İzlemek:Bu gibi araçları kullanın.ettool,mlxstat, ve NVIDIA'nınUFM (Birleştirilmiş Kumaş Yöneticisi)Kritik ölçümler şunları içerir: RoCE paket düşüşleri, PFC pause frame sayıları ve PCIe bant genişliği kullanımı.
• Hata yalıtımı:RDMA trafiğinde yüksek gecikme neredeyse her zaman tıkanıklık nedeniyle paket düşmelerinden kaynaklanır.aşağıda bir sıkıntı belirtir (eÖrneğin, bir düğme çıkış limanında).MCX4121A-ACATGelişmiş sayaçlar tıkanıklığın tam kaynağını belirlemeye yardımcı olabilir.
• Performans ayarlama:
  • MTU Boyutu:Her iki adaptörde de 9000 bayta (jumbo çerçeveler) yükseltmek ve paket başına genel masrafları azaltmak ve büyük I / O performansını iyileştirmek için anahtarlar.
  • Alış Yan Ölçekleme (RSS):RSS'in, trafiği birden fazla CPU çekirdeği arasında dağıtmak için yapılandırıldığını, adaptörün yüksek paket saniyede (PPS) hızlarını işleme almasını sağlar.
  • Buffer Tuning:Adaptörün alıcı ve göndericisi tamponlarını iş yükü özelliklerine göre ayarlayın (örneğin, depolama için daha büyük tamponlar, HPC için daha küçük).

6Sonuç ve Değer Değerlendirmesi

BuMCX4121A-ACATNVIDIA Mellanox'tan gelen bu adaptörün iyi tasarlanmış bir RoCEv2 kumaşına entegre edilmesiyle yeni nesil veri merkezleri için olgun, yüksek performanslı bir temel oluşturdu.organizasyonlar dönüştürücü sonuçlar elde edebilir: Sunucu işlemi maksimum seviyeye çıkarılabilir, çünkü CPU ağ üst maliyetinden kurtulur; gecikme, gerçek zamanlı uygulamaları mümkün kılan tek basamaklı mikrosaniyeye kadar önemli ölçüde azaltılır;ve toplam mülkiyet maliyeti altyapı yakınlaşması ile düşürülür.25GbE yol haritasını planlayan mimarlar için,MCX4121A-ACATGüçlü NVIDIA Mellanox ekosisteminin desteğiyle performans ve verimliliğe yönelik stratejik bir yatırımdır.