NVIDIA Mellanox MCX631432AN-ADAB Sunucu Adaptörü Teknik Beyaz Kitap

NVIDIA Mellanox MCX631432AN-ADAB Sunucu Adaptörü Teknik Beyaz Kağıt

1Proje Arkaplanı ve Gereksinimler Analizi

Modern veri merkezi mimarileri, yüksek performanslı bilgisayar, yapay zeka iş yükleri ve dağıtılmış depolama sistemlerinin bir araya gelmesiyle giderek daha fazla tanımlanıyor.Bu uygulamalar ortak bir ağ gereksinimleri seti paylaşır: ultra düşük gecikme, yüksek mesaj oranları ve veri hareketi için minimum CPU overhead. geleneksel TCP / IP tabanlı ağ yığınları, her yerde olsa da,büyük ölçekte yasaklayıcı hale gelen önemli gecikme ve CPU işleme maliyetleri getirmek.

NVMe over Fabrics (NVMe-oF), dağıtılmış makine öğrenimi eğitim kümeleri veya gecikmeye duyarlı finansal ticaret platformlarını dağıtan kuruluşlar için,Ağ arayüz kartı (NIC), basit bir I/O cihazından stratejik bir performans hızlandırıcısına dönüştü.Modern dağıtımlarda belirlenen temel gereksinimler şunlardır:

• Donanım yüklenmeden taşıma yoluyla 5 mikrosaniye altındaki uygulama düzeyinde gecikme
• Depolama sıkıntılarını ortadan kaldırmak için sunucu başına 40 Gb/s'yi aşan toplam işlem hızı
• Yük altında minimum kuyruğu gecikme varyansı ile deterministik performans
• Özel geçiş olmadan mevcut Ethernet altyapısıyla sorunsuz entegrasyon
• Proaktif operasyonlar için kapsamlı telemetri ve teşhis yetenekleri

BuNVIDIA Mellanox MCX631432AN-ADABConnectX-6 Lx mimarisi aracılığıyla bu gereksinimleri doğrudan ele alır.gelişmiş tıkanıklık kontrolü ve programlanabilir veri yolu yetenekleriyle donanım hızlandırılmış RoCEv2 (RDMA over Converged Ethernet) sunulması.

2Genel Ağ ve Sistem Mimarlığı Tasarımı

Önerilen çözüm mimarisi, sunucu erişim katmanında 25GbE bağlantılı bir yaprak omurilik ağ topolojisini benimser.MCX631432AN-ADAB ConnectX-6 Lx çift portlu 25GbE SFP28Adaptör, üst raf anahtarlarına (ToR) çift gereksiz yollar sağlar. Mimarlık şunlardan oluşur:

• Sunucu Kenarı:BuMCX631432AN-ADAB Ethernet adaptör kartıPCIe Gen 4.0 x8 aracılığıyla ana CPU'ya bağlanır ve aynı anda her iki 25GbE portunu da doldurmak için yeterli olan 64 GB/s'ye kadar iki yönlü ana bant genişliği sağlar.
• Ağ Kumaşı:Çifte 25GbE SFP28 portları aktif-aktif yük dengelemeyi veya aktif bekleme hatasını sağlar.
• Depolama entegrasyonu:NVMe-oF dağıtımları için, adaptör RDMA son noktası olarak hizmet ederek, mikro saniyeden az bir gecikme ile doğrudan bellekten belleğe veri transferlerini sağlar.
• Yönetim Planı:Adaptörün güvenli yönetim arayüzü üzerinden bant dışı yönetim, Redfish ve SNMP izleme için tam destek.

Tasarım, Kayıpsız Ethernet'i RoCEv2 ile öncelikli akış kontrolü (PFC) ve açık tıkanıklık bildirimi (ECN) ile vurgular.MCX631432AN-ADAB Ethernet adaptör kart çözümüözel InfiniBand altyapısı olmadan, birleşik, çok protokollü bir doku içinde çalışır.

3. NVIDIA Mellanox MCX631432AN-ADAB'ın Rolü ve Anahtar Özellikleri

BuNVIDIA Mellanox MCX631432AN-ADABBu çözümün temel yapı taşı olarak hizmet eder ve üç farklı değer katmanı sağlar:

A. Donanım Hızlandırma Motoru
Adaptör, çok programlanabilir bir paket işleme boru hattını entegre eder.ve tıkanıklık kontrolü ev sahibi CPU'dan.MCX631432AN-ADAB veri sayfası, donanım saniyede 200 milyona kadar mesaj (Mpps) destekliyor ve en küçük paket boyutlarının bile tel hızı performansına ulaşmasını sağlıyor.

B. RDMA ve RoCEv2 uygulaması
BuMCX631432AN-ADAB ConnectX-6 Lx çift portlu 25GbE SFP28RoCEv2'yi tamamen donanımlı yüklenmemiş taşıma ile uyguluyor.

• Uygulama tamponları ve uzaktaki bellek arasında doğrudan sıfır kopya veri transferleri
• Eşler arası iletişim için 2 mikrosaniye altındaki tek yönlü gecikme
• Standart Ethernet anahtarlarıyla tam uyumluluk, yalnızca PFC ve ECN desteği gerektirir

C. Gelişmiş Telemetri ve Programlanabilirlik
Adaptör, akış başına gecikme, kuyruk derinliği ve tıkanıklık ölçümleri sağlayan bir dizi telemetri sayacı içerir.MCX631432AN-ADAB özellikleriEsnek eşleşme eylem işleme ve bant içi ağ telemetri (INT) desteği de dahil olmak üzere programlanabilir özelliklerin tam yelpazesini ayrıntılı olarak açıklar.

Uygulanmayı düşünen kuruluşlar için, adaptör tamamenMCX631432AN-ADAB uyumluTüm ana Linux dağıtımları (RHEL, Ubuntu, SLES), VMware ESXi ve Windows Server ile, heterojen ortamlara sorunsuz entegrasyon sağlanır.

4. Uygulama ve ölçeklenebilirlik önerileri

Tipik dağıtım topolojisi

Önerilen dağıtım, aşağıdaki yapılandırmayla "omurga yaprağı" topolojisini takip eder:

• Yaprak anahtarları:RoCEv2 desteği ile 25GbE ToR anahtarları, özel öncelik kuyruğunda PFC ve tıkanıklık sinyallemesi için ECN ile yapılandırılmıştır.
• Sunucu düğümleri:Her bir düğümMCX631432AN-ADAB, işten çıkarma için birincil ve ikincil bir sayfaya bağlı
• Omurilik katmanı:100GbE veya 400GbE omurilik anahtarları, engelleme olmayan raflar arası bağlantı sağlar
• Depolama hedefi:Uyumlu RDMA yetenekleri için aynı adaptör türünü kullanan NVMe-oF hedef düğümleri

Ölçeklenebilirlik Düşünceleri

Çözüm, tek bir rafdan binlerce düğüme kadar doğrusal olarak ölçeklenebilir.

• Buffer Yönetimi:Adaptörün paylaşılan tampon mimarisini (port başına 4 MB'ye kadar yapılandırılabilir) paket düşmesi olmadan geçici patlamaları absorbe etmek için kullanın
• Sıkışıklık Alanları:PFC yayılmasını sınırlamak için kumaşı birden fazla tıkanıklık yönetim bölgesine bölün, adaptörün port başına sınırlayıcı hızını kullanarak
• Bulut ölçeği orkestrasyonu:Adaptör, Kubernetes (NVIDIA ağ operatörü aracılığıyla) ve OpenStack tarafından tam olarak desteklenir ve otomatik sağlama ve yaşam döngüsü yönetimini sağlar.

Değerlendirme sırasındaMCX631432AN-ADAB fiyatıtoplam mülkiyet maliyetine karşı, organizations should factor in the elimination of separate InfiniBand infrastructure and the significant reduction in CPU core allocation for networking tasks — typically recovering 2-4 CPU cores per server.

5İşlemler, İzleme, Sorun Çözme ve Optimizasyon

İzleme Çerçevesi

Çözüm, üç katmanlı bir gözlemleme yaklaşımını içerir:

• Adaptör düzeyinde telemetri:BuMCX631432AN-ADAB Ethernet adaptör kartıEthtool, sysfs ve satıcıya özel araçlar aracılığıyla 200'den fazla donanım sayacını ortaya çıkarır.ve RoCEv2 tıkanıklık olayları
• Kumaş düzeyinde görünürlük:NVIDIA'nın birleşik yönetim platformuyla entegrasyon, topoloji görselleştirmesini ve akış yolu analizini sağlar
• Uygulama Performansı İzleme:Adaptör, ağ performansının uygulama düzeyinde işlem gecikmesi ile ilişkilendirilmesini sağlayan sıra başına ve RDMA tamamlama sırası istatistikleri sağlar

Sorunları Çözmek İçin Genel Szenaryolar

Operasyonel deneyime dayanarak aşağıdaki kalıplar belirlenmiştir.MCX631432AN-ADAB özelliklerive telemetri verileri:

• PFC fırtına tespiti:PFC duraklama çerçeve sayaçlarını önceliklere göre izleyin ️ uzun süreli duraklama >% 5 çizgi hızı tıkanıklık veya yanlış yapılandırmayı gösterir
• RoCEv2 Paketi Damlaları:Adaptörün düşme sayaçlarını kontrol edin (örneğin, rx_discard_* sayaçları) adapterde düşüşlerin olup olmadığını izole etmek için, anahtar veya ECN-gürültme nedeniyle
• Performans ayarlama:Adjust interrupt coalescing parameters (interrupt moderation rate) to trade off CPU utilization against latency — typically setting moderate coalescing for storage workloads and minimal coalescing for trading applications

Optimizasyon Rehberleri

Maksimum verim ve minimum gecikme elde etmek için, aşağıdaki optimizasyonlar önerilmektedir.MCX631432AN-ADAB veri sayfası:

• Anahtar bellek bant genişliği tüketimini azaltmak için donanım CRC ve başlık / veri bölünmüş offloads etkinleştirmek
• İş yükü profillerine göre öncelik başına PFC eşiklerini dinamik olarak yapılandırmak
• Trafik sınıfı başına oran sınırlaması ve sıkı öncelik veya ağırlıklı adil kuyruğu dahil olmak üzere adaptörün gelişmiş QoS özelliklerini etkinleştir
• Büyük ölçekli dağıtımlar için, PFC ve ECN müzakerelerini anahtarlarla otomatikleştirmek için adaptörün 802.1Qaz Data Center Bridging Exchange (DCBX) desteğini kullanın

6Özet & Değer Değerlendirme

Teknik çözüm,NVIDIA Mellanox MCX631432AN-ADABAynı zamanda, geleneksel 10GbE TCP/IP dağıtımlarına göre sunucu verimliliğini 5-6 katına kadar artırırken, 10 mikrosaniye altında RDMA gecikme elde etmek için açık bir yol sunar.Ana değer önerileri şunlardır::

• Altyapı Basitleştirme:Tüm trafik türleri için kayıpsız Ethernet'i etkinleştirerek ayrı depolama ve hesaplama ağlarına olan ihtiyacı ortadan kaldırır
• Performans öngörülebilirliği:Donanım boşaltılmış RoCEv2, %90'dan fazla hat oranı kullanımı altında bile belirleyici gecikme sağlar
• Operasyonel Verimlilik:Kapsamlı telemetri ve kendi kendine iyileşen tıkanıklık yönetimi, ağ sorunları için ortalama çözüm süresini azaltır
• Yatırım Koruması:Adaptörün PCIe Gen 4.0 arayüzü ve programlanabilirliği, gelecekteki CPU ve anahtar nesilleriyle uyumluluğu sağlar

Aktif olarak değerlendiren kuruluşlar içinMCX631432AN-ADAB satılıkBu çözüm, finansal hizmetler, bulut sağlayıcıları ve kurumsal depolama dağıtımlarında üretim ortamlarında doğrulanmış kanıtlanmış bir referans mimarisi sunar.Performans kombinasyonu, ölçeklenebilirlik ve operasyonel olgunlukMCX631432AN-ADAB Ethernet adaptör kartıModern veri merkezi dönüşümü için stratejik bir yatırım.