Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Sunucu Adaptörü Teknik Çözümü

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Sunucu Adaptörü Teknik Çözüm: RDMA/RoCE Düşük Gecikme Taşıma ve Sunucu Verimliliği Geliştirme

1Proje Arkaplanı ve Gereksinimleri Analizi

Modern veri merkezleri, AI/ML iş yüklerinin, dağıtılmış depolama sistemlerinin,ve gerçek zamanlı analitik platformlarıBu bağlamda ağ adaptörü artık pasif bir bağlantı bileşeni değil, genel uygulama performansının kritik bir belirleyicisidir.çekirdek geçiş sınırlamaları ve protokol yığın üstü, birincil bir sıkıntı haline geldi% 30'a kadar CPU döngüsünü tüketirken, bir sonraki nesil iş yüklerinin gerektirdiği mikrosaniye seviyesinde gecikme ve hat hızı verimliliğini sağlayamadı.

Özellikle, birbirine bağlı üç zorluk mimari bir yanıt gerektiriyor.NVMe'yi kumaşlar üzerinden kullanan depolama sistemleri (NVMe-oF), modern flash ortamlarını tam olarak kullanmak için 100 mikrosaniyelik erişim gecikmesi gerektirir.; ağdan kaynaklanan herhangi bir gecikme, depolama performansını doğrudan zayıflatır.PyTorch ve TensorFlow gibi dağıtılmış AI eğitim çerçeveleri, GPU kümelerinde sık sık tüm azaltma işlemlerine dayanırÜçüncüsü, sanallaştırma ve konteynerleştirme ek kapsülleme genel masraflarını getirir.Performansı ölçekte korumak için akıllı donanım yüklenmesini gerektiren.Mellanox (NVIDIA Mellanox) MCX631102AN-ADATsunucu adaptörü bu gereksinimleri doğrudan karşılar, yüksek performanslı, düşük gecikme veri merkezi ağları için özel olarak inşa edilmiş bir temel sağlar.

2Genel Ağ ve Sistem Mimarlığı Tasarımı

Önerilen çözüm, iki katmanlı omurilik yapısı ağ mimarisini benimsiyor.MCX631102AN-ADAT Ethernet adaptör kartı. Yaprak katmanında, 25GbE SFP28 anahtarları ToR (Top-of-Rack) bağlantısını sağlar ve her yaprak anahtarı 48 portu destekler. Omurga katmanı yüksek kapasiteli 100GbE anahtarlarından oluşur.engellemeyen herhangi bir bağlantı sağlamaBu mimari, RoCE v2 (RDMA over Converged Ethernet version 2) taşımacılığı için optimize edilmiştir.Kayıpsız ağ koşullarını korumak için adaptörün yerel tıkanıklık kontrol mekanizmaları ve PFC (Öncelikli Akış Kontrolü) yeteneklerini kullanmak.

Her bir hesaplama ve depolama düğümüMCX631102AN-ADAT ConnectX-6 Lx çift portlu 25GbE SFP28Adaptör, hem yüksek kullanılabilirlik hem de toplu 50GbE bant genişliği sağlamak için aktif-aktif modunda yapılandırılmış portlarla. Makine sunucusu PCIe 4.0 x8 üzerinden adaptörle bağlantı kurar.Tam hat hızındaki trafiği sürdürmek için yeterli otobüs bant genişliği sağlamakYazılım bakış açısından, mimari, NVIDIA'nın OFED (OpenFabrics Enterprise Distribution) sürücü yığınına sahiptir ve ana akım işletim sistemlerinde optimize edilmiş RoCE desteği sağlar.Depolama düğümleri için, mimari, RoCE üzerinden doğrudan erişilebilen NVMe-oF hedeflerini entegre ederek TCP/IP katmanını veri yolundan tamamen ortadan kaldırır.

3MCX631102AN-ADAT'ın Çözümdeki Rolü ve Anahtar Karakteristikleri

BuNVIDIA Mellanox MCX631102AN-ADAThem hesaplama hem de depolama alanları için temel ağ arayüzü olarak hizmet eder ve genel mimaride dört kritik rol oynar.donanım hızlandırılmış direksiyon motorunun tüm paket boyutlarında port başına hat hızı 25GbE verimliliği sunmasıMCX631102AN-ADAT özellikleri, RoCE etkinleştirilmiş anahtarlarla eşleştirildiğinde 1-mikrosaniye altındaki uygulama-uygulama gecikmesi göstermektedir.

İkincisi, adaptör, tüm RDMA protokol yığını'nı yüklenerek, hafıza kaydı, adres çevirisi ve tamamlama işleme dahil olmak üzere, RDMA ulaşım son noktası olarak hareket eder.Bu boşaltma özellikle depolama iş yükleri için etkili, NVMe-oF başlatıcıları için CPU kullanımını yalnızca yazılım uygulamalarına kıyasla yaklaşık% 18'den% 3'e düşürür.MCX631102AN-ADAT, VXLAN ve NVGRE için donanım tabanlı üst üste yükleme sağlar, sanal ağ kapsülünün performansı azalttığını garanti ederek bulut yerli dağıtımları için kritik bir avantaj sağlar.Adaptör SR-IOV (Tek Köklü I/O Sanallaştırma) desteği sunar, Port başına 256 sanal fonksiyona kadar erişimi sağlayan, verimliliği tehlikeye atmadan verimli çoklu kiracı izolyasyonu için.MCX631102AN-ADAT Ethernet adaptör kart çözümüNVIDIA'nın GPUDirect Storage teknolojisiyle sorunsuz bir şekilde entegre olur ve ağ üzerinden GPU belleği ve uzaktaki NVMe depolama cihazları arasında doğrudan veri hareketini sağlar.

Aşağıdaki tablo, çözüm mimarisi ile ilgili temel teknik özellikleri özetliyor:

4. Tipik Topoloji ile dağıtım ve ölçeklendirme önerileri

Greenfield dağıtımları için, üç katmanlı ölçeklendirme yaklaşımını öneririz. Temel katmanda (küçük ölçekli: 16 ¢ 32 düğüm), tek bir yapraklı anahtar kümesi tüm hesaplama ve depolama düğümlerine ev sahipliği yapabilir,MCX631102AN-ADAT ile donatılmış her bir düğüm ve bağlantı toplama için her iki port da aynı yaprak anahtarına bağlıOrta seviyede (64~128 düğüm) mimari, iki katlı bir omurilik yaprağı tasarımı benimsemek gerekir.Her düğümün ikili portları, hem performans hem de esneklik sağlamak için farklı yaprak anahtarlarına bağlıdır.Kurumsal ölçekte (256+ düğüm), çözüm, özel RoCE kumaş segmentasyonu ile üç katmanlı bir mimarinin dağıtılmasını önerir.depolama trafiğini ağ katmanındaki hesaplama trafiğinden izole etmek, veMCX631102AN-ADAT uyumluhem NVIDIA Spectrum hem de üçüncü taraf 25GbE anahtarları ile doğa.

Brownfield ortamları için adaptör, kuruluşların aşamalı olarak göç etmesine izin veren 10GbE SFP + optik ve kablolarla sorunsuz geri uyumluluk sağlar.MCX631102AN-ADAT veri sayfasıDell PowerEdge, HPE ProLiant ve Supermicro SuperServer aileleri de dahil olmak üzere ana sunucu platformları için ayrıntılı uyumluluk matrisleri sağlar.Adaptör dağıtımı, tüm düğümlerin tutarlı RoCE davranışı için aynı asgari firmware sürümünü çalıştırmasını sağlamak için sabit yazılım güncellemeleri ile koordine edilmelidir.Ayrıca sistem yeniden başlatmalarında ayarları korumak için adaptörün EEPROM tabanlı yapılandırma sürekliliğini kullanmanızı ve bakım pencereleri sırasında operasyonel üst masrafları azaltmanızı öneririz.

5İşlemler, İzleme, Sorun Çözme ve Optimizasyon

BuMCX631102AN-ADATNVIDIA'nın MLNX_OFED araçları aracılığıyla kapsamlı telemetri ve yönetim yetenekleri sağlar. İzleme için aşağıdaki operasyonel uygulamaları kullanmanızı öneririz.Donanım tabanlı akış sayaçlarının, kuyruk başına kullanımın izlenmesini ve sıcak noktaları tanımlamasını sağlar.mlx5_coreKernel modülü ve Prometheus veya diğer TSDB çözümleri ile entegre edilebilir.Uygulama performansını etkilemeden önce ağ tıkanıklığı olaylarını tespit etmek ve düzeltmek için adaptörün PFC (Öncelik Akış Kontrolü) izlemesini kullanınÜçüncüsü, donanım bozulmasını önleyici olarak belirlemek için adaptör sıcaklığı ve PCIe bağlantı durumu için eşiğe dayalı uyarıları uygulayın.

Hata giderme için, adaptörün gelişmiş teşhisleri, port başına döngüleme testleri, bağlantı eğitimi günlükleri ve kesinti birleşimi istatistikleri de dahil olmak üzere, performans sorunlarına ayrıntılı bir görünürlük sağlar..Başlangıçta normal çalışmanın temelini oluşturmanızı öneririz. Ortalama gecikme, verim ve CPU kullanımı gibi önemli ölçümleri yakalayın.Gelecekteki karşılaştırmalar için bir referans olarak hizmet etmek için. değerlendirmeMCX631102AN-ADAT fiyatıSahiplik, kuruluşlar CPU tüketiminin azaltılması ve sorun giderme iş akışlarının basitleştirilmesi ile elde edilen operasyonel tasarrufları hesaplamalıdır.

İhtiyaçları karşılamak için optimizasyon stratejileriMCX631102AN-ADAT Ethernet adaptör kartıAna bilgisayar yapılandırmasında, PCIe maksimum yararlı yük boyutunu 512 bayta ayarlayın ve gecikme ve CPU verimliliğini dengelemek için kesinti moderesyonunu etkinleştirin.PFC önceliklerini tüm anahtarlar ve adaptörler arasında tutarlı bir şekilde yapılandırmak için, RoCE trafiği için öncelik 3 ve yönetim trafiği için öncelik 0 ayırmayı öneririz.. Uygulama katmanında, RDMA kuyruğu derinliğini iş yükü özellikleriyle uyumlu hale getirin: daha derin kuyruqlar verim yoğun depolama iş yüklerine fayda sağlar,daha sığ kuyruklar hassas işlem işleme için gecikmeyi azaltırken. AyrıntılıMCX631102AN-ADAT özellikleriFarklı işletim sistemleri platformlarında bu parametrelerin ayarlanması için özel bir rehberlik sağlar.

6Özet ve Değer Değerlendirme

BuMellanox (NVIDIA Mellanox) MCX631102AN-ADATModern veri merkezi ağlarının temel zorluklarını ele alan mimari bir çözüm sunar: mikrosaniye ölçeğinde gecikme, donanım hızlandırılmış RDMA taşımacılığı,ve tutarlı 25GbE verimi, aynı zamanda ev sahibi CPU genel masraflarını azaltırken. Bilgisayar, depolama ve yapay zeka iş yükleri için birleşik bir ağ arayüzü olarak hizmet vererek adaptör, performansı arttırırken altyapıyı basitleştirir.MCX631102AN-ADAT Ethernet adaptör kart çözümüAğla ilgili CPU tüketimini yaklaşık %80 azaltır, depolama erişim gecikmesini %80'den fazla artırır,ve donanım tabanlı tıkanıklık yönetimi ile değişen yük koşullarında öngörülebilir performans sağlar.

İş değerleri açısından,Adaptör, kuruluşların mevcut 25GbE anahtar yatırımlarını en üst düzeye çıkarmalarını sağlarken, daha önce sadece 40GbE veya 100GbE çözümleriyle elde edilebilen performansı sunar..MCX631102AN-ADAT satılıkdeğerlendirme, 12-18 ay içinde, daha düşük sunucu sayısı gereksinimleri (bir düğüm başına daha yüksek verimlilik nedeniyle) ve daha düşük operasyonel genel masraflar nedeniyle sürekli olarak olumlu ROI göstermektedir.Veri merkezi ağlarını inşa eden veya modernize eden kuruluşlar için, MCX631102AN-ADAT, sadece bir aşamalı yükseltme değil, ağ temeli verimliliğinde temel bir iyileşme temsil ediyor.