Mellanox (NVIDIA Mellanox) MCX556A-ECAT Sunucu NIC Teknik Çözümü

Bu teknik inceleme, ağ mimarlarına, satış öncesi mühendislere ve operasyon liderlerine,Mellanox (NVIDIA Mellanox) MCX556A-ECATsunucu ağ bağdaştırıcısı. Çözüm, RDMA/RoCE aracılığıyla TCP/IP darboğazlarını ortadan kaldırmaya odaklanarak, veri yoğunluklu iş yükleri için sunucu verimini en üst düzeye çıkarırken deterministik düşük gecikmeli iletişim sağlar.

1. Proje Arka Planı ve Gereksinim Analizi

Yapay zeka eğitim kümeleri, dağıtılmış veritabanları, hiper bütünleşik altyapı ve yüksek frekanslı ticaret platformları dahil olmak üzere modern veri merkezi ortamları ortak bir kısıtlamayı paylaşır: Geleneksel ağ yığını, bellek kopyalarında, bağlam anahtarlarında ve protokol işlemede CPU döngülerinin %30-50'sini tüketir. Bağlantı hızları 100 Gbps ve üzerine çıktıkça, yazılım tabanlı ağ iletişimi sürdürülemez hale geliyor. Yeni nesil sunucu bağlantısı için temel gereksinimler şunları içerir: 5 mikrosaniyenin altındaki düğümler arası gecikme süresi, 100 Gbps bağlantı başına %10'un altında CPU yükü, depolama protokolleri için kayıpsız aktarım (NVMe-oF) ve mevcut Ethernet altyapısıyla kusursuz entegrasyon.MCX556A-ECAT Ethernet adaptör kartı çözümübu taleplere doğrudan yanıt veriyor.

2. Genel Ağ/Sistem Mimarisi Tasarımı

Önerilen mimari şunları dağıtır:NVIDIA Mellanox MCX556A-ECATher bilgi işlem veya depolama düğümünde çift bağlantı noktalı 100 GbE adaptör olarak. Çözüm, RoCE (Birleşik Ethernet üzerinden RDMA) desteğiyle iki katmanlı yaprak omurga topolojisini benimser. Temel mimari kararlar şunları içerir:

• Kayıpsız Ethernet temeli: RoCE trafiğini taşıyan bağlantı noktalarında Öncelikli Akış Kontrolünü (PFC) etkinleştirin ve yaprak anahtarlarda ECN (Açık Tıkanıklık Bildirimi) eşiklerini yapılandırın.
• Ayrı trafik sınıfları: RoCE trafiğini katı öncelik planlamasıyla özel bir öncelik sırasına (genellikle 3 veya 5) atayın.
• Arabellek yönetimi: Paylaşılan arabellek havuzlarını anahtarlara göre tahsis edinMCX556A-ECAT teknik özellikleri(kayıpsız çalışma için bağlantı noktası başına 4 MB önerilir).

Her biriMCX556A-ECAT ConnectX adaptör PCIe ağ kartıQSFP28 optikleri (mesafeye bağlı olarak SR4, LR4 veya AOC/DAC) aracılığıyla bir yaprak anahtara bağlanır. Yüksek kullanılabilirlik için, çift ana konumlu yapılandırmalar her iki bağlantı noktasını da birbirine bağlar; çıkış için aktif-aktif veya yük devretme için aktif-yedek. Kontrol düzlemi standart Ethernet ve IP kullanırken veri düzlemi sıfır kopya aktarımları için RDMA'dan yararlanır.

3. Mellanox (NVIDIA Mellanox) MCX556A-ECAT'ın Çözümdeki Rolü ve Temel Özellikleri

MCX556A-ECATsunucu belleği ile ağ yapısı arasında kritik boşaltma motoru olarak görev yapar. Donanım tabanlı aktarımı, veri hareketi için çekirdeğin katılımını ortadan kaldırır. Temel yeteneklerMCX556A-ECAT veri sayfasıkatmak:

MCX556A-ECAT Ethernet adaptör kartıayrıca gelişmiş yönlendirme (128 sanal kuyruğa akış sınıflandırması), 512'ye kadar sanal işleve sahip SR-IOV ve hassas zaman protokolü (PTP) için donanım zamanlayıcı aktarımını içerir. Bu özellikler onu yalnızca yüksek hızlı bir arayüz değil, eksiksiz bir veri yolu hızlandırma motoru haline getirir.

4. Dağıtım ve Ölçeklendirme Önerileri (Tipik Topoloji)

Orta büyüklükte bir küme (64-256 düğüm) için aşağıdaki topoloji önerilir:

• Yaprak katmanı: İki veya dört adet 48 bağlantı noktalı 100GbE RoCE anahtarı (örneğin, NVIDIA SN3700). Her yaprak 24-48 sunucuya bağlanır.MCX556A-ECAT uyumluQSFP28 bağlantı noktaları.
• Omurga katmanı: Yapraklardan 128 adet engellenmeyen 100GbE uplink sağlayan dört adet 32 ​​bağlantı noktalı 400GbE anahtar.
• Sunucu yapılandırması: BirMCX556A-ECATsunucu başına, bağlantı noktası A'dan yaprak anahtarı A'ya, bağlantı noktası B'den yaprak anahtarı B'ye. Bu, 200 Gb/sn toplam bant genişliği ve yol yedekliliği sağlar.

Kumaşın 256 düğümün üzerine ölçeklendirilmesi, yaprak-omurga çiftlerinin eklenmesini veya 3 aşamalı Clos mimarisine geçiş yapılmasını gerektirir. DeğerlendirirkenMCX556A-ECAT fiyatıgelecekteki kapasiteye karşı, adaptörünMCX556A-ECAT uyumluPCIe 4.0 anakartlarla (başlangıçta 3.0 x16'da çalışıyor), basit bir yükseltme yolu sunuyor.

5. Operasyonlar, İzleme, Sorun Giderme ve Optimizasyon

RoCE dağıtımlarına yönelik operasyonel mükemmellik, özel izleme ve ayarlama gerektirir. Temel uygulamalar şunları içerir:

• İzleme sayaçları: Kullanmakethtool -S ethX | grep -E "roce|pfc|ecn"Öncelikli duraklatma çerçevelerini ve CNP'yi (Tıkıkık Bildirim Paketleri) izlemek için.MCX556A-ECAT teknik özellikleribeklenen temel değerleri belgeleyin.
• Tampon ayarlama: RoCE kuyrukları için anahtar çıkış arabelleklerini 4–6 MB olarak yapılandırın. Yetersiz arabellekler PFC fırtınalarına ve üretimin çökmesine neden olur.
• Firmware yönetimi: Hataları gidermek ve belgelenen performans iyileştirmelerini elde etmek için en son ürün yazılımını (NVIDIA kurumsal destek portalından edinilebilir) koruyun.MCX556A-ECAT veri sayfası.
• Performans temel çizgisi: Koşmakib_write_bwVeib_read_latOFED araç setinden. Beklenen sonuçlar: 8 baytlık mesajlar için 0,8–1,2 µs gecikmeyle 98–99 Gbps çift yönlü.

Yaygın sorun giderme senaryoları: PFC kilitlenmeleri (yanlış yapılandırılmış kuyruk eşlemelerini kontrol edin), bağlantı çırpma (güç ve kablo derecelendirmelerini doğrulama) ve RDMA bağlantı zaman aşımları (jumbo çerçeveler için 4200 baytta MTU tutarlılığını sağlayın). Arama yapan ekipler içinSatılık MCX556A-ECATkümeleri genişletmek için gruplar arasında ürün yazılımı hizalamasının önceden yapılması uyumluluk sürprizlerini önler.

6. Özet ve Değer Değerlendirmesi

MCX556A-ECATmodern veri merkezleri için net bir değer teklifi sunar. RDMA/RoCE etkinleştirildiğinde,NVIDIA Mellanox MCX556A-ECATUygulama gecikmesini TCP'ye kıyasla 10 kat azaltır, CPU ağ yükünü %85 azaltır ve NVMe-oF aracılığıyla depolama ayrıştırmasının kilidini açar. Mimarlar için kartın çift bağlantı noktalı 100GbE kapasitesi geleceğe yönelik boşluk sağlıyor; operasyon ekipleri için olgun sürücü yığını (yukarı akış Linux, Windows ve VMware) yönetimi kolaylaştırır. DeğerlendirirkenMCX556A-ECAT fiyatıyazılım lisanslaması, güç ve soğutma dahil olmak üzere toplam sahip olma maliyetine göre adaptör genellikle sunucu birleştirme yoluyla 6-12 ay içinde kendini amorti eder. Bir olarak referans alınıp alınmadığıMCX556A-ECAT Ethernet adaptör kartıveyaMCX556A-ECAT ConnectX adaptör PCIe ağ kartı, bu çözüm, kayıpsız, yüksek verimli Ethernet ağı için referans tasarım olmaya devam ediyor.