Mellanox (NVIDIA Mellanox) MCX653105A-HDAT Sunucu Adaptörü Teknik Çözümü

Modern veri merkezleri hesaplama merkezli mimarilerden veri merkezli mimarilere temel bir değişim geçiriyor. Dağıtılmış depolama, yapay zeka eğitim kümeleri,ve yüksek frekanslı ticaret ortamları ağ gecikmesi ve sunucu verimliliğine sıkı talepler getiriyor. Geleneksel TCP/IP yığınları, yüksek bant genişliği altında önemli CPU kesintileri ve bağlam anahtarları üretir ve yalnızca ağ üst masrafları için% 30'dan fazla bilgisayar gücü tüketir.NVMe-oF gibi gelişen depolama protokolleri, performans potansiyelini açığa çıkarmak için mikrosaniye ölçeğinde uçtan uca gecikme gerektirir.Bu zorlukların üstesinden gelmek için, işletmelerin ağ işleme yükü düşüren ve doğrudan belleğe erişimi sağlayan bir sunucu NIC'ye ihtiyaçları vardır.Mellanox (NVIDIA Mellanox) MCX653105A-HDATteslim ediyor.

Tipik dağıtım senaryolarında belirlenen temel gereksinimler şunlardır: alt-2μs uygulama düzeyinde gecikme, port başına 100GbE hattan geçiş oranı,RoCE için donanım boşaltımı (RDMA Converged Ethernet üzerinden), mevcut PCIe 4.0 sunucularıyla sorunsuz entegrasyon ve proaktif tıkanıklık yönetimi için kapsamlı telemetri.MCX653105A-HDATBunların her birine ConnectX-6 mimarisi ile hitap ediyor.

Önerilen çözüm, Ethernet ekonomisini korurken TCP/IP engellerini ortadan kaldırarak, RoCE desteği ile iki katmanlı omurilik yapraklı bir kumaş benimsiyor.Top-of-Rack anahtarları (NVIDIA SN4000 serisi veya eşdeğer PFC etkinleştirilmiş anahtarlar) birbirine bağlantı sağlayan hesaplama ve depolama düğümleri. Her hesaplama düğümüMCX653105A-HDAT Ethernet adaptör kartı, çift portlu 100GbE bağlantısı sağlar. Depolama düğümleri, NVMe-oF hedeflerine doğrudan RDMA üzerinden hizmet vermek için aynı adaptörü dağıtır.

Mimarlık açısından,NVIDIA Mellanox MCX653105A-HDATAna veri düzlemi hızlandırıcısı olarak konumlar, sanal makinelerden, konteynerlerden ve çıplak metal iş yüklerinden tüm ağ giriş/çıkışlarını işliyor.Kontrol düzlemi ana CPU'da kalır, ancak veri hareketi görevlerinden kurtulur. Bu ayrım, RDMA'ya uygun tasarımın özüdür.. Büyük ölçekli dağıtımlar için (100+ düğüm), özel bir RoCE tıkanıklık kontrol alanı DCQCN (Data Center Quantized Congestion Notification) kullanarak yapılandırılır.hesaplama ve depolama trafiği için ayrı tampon havuzları ile.

BuMCX653105A-HDAT ConnectX adaptörü PCIe ağ kartıBu mimaride dört kritik işlevi yerine getirir:

• Donanım yüklenmiş RoCE:Özel anahtarlar veya kumaşlar gerektirmeden RDMA uygulamasını uyguluyor. Veriler, tümüyle çekirdeği atlayarak uygulama tamponları ve uzak bellek arasında doğrudan hareket ediyor.
• PCIe 4.0 x16 Arayüzü:200Gb / s'ye kadar iki yönlü bant genişliği sağlar, ana otobüs sıkıntılarını ortadan kaldırır ve çift 100GbE portlarını tam olarak kullanır.
• Hızlandırılmış Değişim ve Paket İşleme (ASAP2):VXLAN/NVGRE offload, VirtIO hızlandırması ve programlanabilir telemetri için esnek boru hattı özelleştirmesini destekler.
• Depolama hızlandırmaları:NVMe-oF (TCP ve RoCE), T10-DIF imza üretimi/güçlendirme ve silme kodlama hızlandırması için donanım yüklenmesi.

Buna göreMCX653105A-HDAT veri sayfası, adaptör ayrıca güvenli açılış, güvenin donanım kökü ve 100GbE'ye kadar iç hat IPsec / TLS şifrelemesini destekler.MCX653105A-HDAT özellikleri, mühendisler çift yuva genişliği, pasif soğutma ve yoğun sunucu ortamları için uygun hale getiren geniş çalışma sıcaklık aralığı (0 ° C'den 55 ° C'ye kadar) not edeceklerdir.

Tipik Topoloji (1024 düğümlü küme örneği):
- Yaprak katmanı: 16x yaprak anahtarları, her biri 48x 100GbE aşağı bağlantı portları + 8x 400GbE yukarı bağlantıları ile
- Omurilik katmanı: 4x omurilik anahtarları, engellemez 400GbE kumaş
- Hesaplama düğümleri:MCX653105A-HDATDüğün başına (eleştirel aktif-aktif veya aktif bekleme)
- Depolama düğümleri: 1xMCX653105A-HDATRDMA üzerinden NVMe isim alanlarına hizmet veren düğüm başına

Uygulama aşamaları:DoğrulayınMCX653105A-HDAT uyumluResmi uyumluluk matrisini kullanan sunucular. MLNX_OFED veya DOCA çerçevesini (en az 5.8 sürümü) yükleyin. Değiştirme portlarında RoCE'yi etkinleştirin (PFC, ECN, DCQCN parametreleri iş yüküne ayarlandı).Çift port yedekliği için bağlanma veya çoklu yol yapılandırSon olarak, perftest paketi (ib_write_bw, ib_read_lat) kullanarak doğrulayın.

Ölçeklendirme düşünceleri:2000+ düğüm için, doku düzeyinde uyarlanabilir yönlendirme ve tıkanıklık kontrolü uygulayın.MCX653105A-HDAT Ethernet adaptör kart çözümüHer adaptörün merkezi engelleme olmaksızın bağımsız çalıştığı için lineer olarak ölçeklendirilir.MCX653105A-HDAT fiyatıTCO'ya karşı tipik geri ödeme süresi, sunucu konsolidasyonu ve CPU çekirdek sayısını azaltma gereksinimleri nedeniyle 6-12 aydır.MCX653105A-HDAT satılıyor.Toplu fiyatlandırma ve yazılım özelleştirme seçenekleri için bölgesel dağıtımcılarla iletişime geçmelidir.

İzleme ve Telemetri:BuNVIDIA Mellanox MCX653105A-HDATPCM (Performance Counter Monitor) ve DOCA Telemetry aracılığıyla gerçek zamanlı sayaçları ihraç eder. İzlemek için anahtar ölçümler: RoCE tıkanıklık işaretleme oranı, tampon düşüş sayıları, PCIe bağlantı hataları ve port duraklama çerçeveleri.Prometheus+Grafana ile entegrasyon NVIDIA Yönetim Kütüphanesi (NVML) aracılığıyla desteklenmektedir.

Optimizasyon Kılavuzları:DCQCN parametrelerini (cnp_802p_prio=3, rpg_time_reset=300, vb.) iş yüküne göre ayarlayın.Karışık iş yükleri için TSO/LRO, Gecikme duyarlı akışlar için RoCE ve NFV için ASAP2. PCIe maksimum yük boyutunu ayarlamak için dahil mlxconfig aracı kullanın (256B çoğu sunucu için optimal).

Genel Sorun Çözümü:Port flapper tipik olarak SFP/kable uyumsuzluklarını gösterir verifyMCX653105A-HDAT uyumluDüşük RDMA işlem hızı genellikle anahtarlarda yetersiz ECN konfigürasyonuna işaret eder.Fabrika doğrulama için ibdiagnet ve iç adaptör kayıtlarını incelemek için dump_emad kullanınSürekli sorunlar için,MCX653105A-HDAT veri sayfasıkayıt düzeyinde teşhis ve hata kodu tabloları sağlar.

BuMCX653105A-HDATdüşük gecikme, yüksek performanslı veri merkezi ağları için olgun, üretime hazır bir yapı bloğunu temsil eder. Ağ işleme işlemini CPU'dan donanım tabanlı motorlara kaydırarak,Standart Ethernet altyapısında RDMA/RoCE dağıtımlarını sağlar.Ana değer sonuçları şunları içerir: Ağ görevleri için CPU'nun %50-70 azaltılması, deterministik sub-2μs gecikme, kesintisiz NVMe-oF entegrasyonu ve binlerce düğümde doğrusal ölçeklenebilirlik.MCX653105A-HDAT Ethernet adaptör kart çözümü200GbE kumaşlarına gelecekte kanıtlanmış bir yol sunarken mevcut yönetim araçlarıyla uyumluluğu korur.MCX653105A-HDAT özelliklerikonsept kanıtlaması veya raf ölçeğinde bir yayılım planlaması için, bu adaptör hem performans hem de toplam sahiplik maliyetinde ölçülebilir iyileştirmeler sağlar.