Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Sunucu Adaptörü: RDMA/RoCE Düşük Gecikmeli Taşıma ve Sunucu

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Sunucu Adaptörü İş Başında: RDMA/RoCE Düşük Gecikmeli Aktarım ve Sunucu Verim Optimizasyonu

Arka Plan ve Zorluk: Dağıtılmış Depolama ve Yapay Zeka Eğitiminde Ağ Darboğazları

Orta ölçekli bir bulut hizmet sağlayıcısındaki gerçek dünya üretim ortamında, temel iş portföyü, dağıtılmış blok depolama (Ceph) ve GPU tabanlı yapay zeka modeli eğitim platformlarını içerir. Müşteri veri hacmi yıllık %200'ün üzerinde bir oranda artarken, eski 10GbE TCP/IP ağ mimarisi yavaş yavaş iki kritik sıkıntı noktasını açığa çıkardı. İlk olarak, depolama düğümleri arasındaki veri senkronizasyon gecikmesi 2,5 ms'ye kadar ulaşarak NVMe depolama havuzunun tam performans potansiyelini sunmasını engelledi. İkincisi, GPU eğitim kümelerindeki gradyan senkronizasyonu sırasında, ağ verimi teorik bant genişliğinin yalnızca %60'ına ulaşabiliyordu; CPU kaynaklarının önemli bir kısmı ağ protokol yığını tarafından tüketiliyordu ve bu da eğitim yineleme verimliliğini ciddi şekilde engelliyordu. Mimari ekibinin, hem iletim gecikmesini azaltabilecek hem de etkili sunucu verimini önemli ölçüde artırabilecek bir ağ arayüzü çözümüne acilen ihtiyacı vardı.

Çözüm ve Dağıtım: MCX631102AN-ADAT ConnectX-6 Lx ile RoCE Yenilemesi

Birden fazla alternatifi değerlendirdikten sonra ekip,Mellanox (NVIDIA Mellanox) MCX631102AN-ADATağ modernizasyon girişimlerinin temel yapı taşı olarak.MCX631102AN-ADAT Ethernet adaptör kartıMevcut 10GbE bağdaştırıcılarının yerini alarak 120 depolama düğümü ve 64 GPU bilgi işlem düğümüne dağıtıldı. Her sunucu, çift bağlantı noktalı 25GbE SFP28 yapılandırmasıyla donatılmıştı; bir bağlantı noktası üretim RoCE yapısına bağlanıyor ve ikinci bağlantı noktası yönetim ve yedekleme trafiği için ayrılmıştı. Dağıtım şunları sağladı:MCX631102AN-ADAT ConnectX-6 Lx çift bağlantı noktalı 25GbE SFP28adaptörün yerel RoCE v2 desteği, ek ağ geçidi cihazlarına veya protokol çeviri katmanlarına olan ihtiyacı ortadan kaldırır.

Uygulama aşamalı bir yaklaşım izledi. Birinci aşamada ekip,MCX631102AN-ADAT Ethernet adaptör kartı çözümüdepolama düğümlerinde, RoCE aktarımıyla Yapılar Üzerinden NVMe'yi (NVMe-oF) etkinleştirir. Bu, depolama G/Ç yollarındaki TCP/IP yığın yükünü anında ortadan kaldırdı. İkinci aşamada, adaptörün GPUDirect Depolama özelliği, GPU belleğinin, CPU müdahalesini tamamen atlayarak, RoCE ağı üzerinden uzak NVMe depolama alanıyla doğrudan iletişim kurmasına olanak tanıyacak şekilde GPU bilgi işlem düğümleri yükseltildi. Dağıtımın tamamı, mevcut 25GbE anahtar altyapısı korunarak iki hafta içinde tamamlandı.MCX631102AN-ADAT uyumlustandart veri merkezi ağ ekipmanıyla doğa.

Ölçülen Sonuçlar ve Performans Kazanımları

Aşağıdaki performans iyileştirmeleriNVIDIA Mellanox MCX631102AN-ADATdağıtım önemliydi ve birden fazla boyutta anında ölçülebilirdi. Aşağıdaki tablo, üretim ortamında gözlemlenen temel öncesi ve sonrası ölçümleri özetlemektedir:

Ekip, niceliksel ölçümlerin ötesinde operasyonel istikrarda niteliksel iyileşmeler gözlemledi. Donanım tabanlı tıkanıklık kontrol mekanizmasıMCX631102AN-ADATDaha önce yoğun trafik olayları sırasında gözlemlenen periyodik üretim düşüşlerini ortadan kaldırarak gecikmeye duyarlı eğitim işleri için öngörülebilir performans sağladı. göreMCX631102AN-ADAT teknik özellikleriadaptörün gelişmiş yönlendirme motoru ve RDMA yetenekleri, bağlantı noktası başına 128 eşzamanlı NVMe-oF bağlantısı olsa bile hat hızı performansının tutarlı bir şekilde korunmasını sağladı.

Toplam maliyet perspektifinden bakıldığında, mimarlık ekibi şunu hesapladı:MCX631102AN-ADAT fiyatıEtkin gigabit başına düşen verim, 40GbE veya 100GbE alternatiflerine yükseltmeye kıyasla önemli ölçüde daha düşüktü. Mevcut SFP28 kablolama ve anahtarlama altyapısının yeniden kullanılabilmesi, sermaye harcamalarını daha da azaltarak,MCX631102AN-ADAT satılıksağlayıcının liderliği için ilgi çekici bir iş senaryosunun değerlendirilmesi.

Özet ve Görünüm: Geleceğe Hazır Bir Ağ Temeli Oluşturmak

Üretim dağıtımıMellanox (NVIDIA Mellanox) MCX631102AN-ADATdağıtılmış altyapılarının tüm potansiyelini ortaya çıkarmak isteyen kuruluşlar için ileriye dönük açık bir yol göstermektedir. Adaptör, RDMA/RoCE düşük gecikmeli aktarımı donanımla hızlandırılmış boşaltmalarla birleştirerek, ister yapay zeka eğitimi, ister yazılım tanımlı depolama veya yüksek frekanslı işlem işleme olsun, ağı bir performans darboğazı olarak etkili bir şekilde ortadan kaldırır. Takımın deneyimi şunu doğruluyor:MCX631102AN-ADAT Ethernet adaptör kartıyalnızca kıyaslama iyileştirmeleri sağlamakla kalmıyor, aynı zamanda somut üretkenlik kazanımları da sağlıyor: GPU eğitim işi tamamlama süreleri ortalama %34 azaldı ve depolama kümesi yanıt süresi SLA'ları, en yoğun yükleme dönemlerinde bile tutarlı bir şekilde karşılandı.

Sağlayıcı ileriye dönük olarak ölçeklendirmeyi planlıyorMCX631102AN-ADAT ConnectX-6 Lx çift bağlantı noktalı 25GbE SFP28ek kullanılabilirlik bölgelerine dağıtım; daha fazla ağ programlanabilirliği için adaptörü NVIDIA'nın BlueField DPU'larıyla entegre etmeye yönelik erken değerlendirmeler halihazırda devam ediyor. Benzer yükseltmeleri değerlendiren mühendislik ekipleri için ayrıntılıMCX631102AN-ADAT veri sayfasıuyumluluk matrisleri, performans ayarlama parametreleri ve referans mimarileri hakkında kapsamlı rehberlik sağlar. Bu durum açık bir sektör trendini güçlendiriyor: MCX631102AN-ADAT gibi akıllı, donanım boşaltmalı 25GbE adaptörler, performansa önem veren veri merkezi tasarımları için hızla yeni temel haline geliyor.