NVIDIA NIC Çözümleri: RDMA/RoCE Düşük Gecikmeli İletim Optimizasyonu için Dağıtım Esasları

Yapay zeka ve yüksek performanslı bilişim çağında, ağ gecikmesi kritik bir darboğaz haline geldi. NVIDIA'nın gelişmiş RDMA ve RoCE yeteneklerine sahip ağ arabirim kartları, bu darboğazı ortadan kaldırmak ve veri yoğun iş yükleri için benzeri görülmemiş bir performans sunmak üzere özel olarak tasarlanmıştır.

NVIDIA'nın yüksek performanslı ağa yaklaşımı, güvenilirliği korurken geleneksel ağ yığını yükünü ortadan kaldırmaya odaklanmaktadır. Mimari, birkaç temel ilke üzerine kurulmuştur:

• Veri aktarımlarında CPU katılımını ortadan kaldırmak için çekirdek atlama mekanizmaları
• Sıfır kopyalama işlemleri için donanım tabanlı taşıma boşaltma
• Uygulama belleği ve ağ arasında ultra düşük gecikmeli yol
• Akıllı tıkanıklık kontrolü ve trafik yönetimi

Uzaktan Doğrudan Bellek Erişimi (RDMA), verilerin ağlar arasında nasıl hareket ettiğinde temel bir değişiklik temsil eder. NVIDIA'nın uygulaması şunları sunar:

• CPU müdahalesi olmadan doğrudan bellekten belleğe aktarım
• Çerçeve boyutu ne olursa olsun, intra-rack iletişimleri için 1 mikrosaniyeden daha kısa gecikme süresi
• Uygulama iş yükleri için döngüleri serbest bırakarak minimum CPU kullanımı
• Bu, NVIDIA NIC'lerini, RDMA'nın eğitim sürelerini geleneksel ağa kıyasla %40'a kadar azaltabildiği yapay zeka eğitim kümeleri için özellikle değerli hale getirir.

RoCE v2 Dağıtım En İyi Uygulamaları

IP yönlendirme yetenekleriyle RoCE v2 için kapsamlı destek

• Gelişmiş tıkanıklık kontrol algoritmaları (DCQCN, TIMELY)
• Kayıpsız Ethernet için öncelik tabanlı akış kontrolü (PFC)
• Gelişmiş açık tıkanıklık bildirimi (ECN) mekanizmaları
• Optimum Performans için Yapılandırma Esasları

Ağ Altyapısı Yapılandırması

• : Anahtarlarda uygun PFC ve ECN ayarlarıMTU Hizalaması
• : Verimli büyük aktarımlar için Jumbo çerçeveler (tipik olarak 9000 MTU)Kuyruk Çifti Yönetimi
• : Uygulama ihtiyaçlarına göre optimum sayıda kuyruk çiftiTampon Tahsisi
• : Açlığı önlemek için yeterli alma tamponlarıUygulama Entegrasyon Modelleri

RDMA işlemleri için optimize edilmiş MPI uygulamaları

• Uzaktan blok erişimi için RDMA kullanan depolama sistemleri
• Parametre senkronizasyonu için yerleşik RDMA desteği olan yapay zeka çerçeveleri
• Dağıtılmış işlem işleme için RDMA kullanan veritabanı sistemleri
• Performans İzleme ve Sorun Giderme

Tıkanıklık tespiti ve analizi için gerçek zamanlı telemetri

• Hızlı sorun tespiti için ayrıntılı hata sayaçları
• Ağ genelinde görünürlük için NVIDIA NetQ ile entegrasyon
• RoCE bağlantı sorunları için gelişmiş tanılama
• Yapay Zeka İş Yüklerinde Karşılaştırmalı Avantaj

Tüm azaltma işlemleri için neredeyse sonsuz bant genişliği

• Eşzamanlı eğitim için deterministik gecikme süresi
• Binlerce düğümde ölçeklenebilir performans
• NVIDIA GPUDirect teknolojisi ile sorunsuz entegrasyon
• NVIDIA'nın donanım uzmanlığının ve kapsamlı yazılım ekosisteminin birleşimi, yeni nesil yapay zeka altyapısı oluşturan kuruluşlar için cazip bir çözüm yaratır. RDMA ve RoCE teknolojilerine odaklanma, NVIDIA NIC'lerini gerçekten yüksek performanslı ağın peşinde temel bileşenler olarak konumlandırır.

Veri hacimleri büyümeye ve gecikme gereksinimleri daha katı hale geldikçe, NVIDIA'nın ağ teknolojisini geliştirme taahhüdü, NIC çözümlerinin yüksek performanslı bilişim altyapısının ön saflarında kalmasını sağlar.

NVIDIA NIC RDMA ve RoCE yetenekleri hakkında daha fazla bilgi edinin