Yapay Zeka Eğitim Kümelerinde Ağ Darboğazları: Mellanox Tarafından Sağlanan Çözümler

Basın Bülteni: Yapay Zeka modelleri karmaşıklık açısından katlanarak büyüdükçe, yüksek performanslı, ölçeklenebilir bilgi işlem talebi hiç bu kadar büyük olmamıştı. Sıklıkla göz ardı edilen kritik bir bileşen, binlerce GPU'yu birbirine bağlayan temel Yapay Zeka ağ altyapısıdır. Yüksek performanslı ara bağlantı çözümlerinde öncü olan Mellanox, bu tam olarak bu zorluğu, tıkanıklıkları ortadan kaldırmak ve her GPU kümesinin verimliliğini en üst düzeye çıkarmak için tasarlanmış, son teknoloji düşük gecikmeli ara bağlantı teknolojisiyle ele alıyor.

Modern Yapay Zeka eğitimi, özellikle Büyük Dil Modelleri (LLM'ler) ve bilgisayarla görme, çok sayıda GPU'da paralel işlemeye dayanır. Sektör analizleri, 1024 GPU'luk bir kümede, ağla ilgili tıkanıklıkların GPU kullanımını potansiyel %95'ten %40'ın altına düşürebileceğini göstermektedir. Bu verimsizlik doğrudan daha uzun eğitim sürelerine, artan enerji tüketimine ve önemli ölçüde daha yüksek işletme maliyetlerine yol açar ve optimize edilmiş Yapay Zeka ağını sadece bir avantaj değil, aynı zamanda bir zorunluluk haline getirir.

Mellanox'un yaklaşımı bütünseldir ve Yapay Zeka iş yükleri için tasarlanmış eksiksiz bir altyapı yığını sağlar. Bu çözümün özü, Spectrum ailesi Ethernet anahtarları ve ConnectX serisi Akıllı Ağ Arayüz Kartları'dır (NIC). Bu bileşenler, sunucular arasında sorunsuz bir veri hattı oluşturarak uyum içinde çalışmak üzere özel olarak tasarlanmıştır.

Temel teknolojik farklılaştırıcılar şunlardır:

• Ağ İçi Hesaplama: Veri işleme görevlerini CPU'dan NIC'ye boşaltarak gecikmeyi önemli ölçüde azaltır.
• Uyarlanabilir Yönlendirme ve RoCE: Optimum veri yolu seçimini sağlar ve verimli, GPU kümesi iletişimi için RDMA over Converged Ethernet (RoCE)'den yararlanır.
• Ölçeklenebilir Hiyerarşik Kumaş: Performans düşüşü olmadan on binlerce porta kadar ölçeklenebilen, engelsiz Clos (yaprak-omurga) mimarilerini destekler.

Mellanox'un çözümünün etkinliği gerçek dünya uygulamalarında kanıtlanmıştır. Aşağıdaki tablo, büyük ölçekli bir Yapay Zeka eğitim ortamında standart bir TCP/IP ağı ile Mellanox RoCE özellikli bir kumaş arasındaki performans karşılaştırmasını göstermektedir.

Milyonlarca doları GPU hesaplama kaynaklarına yatıran kuruluşlar ve araştırma kurumları için, ağ, genel YG'yi belirleyen merkezi sinir sistemidir. Mellanox'un Yapay Zeka ağ çözümleri, çok düğümlü bir GPU kümesinin tek, uyumlu bir süper bilgisayar gibi çalışmasını sağlamak için gereken kritik düşük gecikmeli ara bağlantıyı sağlar. Bu, daha hızlı içgörü elde etme, toplam sahip olma maliyetini (TCO) azaltma ve daha iddialı Yapay Zeka zorluklarının üstesinden gelme yeteneği anlamına gelir.