Mellanox 920-9B210-00FN-0D0 InfiniBand Switch.

Mellanox 920-9B210-00FN-0D0 InfiniBand Anahtarı | RDMA, HPC ve AI Kümesi Düşük Gecikmeli Ara Bağlantı Optimizasyonu için Teknik Çözüm

NVIDIA Quantum-2 NDR InfiniBand ağı, RDMA hızlandırması, ölçeklenebilir GPU kümesi ara bağlantıları, yapı yönetimi ve performans optimizasyonunu kapsayan kapsamlı bir teknik mimari ve dağıtım kılavuzu.

Ürün:NVIDIA QM9790 / MQM9790-NS2F |Stok Kodu:920-9B210-00FN-0D0 |Teknoloji:400 Gb/sn NDR InfiniBand

Yapay zeka, yüksek performanslı bilgi işlem (HPC) ve dağıtılmış GPU iş yükleri, veri merkezi ağ altyapısına benzeri görülmemiş talepler getiriyor. Bilgi işlem kümeleri büyüdükçe ağ iletişim verimliliği, pahalı GPU kaynaklarının tam potansiyelleriyle çalışıp çalışmayacağını giderek daha fazla belirliyor.NVIDIA Mellanox 920-9B210-00FN-0D0InfiniBand anahtarı, ölçeklenebilir hızlandırılmış bilgi işlem ağları oluşturmak için yüksek bant genişliğine sahip, düşük gecikme süreli bir anahtarlama platformu sağlar.

NVIDIA Quantum-2 teknolojisiyle desteklenen QM9790, 32 OSFP konnektörü aracılığıyla 64 adet blokajsız 400 Gb/s NDR InfiniBand bağlantı noktasını destekler ve toplamda 51,2 Tb/s'ye kadar çift yönlü anahtarlama verimi sağlar. Bu teknik raporda, anahtarın RDMA özellikli ağ mimarilerine nasıl entegre edileceği, dağıtılmış yapay zeka iletişiminin nasıl optimize edileceği, esnek HPC yapılarının nasıl tasarlanacağı ve etkili dağıtım ve operasyonel uygulamaların nasıl oluşturulacağı açıklanmaktadır.

01. Proje Arka Planı ve İhtiyaç Analizi

Modern yapay zeka eğitim platformları genellikle birden fazla GPU sunucusunu dağıtılmış bilgi işlem kümelerine bağlar. Model eğitimi sırasında GPU'lar, NVIDIA NCCL gibi iletişim kitaplıklarını kullanarak sıklıkla gradyanları, parametreleri ve ara sonuçları paylaşır. HPC uygulamaları benzer şekilde MPI ve diğer paralel bilgi işlem çerçevelerinden geçen düşük gecikmeli mesajlara dayanır.

Bilgi işlem düğümlerinin sayısı arttıkça iletişim trafiği daha karmaşık hale gelir. Uygulamalar, bant genişliği doygunluğu, yoğun erişim noktaları, toplu iletişim gecikmeleri ve ağ çekişmesinin neden olduğu tutarsız performansla karşılaşabilir.

Yüksek performanslı bir InfiniBand çözümü aşağıdaki teknik gereksinimleri karşılamalıdır:

• Yüksek Bant Genişliği:GPU sunucuları ve bilgi işlem düğümleri arasında büyük ölçekli veri hareketi için yeterli ara bağlantı kapasitesi sağlayın.
• Düşük İletişim Gecikmesi:Sık senkronizasyon ve küçük mesaj alışverişlerinden kaynaklanan gecikmeleri en aza indirin.
• RDMA Desteği:Daha az CPU kullanımıyla verimli bellekten belleğe iletişim sağlayın.
• Ağ Ölçeklenebilirliği:Bireysel sunucu raflarından çoklu raflı AI ve HPC yapılarına kadar genişletmeyi destekleyin.
• Trafik Optimizasyonu:Uyarlanabilir yönlendirme ve tıkanıklık yönetimi yoluyla ağ kullanımını iyileştirin.
• Operasyonel Güvenilirlik:İzleme, hata izolasyonu ve performans doğrulama prosedürlerini oluşturun.

Tasarım Amacı:Ağla ilgili darboğazları en aza indiren ve dağıtılmış yapay zeka eğitimi, bilimsel bilgi işlem ve veri yoğunluklu HPC uygulamaları için öngörülebilir RDMA performansını destekleyen, ölçeklenebilir, yüksek bant genişliğine sahip bir InfiniBand yapısı oluşturun.

02. Genel Ağ ve Sistem Mimarisi

Önerilen mimari şunları kullanır:920-9B210-00FN-0D0 InfiniBand anahtarı OPNyüksek hızlı bir NDR yapısı içinde temel yapı taşı olarak. Dağıtım ölçeğine bağlı olarak anahtarlar, tek katmanlı bir tasarımda veya çok katmanlı bir yaprak omurga topolojisinde çalışabilir.

Çok raflı GPU kümeleri için iki katmanlı Fat Tree mimarisi pratik bir başlangıç ​​noktasıdır. Yaprak anahtarlar bilgi işlem sunucularını bağlarken, omurga anahtarlar raflar arasında yüksek bant genişliğine sahip iletişim sağlar. Uplink tahsisi, beklenen trafik modellerine, gerekli ikiye bölme bant genişliğine ve kabul edilebilir fazla aboneliğe göre hesaplanmalıdır.

Referans Ağ Topolojisi

Yapay Zeka Eğitimi / HPC Uygulamaları
NCCL / MPI / UCX / RDMA
↓
GPU Sunucuları ve Bilgi İşlem Düğümleri
NVIDIA ConnectX InfiniBand Adaptörleri
↓
Yaprak Katmanı
NVIDIA Quantum-2 QM9790 NDR Anahtarları
↓
Omurga Katmanı
NVIDIA Quantum-2 QM9790 NDR Anahtarları
↓
Diğer GPU Rafları / HPC Bilgi İşlem Düğümleri
Harici Alt Ağ Yöneticisi / NVIDIA UFM Yapı Yönetimi

Bu mimaride bilgi işlem düğümleri, InfiniBand yapısına erişmek için RDMA özellikli ağ bağdaştırıcılarını kullanır. Yaprak katmanı sunucuya yönelik bağlantı sağlarken, omurga katmanı farklı ağ bölümleri arasındaki iletişimi destekler. Engellemeyen bir tasarım, bağlı aşağı bağlantılara göre yeterli yukarı bağlantı bant genişliği gerektirir.

Büyük yapay zeka dağıtımları, hata izolasyonunu ve bant genişliği kullanımını iyileştirmek için iletişimi birden fazla bağımsız ağ kanalına da dağıtabilir. Ana makine tarafındaki sınırlamaların yüksek hızlı anahtarlamanın faydalarını azaltmasını önlemek için ray hizalaması, bağdaştırıcı yerleşimi, NUMA benzeşimi ve GPU topolojisi birlikte düşünülmelidir.

03. NVIDIA Mellanox 920-9B210-00FN-0D0'ın Rolü ve Temel Özellikleri

920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/sn NDRanahtar NVIDIA Quantum-2 QM9790 ailesine aittir. Harici olarak yönetilen yapılar için tasarlanmış, hızlandırılmış bilgi işlem düğümleri arasında yoğun bağlantıyı ve yüksek hızlı iletişimi destekleyen, yönetilmeyen bir InfiniBand anahtarlama sistemidir.

Aşağıdaki920-9B210-00FN-0D0 özellikleriAğ mimarisi ve donanım seçimiyle ilgili ürün özelliklerini özetler.

RDMA Tabanlı İletişim Optimizasyonu

Uzaktan Doğrudan Bellek Erişimi, katılımcı sistemlerin kayıtlı bellek bölgeleri arasında veri aktarmasına olanak tanırken CPU işlem yükünü azaltır. Yapay zeka ve HPC ortamlarında bu yetenek, verimli düğümler arası iletişimi destekler ve yazılımla ilgili veri aktarım maliyetlerini azaltabilir.

Uyumlu NVIDIA ConnectX bağdaştırıcıları ve uygun şekilde yapılandırılmış bir yazılım yığınıyla uygulamalar, UCX, MPI ve NCCL gibi çerçeveler aracılığıyla RDMA aktarımını kullanabilir. GPU Direct RDMA, donanım platformunun, sürücülerin ve uygulama yapılandırmasının desteklediği durumlarda veri hareketini daha da optimize edebilir.

Uyarlanabilir Yönlendirme ve Tıkanıklık Yönetimi

NVIDIA Quantum-2, trafiği mevcut ağ yolları üzerinden dağıtabilen uyarlanabilir yönlendirme mekanizmalarını destekler. InfiniBand tıkanıklık kontrolü, hizmet kalitesi özellikleri ve sanal şerit yönetimi ile bir araya getirilen bu teknolojiler, trafik yoğun noktalarının adreslenmesine ve iletişim istikrarının iyileştirilmesine yardımcı olur.

Gerçek faydalar yapı topolojisine, yönlendirme politikalarına, ürün yazılımı yeteneklerine ve alt ağ yönetimi yapılandırmasına bağlıdır. Ağ mimarları, yalnızca teorik anahtarlama kapasitesine dayanmak yerine, bu ayarları temsili uygulama trafiği altında doğrulamalıdır.

NVIDIA SHARP Ağ İçi Bilgi İşlem

NVIDIA Ölçeklenebilir Hiyerarşik Toplama ve Azaltma Protokolü (SHARP), desteklenen toplu işlemlerin ağ yapısı içinde işlenmesine olanak tanır. SHARP, desteklenen azaltma işlemleri sırasında değiştirilen veri hacmini azaltarak seçilen yapay zeka ve HPC iş yükleri için iletişim verimliliğini artırabilir. Dağıtım, uyumlu ürün yazılımı, yönetim bileşenleri ve uygulama yazılımı desteği gerektirir.

04. Dağıtım Stratejisi ve Ağ Genişletme

Dağıtımı920-9B210-00FN-0D0 InfiniBand anahtar OPN çözümüdonanım uyumluluğunu, yapı planlamasını, ağ doğrulamasını ve gelecekteki kapasite gereksinimlerini kapsayan yapılandırılmış bir uygulama sürecini takip etmelidir. Aşamalı bir yaklaşım, yapılandırma risklerini azaltır ve performans sorunlarının tanımlanmasını kolaylaştırır.

Aşama 1: Donanım ve Fiziksel Altyapı

• Anahtar SKU'sunu, eski OPN'yi, raf boyutlarını, güç kaynağı gereksinimlerini ve P2C hava akışı yönünü onaylayın.
• Bağlantı hızına ve mesafeye göre uyumlu ConnectX adaptörlerini, OSFP optik modüllerini, DAC kablolarını veya aktif optik kabloları seçin.
• Kablo yönlendirmesini, raf soğutmasını, güç yedekliliğini ve fiziksel bağlantı noktası tahsisini planlayın.
• Üretim dağıtımından önce desteklenen ürün yazılımı sürümlerini ve donanımların birlikte çalışabilirliğini doğrulayın.

Aşama 2: Yapı Yapılandırması ve Doğrulaması

QM9790 yönetilmeyen bir anahtar olduğundan, yapının başlatılması ve yol yapılandırması için harici bir InfiniBand Alt Ağ Yöneticisi gereklidir. NVIDIA UFM, desteklenen bileşenlerle dağıtıldığında ek yapı yönetimi, izleme ve operasyonel özellikler sağlayabilir.

Ağ yöneticileri, bağlantı noktası bağlantı durumlarını, anlaşılan hızları, alt ağ keşfini, yönlendirme yapılandırmasını ve uçtan uca RDMA bağlantısını doğrulamalıdır. İlgili olduğu yerde, uygulama gereksinimlerine göre bölümlendirmeyi, hizmet seviyelerini, sanal şeritleri, tıkanıklık kontrollerini ve uyarlanabilir yönlendirmeyi yapılandırın.

Aşama 3: Ölçeklendirme ve Kapasite Planlama

Küme genişletmede anahtar tabanı, kullanılabilir yukarı bağlantı kapasitesi, trafik dağıtımı ve ağ katmanlarının sayısı dikkate alınmalıdır. QM9790 64 mantıksal NDR bağlantı noktası sağlasa da, fiziksel arayüz düzenlemesi ve desteklenen kablo dağıtım yapılandırmaları, bağlantı noktası tahsis planına doğru şekilde yansıtılmalıdır.

Daha büyük dağıtımlar için, yeni sunucu raflarına uyum sağlamak üzere ek yaprak ve omurga anahtarları eklenebilir. Genişletme planları, yedeklilik, ağ rayı ayrımı, kablolama mesafeleri ve bilgi işlem grupları arasında gerekli bant genişliğinin korunmasını hesaba katmalıdır.

05. Operasyonlar, İzleme ve Sorun Giderme

Güvenilir InfiniBand işlemleri, bağlantı durumuna, yapı sağlığına, tıkanıklık davranışına ve iş yükü performansına ilişkin sürekli görünürlük gerektirir. Ağ koşullarını izlemek ve anormal iletişim modellerini belirlemek için NVIDIA UFM ve uyumlu InfiniBand tanılama araçları kullanılabilir.

Önerilen operasyonel izleme şunları içerir:

• Bağlantı Sağlığı:Anlaşmalı hızları, fiziksel hataları, bağlantı kanatlarını ve bağlantı noktası kapanma olaylarını izleyin.
• Bant Genişliği Kullanımı:Aşırı abone olunan bağlantıları belirlemek için iletilen ve alınan trafiği izleyin.
• Tıkanıklık Göstergeleri:İletim-bekleme sayaçlarını, akış kontrol etkinliğini ve trafik sıcak noktalarını inceleyin.
• Kumaş Yönetimi:Alt Ağ Yöneticisinin kullanılabilirliğini, yönlendirme tutarlılığını, topoloji değişikliklerini ve keşfedilen cihazları kontrol edin.
• Uygulama Performansı:Ağ ölçümlerini NCCL, MPI ve üretim iş yükü ölçümleriyle ilişkilendirin.

Ağ düzeyinde performans testi için mühendisler aşağıdaki gibi InfiniBand yardımcı programlarını kullanabilir:ibstat,ibdiagnet,güzel sanatlarve RDMA performans araçları gibiib_write_bwVeib_send_lat. NVIDIA NCCL Testleri ve MPI kıyaslamaları, uygulama düzeyinde iletişim performansına ilişkin ek bilgiler sağlayabilir.

Performans düşüşünü giderirken önce fiziksel bağlantıyı, ardından bağlantı noktası hızını, hata sayaçlarını, yapı yönlendirmesini ve tıkanıklık göstergelerini doğrulayın. Ağ ölçümleri sağlıklı kalırsa ana bilgisayar tarafındaki PCIe bant genişliğini, NUMA yerleşimini, GPU benzeşimini, sürücü sürümlerini ve uygulama iletişim ayarlarını araştırın.

Performans kabulü, etkili bant genişliğini, iletişim gecikmesini, toplu işlem verimini ve iş yükünün tamamlanma süresini içermelidir. P50, P95 ve P99 gecikme ölçümleri, sürekli veya yoğun trafik altında performans değişkenliğini ortaya çıkarmaya yardımcı olabilir. Kabul eşikleri, projeye özel hizmet hedefleri ve ölçülen temel veriler kullanılarak tanımlanmalıdır.

06. Çözüm Değeri ve Performans Değerlendirmesi

920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/sn NDRanahtarlama platformu, zorlu dağıtılmış bilgi işlem ortamları için gereken ağ kapasitesini ve mimariyi sağlar. Temel değeri, yüksek hızlı iletişimi, ölçeklenebilir yapı tasarımını ve RDMA özellikli bilgi işlem sistemleriyle verimli entegrasyonu mümkün kılmakta yatmaktadır.

Altyapı açısından bakıldığında, 400 Gb/sn NDR bağlantısı ve yüksek bağlantı noktası yoğunluğu, GPU kümesi boyutları arttıkça ağ oluşturma kısıtlamalarını azaltabilir. Gelişmiş InfiniBand yetenekleri daha verimli trafik dağıtımını desteklerken, harici yapı yönetimi operasyonel görünürlüğü ve sorun gidermeyi iyileştirir.

Eksiksiz bir değer değerlendirmesi, dağıtım maliyetlerini uygulama verimi, GPU kullanımı, ağ kararlılığı ve operasyonel verimlilikteki ölçülebilir iyileştirmelerle karşılaştırmalıdır. Değerlendiren takımlar920-9B210-00FN-0D0 fiyatıuyumlu adaptörler, optikler, kablolar, yönetim yazılımı, güç ve destek gereksinimleri de dikkate alınmalıdır.

Teknik Değerlendirme Prensibi:InfiniBand ağ yükseltmesinin başarısı, tekrarlanabilir kıyaslama ve üretim iş yükü doğrulama yoluyla belirlenmelidir. Bant genişliğini değiştirmek tek başına eğitim süresinde veya uygulama gecikmesinde sabit bir azalmayı garanti etmez.

07. Sonuç ve Gelecekteki Gelişmeler

NVIDIA Mellanox 920-9B210-00FN-0D0InfiniBand anahtarı, yapay zeka eğitimi, HPC uygulamaları ve hızlandırılmış veri merkezi ortamları için tasarlanmış yüksek yoğunluklu bir ağ çözümüdür. NVIDIA Quantum-2 teknolojisi, 64 NDR bağlantı noktası ve 51,2 TB/s'ye kadar toplam çift yönlü aktarım hızıyla, ölçeklenebilir, düşük gecikmeli bilgi işlem yapıları oluşturmak için bir temel sunar.

Başarılı dağıtım, donanım kurulumundan daha fazlasını gerektirir. İyi tasarlanmış bir çözüm, ağ topolojisini, RDMA özellikli bağdaştırıcıları, optik ara bağlantıları, Alt Ağ Yöneticisi yapılandırmasını, iş yükü ayarlamasını ve operasyonel izlemeyi koordine etmelidir.

GPU kümeleri genişledikçe ve dağıtılmış iş yükleri iletişim açısından giderek daha yoğun hale geldikçe, yüksek performanslı InfiniBand yapıları modern hızlandırılmış bilgi işlem altyapısının önemli bir bileşeni olmaya devam edecek. QM9790, güvenilir NDR bağlantısı arayan kuruluşlar için pratik bir seçenek ve daha büyük, çok raflı ağ mimarilerine doğru net bir yol sunar.

Teknik Referans:NVIDIA QM97XX 1U NDR 400Gbps InfiniBand Anahtar Sistemleri Kullanım Kılavuzu. Nihai dağıtım özellikleri, desteklenen özellikler, ürün yazılımı uyumluluğu ve fiziksel yapılandırmalar, tam ürün SKU'sunun belgelerine göre kontrol edilmelidir.

NVIDIA Mellanox InfiniBand Ağ Çözümleri

Beijing Zhongke Xinyuan Technology Co., Ltd., yapay zeka veri merkezleri, GPU kümeleri, HPC sistemleri ve kurumsal altyapı için NVIDIA Mellanox ağ donanımı ve çözüm desteği sağlıyor. Ürün portföyümüz NVIDIA Quantum InfiniBand anahtarlarını, ConnectX ağ adaptörlerini, optik alıcı-vericileri ve yüksek hızlı DAC/AOC kablolarını içerir.

Arayan müşteriler için920-9B210-00FN-0D0 uyumluağ bileşenleri, ürün seçimi desteği, kullanılabilirlik bilgileri veya proje teklifleri gibi konularda ekibimiz model tanımlama, konfigürasyon eşleştirme ve satın alma planlaması konularında yardımcı olabilir.