Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Anahtar Teknik Çözümü

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Anahtarı Teknik Çözüm | RDMA/HPC/AI Kümeleri için Düşük Gecikmeli Ara Bağlantı Optimizasyonu

1. Proje Arka Planı ve Gereksinim Analizi

Modern yapay zeka eğitim çerçeveleri ve HPC uygulamaları, yalnızca bilgi işlem yoğunluğundan ziyade ağ ara bağlantı performansıyla giderek daha fazla kısıtlanıyor. Dağıtılmış eğitim işleri (özellikle büyük dil modellerini kullananlar), geleneksel Ethernet yapılarını zorlayan devasa, senkronize, tümü azaltılmış ve tümüne yönelik trafik modelleri oluşturur. Kurumsal dağıtımlar genelinde belirlenen temel gereksinimler arasında şunlar yer alıyor: iletişim yükünü en aza indirmek için mikrosaniyenin altında anahtar gecikmesi, aşırı aboneliği ortadan kaldırmak için ölçekte engellenmeyen aktarım hızı, yerleşik patlamaları yönetmek için gelişmiş tıkanıklık kontrolü ve Yakınsanmış Ethernet (RoCE) veya yerel InfiniBand ekosistemleri üzerinden RDMA ile sorunsuz entegrasyon. Ayrıca operasyonel ekipler, yüzlerce bağlantı noktasında proaktif hata tespiti ve basitleştirilmiş yönetim için derin telemetri talep ediyor.

2. Genel Ağ/Sistem Mimarisi Tasarımı

Önerilen mimari, GPU merkezli iş yükleri için özel olarak oluşturulmuş iki katmanlı bir yaprak omurga topolojisine odaklanır. Yaprak katmanında her raftaMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0birincil ToR (Raf Üstü) anahtarı olarak, 400 Gb/sn NDR bağlantıları aracılığıyla 40'a kadar hesaplama düğümünü bağlar. Omurga tabakası ikinci bir katmandan oluşur.920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/sn NDR4:1 fazla aboneliğe sahip tam ağ bağlantısı sağlayan veya yeterli omurga bağlantı noktasıyla dağıtıldığında tamamen bloke olmayan anahtarlar. Bu tasarım, NVIDIA'nın UFM'si (Birleşik Yapı Yöneticisi) aracılığıyla birbirine bağlanan birden fazla alt ağ aracılığıyla yatay olarak ölçeklendirme seçeneğiyle birlikte, tek bir yapı alanında 512'ye kadar GPU düğümünü destekler.

Mimari, NVIDIA'nın SHARPv3 (Ölçeklenebilir Hiyerarşik Toplama ve Azaltma Protokolü) ağ içi bilgi işlem motorundan yararlanarak toplu işlemleri doğrudan ASIC anahtarına aktarır. Bu, CPU/GPU bellek veri yollarından geçen veri hacmini azaltır ve yazılım tabanlı yaklaşımlarla karşılaştırıldığında toplu işlem gecikmesini %40'a kadar azaltır.920-9B210-00FN-0D0 InfiniBand anahtarı OPNayrıca her paket için en az sıkışık yolu dinamik olarak seçen ve asimetrik trafik yükleri altında bile optimum bant genişliği kullanımını sağlayan uyarlanabilir yönlendirmeyi de destekler.

3. 920-9B210-00FN-0D0'ın Çözümdeki Rolü ve Temel Özellikleri

NVIDIA Mellanox 920-9B210-00FN-0D0tüm ara bağlantı yapısının temel yapı taşı olarak hizmet eder. Başlıca rolleri şunları içerir:

• Yüksek Yoğunluklu Toplama:2U form faktöründe 64 adede kadar bloke olmayan 400 Gb/s bağlantı noktasıyla anahtar, 25,6 Tb/s'lik toplam anahtarlama kapasitesi sunar. Bu yoğunluk, raf başına gereken anahtar sayısını azaltarak kablolamayı basitleştirir ve bağlantı noktası başına güç tüketimini azaltır.
• Ultra Düşük Gecikmeli Anahtarlama:Anahtar, herhangi bir paket boyutu için 600 ns'nin altındaki gecikmeyi korur; bu, çevrimiçi çıkarım ve finansal HPC gibi kuyruk gecikmesine duyarlı uygulamalar için kritik öneme sahiptir.
• Ağ İçi Bilgi İşlem:SHARPv3 entegrasyonu, toplu operasyonların donanımla hızlandırılmasını sağlar, yapıdaki geçiş sayısını azaltır ve genel iş tamamlama sürelerini %30'a kadar artırır.
• Gelişmiş Telemetri ve Tıkanıklık Kontrolü:Anahtar, akış başına görünürlük sağlar, ana bilgisayar tarafında ayarlamalar için sıkışık akışları işaretler ve yeni başlayan sıcak noktalar hakkında erken uyarı yapılmasını sağlar.

göre920-9B210-00FN-0D0 veri sayfasıanahtar hem bakır hem de optik QSFP-DD alıcı-vericilerini destekler;920-9B210-00FN-0D0 uyumluçoğu veri merkezinde mevcut kablolama altyapısıyla. Önden arkaya hava akışı ve yedekli güç kaynakları, kurumsal ortamlarda yüksek kullanılabilirlik sağlar.

4. Dağıtım ve Ölçeklendirme Önerileri (Tipik Topoloji)

128 GPU düğümünün yeşil alan dağıtımı için, her bir omurganın her yaprağa 4x400 Gb/sn yukarı bağlantılar yoluyla bağlandığı 4 yaprak anahtarı ve 2 omurga anahtarından oluşan iki katmanlı bir mimari öneriyoruz; bu, çoğu eğitim iş yükü için kabul edilebilir olan 2:1 aşırı abonelik oranıyla sonuçlanır. Gecikmeye duyarlı veya yüksek bant genişliğine sahip uygulamalar için, omurga sayısını 4'e çıkararak 1:1 bloke olmayan bir tasarım elde edilebilir, bu da aşağı bağlantı portlarına eşit bir toplam yukarı bağlantı kapasitesi sağlar.

512 düğümün ötesinde ölçeklendirme, yapının her biri UFM tarafından ayrı bir yapı adası olarak yönetilen birden fazla alt ağa bölünmesini gerektirir. Alt ağlar arası iletişim, NVIDIA'nın Quantum-2 ağ geçitleri veya ana bilgisayar tabanlı yönlendirme yoluyla yönlendirilebilir; ancak performansa duyarlı iş yükleri için önerilen yaklaşım, yapıyı mümkün olan her yerde tek bir alt ağda tutmaktır.920-9B210-00FN-0D0 özellikleriYol yeniden yönlendirme olayları sırasında paket düşüşlerini önlemek için yerleşik akış kontrolü ve önceliğe dayalı akış kontrolü (PFC) ile bu büyük ölçekli topolojileri destekler.

Fiziksel kablolamayı planlarken, kablo yoğunluğunu azaltmak amacıyla omurga yaprağı bağlantıları için MPO'dan QSFP-DD'ye ara kabloları veya 3 metrenin üzerindeki mesafeler için aktif optik kabloları (AOC'ler) kullanmayı düşünün.920-9B210-00FN-0D0 satılıkgenellikle kapsamlı bir aksesuar kiti içerir ancak bağlantı eğitimi sorunlarından kaçınmak için üçüncü taraf alıcı-verici uyumluluğunu satıcının birlikte çalışabilirlik matrisi aracılığıyla doğrulamanızı öneririz.

5. Operasyonlar, İzleme ve Arıza Teşhisi

Operasyonel mükemmellik, şirketin temel taşıdır.920-9B210-00FN-0D0 InfiniBand anahtar OPN çözümü. Anahtar, NVIDIA'nın UFM platformuyla sorunsuz bir şekilde bütünleşir ve şunları sağlar:

• Gerçek Zamanlı Yapı Sağlığı İzleme:Bağlantı durumu, sıcaklık, güç tüketimi ve bağlantı noktası başına hata sayaçları (CRC, sembol ve hizalama hataları) için kontrol panelleri.
• Tahmine Dayalı Arıza Analizi:UFM'deki makine öğrenimi modelleri, arızalı optikleri veya bozulan bağlantıları, iş hatalarına neden olmadan önce proaktif olarak tespit eder.
• Otomatik Sorun Giderme:Sistem, trafiğin yeniden yönlendirilmesi veya hatalı bağlantıların izole edilmesi gibi düzeltici eylemler önererek ortalama çözüm süresini (MTTR) önemli ölçüde azaltır.

Gelişmiş tanılama için anahtar, sFlow ve bağlantı noktası yansıtmayı destekleyerek protokol düzeyinde hata ayıklama için derin paket incelemesine olanak tanır. Ekipler ayrıca ayrıntılı bilgilere de erişebilir920-9B210-00FN-0D0 özellikleriözellikle karışık InfiniBand/Ethernet ortamlarında kullanıldığında RoCEv2 trafiğini ayarlamak için arabellek eşikleri ve önerilen ayarlar için. Performans ayarlaması, uyarlanabilir yönlendirme eşiklerine ve SHARPv3 toplama aralıklarına odaklanmalıdır; bunlar iş yükü aşamasına (örneğin, eğitime karşı çıkarım) göre ayarlanabilir.

Rutin bakım, UFM'nin sürekli yükseltme özelliği kullanılarak minimum kesintiyle gerçekleştirilen ürün yazılımı güncellemelerini ve sinyal bütünlüğünü korumak için optik konektörlerin periyodik temizliğini içerir. Anahtarın yedek güç ve fan modülleri, çalışma sırasında çalışırken değiştirilebilir değiştirmelere olanak tanır.

6. Özet ve Değer Değerlendirmesi

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0Yapay zeka ve HPC yatırımlarının tam performansını ortaya çıkarmak isteyen kuruluşlar için kapsamlı bir çözüm sunar. 400 Gb/sn NDR hızlarını, ağ içi bilgi işlemi ve akıllı tıkanıklık yönetimini ölçeklenebilir tek bir platformda birleştirerek günümüzün veri merkezlerinin karşılaştığı en acil ara bağlantı zorluklarına çözüm getirir. Açıklanan mimari, yönetimi basitleştiren ve toplam sahip olma maliyetini azaltan operasyonel araçlarla 128 düğümlü pilot kümelerden 2.000'den fazla düğümlü süper bilgi işlem yapısına kadar kanıtlanmış bir yol sağlar.

Değerlendirirken920-9B210-00FN-0D0 fiyatı, uzun vadeli değeri göz önünde bulundurun: Daha kısa iş tamamlama süreleri, doğrudan daha düşük bulut maliyetlerine veya şirket içi iş yükleri için daha hızlı içgörü elde etme süresine dönüşür.920-9B210-00FN-0D0 InfiniBand anahtar OPN çözümüNVIDIA'nın küresel destek ağı ve kapsamlı iş ortağı ekosistemi tarafından desteklenerek kuruluşların altyapılarını gelecek yıllarda güvenle dağıtabilmesini, ölçeklendirebilmesini ve optimize edebilmesini sağlar.

Ayrıntılı planlama için yetkiliye başvurun.920-9B210-00FN-0D0 veri sayfasıVe920-9B210-00FN-0D0 özellikleriMekanik çizimler, termal profiller ve performans kıyaslamalarını içeren belge.