Uygulamada NVIDIA Mellanox MMA4Z00-NS Veri Merkezi Optik Alıcı-Vericisi

Uygulamada NVIDIA Mellanox MMA4Z00-NS Veri Merkezi Optik Alıcı-Vericisi | Raftan Rafa ve Tesisler Arası Bağlantılarda Bant Genişliğini ve Mesafeyi Dengeleme

Arka Plan ve Zorluk: Yapay Zeka Odaklı Veri Merkezlerinde 800G Bant Genişliği-Mesafe İkilemi

Yapay zeka eğitim kümeleri yüzlerce GPU'dan binlerce GPU'ya kadar ölçeklendiğinden, temeldeki ağ yapısının, veri salonu içinde kabul edilebilir bağlantı mesafelerini korurken terabit ölçekli bant genişliği sunması gerekir. 800G Ethernet ve 400G InfiniBand dağıtımları için, fiziksel katman sorunu özellikle ciddidir: geleneksel 850nm VCSEL tabanlı çok modlu alıcı-vericiler, kısa erişimli bağlantılar (30 metrenin altında) için mükemmel maliyet etkinliği sunar, ancak erişimleri genellikle 800G PAM4 hızlarında 50-70 metreye düşer; bu, koridorlar arası bağlantılar veya sıralar arası topolojiler için yetersiz olabilecek bir mesafedir. Bunun tersine, DR8 veya FR8 alıcı-vericileri gibi tek modlu çözümler, erişimi yüzlerce metreye kadar genişletir ancak önemli ölçüde daha yüksek maliyet ve güç tüketimiyle birlikte gelir ve bu da onları yüksek yoğunluklu erişim katmanı dağıtımları için ekonomik olarak uygunsuz hale getirir.

Bu zorluk, yakın zamanda 12 veri merkezi salonuna 8.000 GPU'luk bir yapay zeka eğitim kümesi dağıtan büyük ölçekli bir bulut sağlayıcısı tarafından karşı karşıya kaldı. Küme, yaprak anahtarlar ile bitişik ve bitişik olmayan raflara dağıtılmış GPU hesaplama düğümleri arasında 5 metre (raf içi) ile 65 metre (koridor arası) arasında değişen mesafelerle 800G bağlantısı gerektiriyordu. Mühendislik ekibinin, sinyal bütünlüğünden, güç verimliliğinden veya protokol esnekliğinden ödün vermeden bu bağlantıların çoğunu kapsayabilecek tek bir alıcı-verici SKU'suna ihtiyacı vardı; çünkü yapı hem depolama için Ethernet'i hem de GPU'dan GPU'ya iletişim için InfiniBand'ı içeriyordu.NVIDIA Mellanox MMA4Z00-NSHer iki protokolde de 2×400G koparma özelliğiyle 800G OSFP SR8 performansı sunan optimum aday olarak ortaya çıktı.

Çözüm ve Dağıtım: Birleşik Bir 800G Optik Stratejisi

Bant genişliği-mesafe dengesini ele almak için sağlayıcı,NVIDIA Mellanox MMA4Z00-NS60 metreye kadar tüm çok modlu fiber bağlantılar için tek 800G optik alıcı-verici olarak. BuMMA4Z00-NS 800G OSFP SR8 alıcı-vericiOM5 geniş bant çok modlu fiber üzerinden çalışır ve 800G'de 70 metrelik erişimi destekler; daha kısa bağlantılar için mevcut OM4 altyapısıyla uyumluluğu korurken çapraz koridor bağlantısı için geniş marj sağlar. 60 metreyi aşan bağlantılar için ekip, salonlar arası birkaç bağlantıyı kapsayacak şekilde küçük bir tek modlu alıcı-verici envanteri (DR8/FR8) ayırdı.

Dağıtım, her biri özel kablolama ve bağlantı gereksinimlerine sahip üç farklı bölgede gerçekleştirildi:

• Raf içi (2–5 metre):Her iki uçta da MMA4Z00-NS alıcı-vericilerini kullanarak MPO-12 yama kablolarını OSFP anahtar bağlantı noktalarından GPU hesaplama düğümlerine yönlendirin. Bağlantı marjı 5 dB'yi aştı ve orta düzeyde konnektör bozulmasında bile sağlam çalışma sağladı.
• Bitişik raflar (8–20 metre):Ara patch panellere sahip baş üstü tepsiler aracılığıyla yapılandırılmış OM5 kablolaması. Toplam bağlayıcı sayısı: Bağlantı başına 2 bağlı çift. Bağlantı marjı: 4–4,5 dB, belgede belirtildiği gibi modülün optik bütçesi dahilindedir.MMA4Z00-NS veri sayfası.
• Çapraz koridor / sıralar arası (25–55 metre):Önceden sonlandırılmış OM5 hatları yükseltilmiş zeminlerin altına yönlendirilir. Ekip, 3,0 dB minimum marjı korumak için kurulumdan önce tüm konektörlerin uç yüzeylerini temizledi ve devreye alma sırasında bir optik güç ölçer kullanarak ekleme kaybını doğruladı.

GPU sunucularını Quantum-2 anahtarlarına bağlayan yapının InfiniBand kısmı içinMMA4Z00-NS 2x400G InfiniBand/Ethernetkoparma modu kullanıldı. Bu konfigürasyonda, anahtar tarafındaki tek bir MMA4Z00-NS alıcı-verici, bir ara MPO-12 ila 2×MPO-8 kablo düzeneği aracılığıyla iki 400G uç noktasını besler. Bu yerel çıkış yeteneği, harici çıkış modüllerine olan ihtiyacı ortadan kaldırarak raf alanı tüketimini önceki 400G tabanlı mimariye kıyasla yaklaşık %20 azalttı. ÇünküNVIDIA Mellanox MMA4Z00-NSöyleMMA4Z00-NS uyumluEkip, Ethernet ve InfiniBand protokollerinin her ikisini de kullanarak tüm yapı genelinde tek bir alıcı-verici SKU'sunu korudu ve satın alma ve yedek parça yönetimini basitleştirdi.

Sonuçlar ve Faydalar: Maliyet, Yoğunluk ve Operasyonel Basitlik Açısından Ölçülebilir Kazanımlar

2.400 optik bağlantıdaki dağıtım sonrası analiz, birçok ölçülebilir avantajı ortaya çıkardı. Öncelikle standartlaştırarakMMA4Z00-NS 800G OSFP SR8 alıcı-verici çözümüKuruluş, kısa erişimli ve orta erişimli SKU'lara olan ihtiyacı ortadan kaldırarak alıcı-verici envanterini %60 oranında azalttı ve sipariş süreçlerini basitleştirdi.MMA4Z00-NS fiyatıKarşılaştırılabilir genişletilmiş erişimli tek modlu modüllerle karşılaştırıldığında değerlendirildiğinde, gerekli olmayan yetenekler için herhangi bir prim ödenmediği için 60 metrenin altındaki mesafeler için bağlantı başına %45 maliyet tasarrufu sağladı.

İkincisi, ilk altı aydaki operasyonel arıza oranı son derece düşüktü: 2.400 üniteden yalnızca iki alıcı-vericinin değiştirilmesi gerekti; %0,08'lik bir arıza oranı, erken nesil 800G alıcı-vericiler için %0,5-1 olan sektör ortalamasının önemli ölçüde altındaydı. Bu güvenilirlik, MMA4Z00-NS'nin fabrikada optimize edilmiş optik hizalaması ve sıkı kalite kontrolünün yanı sıra ekibin,MMA4Z00-NS teknik özellikleri.

Üçüncüsü, güç verimliliğiNVIDIA Mellanox MMA4Z00-NS— 800G'de modül başına 10,5W'tan az ve 2×400G ara modunda yaklaşık 8,2W tüketim — ölçülebilir soğutma tasarruflarına katkıda bulundu. Konuşlandırılmış filonun tamamında, 2.400 alıcı-verici, daha yüksek güç çekişine (tipik olarak 12-14W) sahip alternatif tek modlu modüllerin seçilmesi durumunda tahmini 35 kW'a kıyasla, 2×400G modunda toplamda yaklaşık 24,6 kW ve 800G modunda 25,2 kW tüketti. Bu %28-30'luk güç azalması, tesisin Güç Kullanımı Verimliliği (PUE) ölçüsünü doğrudan tahmini 0,03 puan artırdı.

Mühendislik açısından bakıldığında, modülün dijital teşhis izleme (DDM) arayüzünün sorun giderme sırasında çok değerli olduğu kanıtlandı. Bir örnekte, proaktif izleme yoluyla alınan optik güçte kademeli bir düşüş tespit edildi; bu, operasyon ekibinin beklenmedik bir bağlantı kopmasına tepki vermek yerine bir bakım penceresi sırasında konnektör temizliği planlamasını sağladı. Bu önleyici yaklaşım, optik katman olayları için ortalama onarım süresini (MTTR) tahminen %55 oranında azalttı; çünkü ekip, hizmet kesintilerine neden olmadan önce bozulmuş bağlantıları tespit edebildi.

Özet ve Genel Bakış: Ölçeklenebilir 800G Optik Mimarisi için Bir Taslak

Dağıtım deneyimiNVIDIA Mellanox MMA4Z00-NSbirden fazla mesafe bölgesi boyunca, iyi seçilmiş tek bir 800G OSFP SR8 alıcı-vericisinin, teknik özelliklerinin kurulu fiber tesisi ve mesafe gereklilikleriyle dikkatli bir şekilde eşleştirilmesi koşuluyla, modern AI veri merkezlerinde bant genişliği-mesafe dengesini etkili bir şekilde karşılayabildiğini açıkça göstermektedir. 70 metrelik erişimden faydalanarakMMA4Z00-NS 800G OSFP SR8 alıcı-vericiOM5 fiber üzerinden mimarlar, raf içi, raflar arası ve koridorlar arası bağlantılarda sinyal bütünlüğünü ve operasyonel basitliği korurken birden fazla optik SKU'nun maliyet ve karmaşıklığından kaçınabilir.

İleriye baktığımızda, 800G Ethernet ve 400G InfiniBand yapay zeka eğitimi, HPC ve kurumsal depolama ortamlarında ilgi görmeye devam ederken, güvenilir, uygun maliyetli 800G optik alıcı-vericilere olan talep de giderek artacak. MMA4Z00-NS bu gidişat için iyi bir konumdadır çünkü çift protokol kapasitesi ve yerel 2×400G koparma desteği, hem mevcut 400G altyapılarıyla hem de gelecekteki 800G yerel uç noktalarıyla uyumluluğu garanti eder. Benzer 800G geçişlerini planlayan kuruluşlar için, bu dağıtımda doğrulanan katmanlı yaklaşım pratik bir yol haritası sunuyor: OM5 üzerinden 60 metreye kadar tüm bağlantılar için MMA4Z00-NS'yi standartlaştırın, tek modlu alıcı-vericileri daha uzun salonlar arası bağlantılar için ayırın ve hem Ethernet hem de InfiniBand yapılarında optik sağlığı proaktif bir şekilde yönetmek için DDM verilerinden yararlanan birleşik bir izleme çerçevesini koruyun.

Ayrıntılı bağlantı bütçesi şablonları, kurulum kontrol listeleri ve temizleme protokolleri için bkz.MMA4Z00-NS veri sayfasıve NVIDIA Mellanox optik uygulama notları.