NVIDIA ConnectX

A volte vuoi solo andare veloce. Recentemente abbiamo discusso della rete da 400 Gbps nel contesto in cui si tratta di una nuova funzionalità che gli slot PCIe Gen5 x16 possono gestire. Oggi daremo un'occhiata alla configurazione utilizzando NDR 400Gbps Infiniband/ 400GbE.

Un ringraziamento speciale a PNY. Non lo sapevamo un anno fa, ma PNY non vende solo GPU per workstation NVIDIA ma anche componenti di rete. Stavamo lavorando su uno switch da 400GbE e dalle discussioni è emerso che avremmo dovuto rivedere queste schede come parte di quel processo. Potrebbe sembrare abbastanza semplice, ma è un grande salto dalla rete 100GbE a 400GbE e le schede MCX75310AAS-NEAT sono prodotti di punta in questo momento a causa di quante persone stanno cercando di implementare apparecchiature di rete di fascia alta.

ConnectX-7 (MCX75310AAS-NEAT) è una scheda PCIe Gen5 x16 a basso profilo. Abbiamo scattato foto con la staffa a tutta altezza ma nella confezione è presente una staffa a basso profilo.

Qualcosa che dovrebbe far notare alla gente è la dimensione della soluzione di raffreddamento. Giusto per dare un'idea di quanto siamo agli inizi, abbiamo cercato le specifiche di alimentazione del ConnectX-7 e non siamo riusciti a trovarle. Abbiamo chiesto a NVIDIA attraverso i canali ufficiali le specifiche. Pubblichiamo questo pezzo senza di loro poiché sembra che NVIDIA non sia sicura di cosa si tratti al momento. È un po' strano che NVIDIA non pubblichi solo le specifiche di potenza di queste schede nella sua scheda tecnica.

Ecco il retro della scheda con una divertente piastra posteriore del dissipatore di calore.

Ecco una vista laterale della scheda guardando dal connettore PCIe Gen5 x16.

Ecco un'altra vista guardando dalla parte superiore della carta.

Ecco una vista dalla direzione in cui si prevede che il flusso d'aria viaggi nella maggior parte dei server.

Per una rapida prospettiva qui, questa è una scheda a porta singola a basso profilo che funziona a velocità di 400 Gbps. Si tratta di un'enorme quantità di larghezza di banda.

Con una scheda come questa, uno degli aspetti più importanti è installarla in un sistema in grado di sfruttare la velocità.

Fortunatamente li abbiamo installati nei nostri server Supermicro SYS-111C-NR 1U e Supermicro SYS-221H-TNR 2U e hanno funzionato senza problemi.

Il SYS-111C-NR ci ha fatto apprezzare i nodi a socket singolo poiché non abbiamo dovuto evitare il socket-to-socket durante la configurazione del sistema. A velocità di 10/40 Gbps e anche a velocità di 25/50 Gbps, sentiamo persone discutere dell'attraversamento dei collegamenti socket-to-socket come sfide prestazionali. Con 100GbE, è diventato più frequente e molto comune avere un adattatore di rete per CPU per evitare l'attraversamento. Con velocità 400GbE, l'impatto è significativamente peggiore. Utilizzando server dual-socket con una singola scheda da 400 GbE potrebbe valere la pena esaminare gli adattatori multi-host che possono connettersi direttamente a ciascuna CPU.

Una volta installate le carte, abbiamo dovuto affrontare la sfida successiva. Le carte utilizzano gabbie OSFP. Il nostro switch 400GbE utilizza QSFP-DD.

I due standard sono leggermente diversi in termini di livelli di potenza e design fisico. È possibile adattare QSFP-DD a OSFP, ma non il contrario. Se non hai mai visto un'ottica OSFP o un DAC, hanno la propria soluzione di gestione termica. QSFP-DD utilizza inoltre dissipatori di calore sulle gabbie QSFP-DD. OSFP spesso include la soluzione di raffreddamento di cui disponiamo sui DAC e sulle ottiche OSFP del nostro laboratorio.

Ciò ci ha portato ad alcuni giorni di panico. I DAC Amphenol OSFP da 500 dollari così come i DAC da OSFP a QSFP-DD disponibili utilizzavano la soluzione di raffreddamento del dissipatore di calore. Abbiamo inviato tutto al laboratorio per collegarci solo per ricevere una nota che le estremità OSFP dei DAC non si adattavano alle porte OSFP delle schede ConnectX-7 a causa del raffreddamento diretto sui DAC.

Il motivo per cui NVIDIA utilizza OSFP è probabilmente a causa del livello di potenza più elevato. OSFP consente ottiche da 15 W mentre QSFP-DD è da 12 W. All'inizio dei cicli di adozione, avere limiti di potenza più elevati consente un'adozione anticipata più semplice, il che è uno dei motivi per cui esistono cose come i moduli CFP8 da 24 W. D'altra parte, abbiamo già esaminato l'ottica FS 400Gbase-SR8 400GbE QSFP-DD, quindi il mercato si sta muovendo.

Alcune chiamate dopo, avevamo cavi che funzionavano. Il nostro punto chiave, sia che tu stia utilizzando gli adattatori ConnectX-7 OSFP oggi, sia che tu stia leggendo questo articolo tra 5 anni, quando diventeranno economici dispositivi di seconda mano, è tenere presente le dimensioni del dissipatore di calore sull'estremità OSFP che colleghi al ConnectX- 7. Se sei abituato a QSFP/QSFP-DD dove tutto si collega e funziona, la sfida più grande è imbattersi in problemi stupidi come le dimensioni dei connettori. D'altra parte, se sei un fornitore di soluzioni, questa è un'opportunità per il supporto di servizi professionali. NVIDIA e rivenditori come PNY vendono anche cavi LinkX che sarebbe stato un percorso più semplice. Questa è una grande lezione appresa.