Referensi Teknis NVIDIA Mellanox MQM9790-NS2F: Optimalisasi Interkoneksi Latensi Rendah untuk Klaster RDMA/HPC/AI

NVIDIA Mellanox MQM9790-NS2F Referensi Teknis: Optimasi Interkoneksi Latensi Rendah untuk Kluster RDMA/HPC/AI

1. Latar Belakang Proyek & Analisis Kebutuhan

Pelatihan AI modern dan beban kerja simulasi HPC ditandai dengan pola komunikasi yang intens, semua-ke-semua yang menempatkan tuntutan ekstrim pada jaringan yang mendasari.Sebagai GPU cluster skala di luar 1Dalam hal ini, metode tradisional yang mengandalkan Ethernet dengan pengendalian kemacetan berbasis perangkat lunak terbukti tidak cukup.

• Deterministik latensi ultra rendah:Penundaan port-to-port sub-mikrosekund untuk meminimalkan waktu penyelesaian pekerjaan MPI.
• Kain tanpa kerugian:Zero paket jatuh di bawah kemacetan untuk mencegah TCP incast dan kinerja runtuh.
• Pengurangan beban komputasi dalam jaringan:Pengurangan overhead CPU host untuk operasi kolektif (misalnya, semua-mengurangi, siaran).
• Topologi yang dapat diskalakan:Dukungan untuk topologi fat-tree dan dragonfly+ dengan bandwidth bisection penuh hingga ribuan endpoint.

PeraturanNVIDIA Mellanox MQM9790-NS2Fdirancang untuk memenuhi permintaan ini sebagai saklar InfiniBand NDR 400Gb / s dengan 64 port OSFP, memberikan kepadatan dan kinerja yang diperlukan untuk penyebaran kelas exascale.

2. Desain Arsitektur Jaringan Secara Umum

Solusi yang diusulkan menggunakan topologi laba-laba dua tingkat, yang memberikan keseimbangan skalabilitas, kontrol oversubscription, dan kesederhanaan kabel.setiap rak komputer rumah satu atau duaMQM9790-NS2F InfiniBand switchPada lapisan tulang belakang, lapisan kedua dari switch MQM9790-NS2F menghubungkan semua daun, menciptakan kain non-menghalangi.

Untuk penyebaran skala besar yang melebihi 2.000 node GPU, arsitektur tertutup lipat tiga tingkat dapat diadopsi, denganMQM9790-NS2F 400Gb/s NDR 64-port OSFPberfungsi sebagai daun dan tulang belakang untuk mempertahankan kinerja yang konsisten di semua tingkat. Desain ini memastikan bahwa setiap server dapat berkomunikasi dengan setiap server lain pada kecepatan baris,dengan maksimal tiga switch hop.

Tabel berikut meringkas parameter skala khas untuk kain laba-laba dua tingkat yang dibangun di sekitar MQM9790-NS2F:

3. Peran & Fitur Utama dari NVIDIA Mellanox MQM9790-NS2F

Dalam arsitektur ini,NVIDIA Mellanox MQM9790-NS2Fberfungsi sebagai blok bangunan dasar, menyediakan beberapa kemampuan penting:

• 400Gb/s NDR per port:Masing-masing dari 64 port OSFP mendukung bidirectional 400Gb / s, dengan koreksi kesalahan maju (FEC) untuk konektivitas jangka panjang yang andal.
• Terintegrasi SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol):Menghapus operasi komunikasi kolektif dari CPU host, mengurangi MPI semua-mengurangi latensi hingga 40% dalam pekerjaan skala besar.
• Routing adaptif dan kontrol kemacetan:Dinamis mengalihkan lalu lintas untuk menghindari hotspot, memastikan kinerja yang dapat diprediksi bahkan di bawah pola lalu lintas yang bertentangan.
• Telemetri lanjutan:Per-aliran dan per-port counter, bersama dengan pengamatan kepekatan buffer, memberikan visibilitas yang mendalam ke kesehatan kain.

MenurutLembar data MQM9790-NS2F, switch memberikan sub-100ns cut-through latency dan mendukung hingga 51.2 Tb/s dari kapasitas switching agregat.Spesifikasi ini menjadikannya pilihan ideal untuk penyebaran lapangan hijau dan peningkatan bertahap dari infrastruktur HDR (200Gb / s).

4. Rekomendasi Pengerahan & Skalabilitas

Untuk organisasi yang berencana untuk mengadopsiSolusi switch MQM9790-NS2F InfiniBand, pedoman penyebaran berikut direkomendasikan:

• Strategi kabel:Gunakan kabel tembaga (DAC) pemasangan langsung OSFP ke OSFP untuk koneksi intra-rack (hingga 3m) dan kabel optik aktif (AOC) atau transceiver optik untuk tautan antar-rack dan tulang belakang (hingga 100m).
• Perbaikan:Gunakan dua catu daya dan modul kipas yang bisa ditukar panas, menghubungkan setiap catu daya ke PDU terpisah untuk toleransi kesalahan.
• Konsistensi firmware:Pastikan semua switch menjalankan versi firmware NVIDIA yang sama untuk menghindari ketidakcocokan fitur. Gunakan fitur upgrade firmware otomatis UFM untuk pembaruan bergulir.
• Skalabilitas:Untuk cluster di luar 4.000 node, pertimbangkan topologi tertutup lipat tiga tingkat atau dragonfly + dengan routing adaptif diaktifkan.MQM9790-NS2F kompatibelekosistem mencakup berbagai optik dan kabel untuk mendukung topologi ini.

Ketika menghitung total biaya kepemilikan, faktor dalam jumlah tingkat switch yang berkurang dan kabel yang disederhanakan dibandingkan dengan alternatif radix yang lebih rendah.Harga MQM9790-NS2Fper unit lebih tinggi daripada switch generasi sebelumnya, biaya per port dan biaya jaringan per GPU jauh lebih rendah dalam penyebaran skala besar,membuat pilihan yang hemat biaya untuk proyek Exascale.

5Operasi, Pemantauan & Penyelesaian Masalah

Manajemen yang efektif dari kain NDR membutuhkan monitoring yang komprehensif dan pemecahan masalah kerangka kerja.NVIDIA Mellanox MQM9790-NS2F-berbasis kain, menawarkan:

• Visualisasi topologi:Penemuan otomatis dan representasi grafis dari semua saklar, link, dan titik akhir.
• Dashboard kinerja:Tampilan real-time penggunaan pelabuhan, tingkat kesalahan, dan indikator kemacetan.
• Peringatan proaktif:Alarm berbasis ambang untuk degradasi link, anomali suhu, dan kegagalan pasokan listrik.
• Isolasi kesalahan:Alur kerja pemecahan masalah yang dipandu yang mengidentifikasi kabel, transceiver, atau port switch yang rusak.

Untuk pemecahan masalah lanjutan,Spesifikasi MQM9790-NS2Fmencakup pemantauan buffer dan statistik tingkat aliran yang terperinci yang dapat diekspor melalui REST API untuk integrasi dengan tumpukan pemantauan khusus.Insinyur jaringan juga harus memanfaatkan alat diagnostik built-in switch, seperti uji loopback dan analisis BER (bit error rate), untuk memvalidasi integritas link sebelum menerapkan beban kerja produksi.

Masalah umum yang dihadapi selama penyebaran awal termasuk routing suboptimal yang disebabkan oleh kecepatan link yang tidak sama atau jenis kabel yang tidak cocok.Mengaktifkan routing adaptif dan memverifikasi bahwa semua tautan beroperasi pada 400Gb / s (dengan FEC diaktifkan) menyelesaikan sebagian besar anomali kinerja.Solusi switch MQM9790-NS2F InfiniBandjuga mencakup dukungan untuk redundansi manajer subnet, memastikan bahwa konfigurasi ulang kain dapat terjadi tanpa intervensi manual jika terjadi kegagalan node manajemen.

6. Ringkasan & Penilaian Nilai

PeraturanMQM9790-NS2Fmerupakan kemajuan yang signifikan dalam jaringan berkinerja tinggi, memberikan bandwidth NDR 400Gb/s, kepadatan 64-port, dan akselerasi komputasi dalam jaringan dalam satu platform 1U yang dapat dikelola.Untuk arsitek dan insinyur yang merancang AI dan HPC cluster, switch ini menyediakan jalur yang terbukti untuk kinerja exascale, memungkinkan:

• Hingga 30% pengurangandalam waktu penyelesaian pekerjaan untuk beban kerja pelatihan skala besar melalui SHARPv3 offloading.
• TCO yang lebih rendahdibandingkan dengan solusi alternatif, didorong oleh radix yang lebih tinggi dan jumlah lapisan switch yang lebih rendah.
• Operasi yang disederhanakanmelalui integrasi UFM dan telemetri yang komprehensif untuk manajemen kesalahan proaktif.
• Skalabilitas yang dapat diandalkan di masa depanuntuk mendukung interkoneksi GPU dan akselerator generasi berikutnya.

Untuk organisasi yang menilaiMQM9790-NS2F untuk dijualmelalui jaringan mitra NVIDIA, kami merekomendasikan meninjau rinciLembar data MQM9790-NS2Fdan terlibat dengan arsitek solusi bersertifikat untuk menyesuaikan penyebaran dengan beban kerja dan kebutuhan skala spesifik Anda.NVIDIA Mellanox MQM9790-NS2Fsiap sekarang untuk menjadi tulang punggung interkoneksi berkinerja tinggi untuk dekade berikutnya penemuan ilmiah dan inovasi AI.