Mellanox (NVIDIA Mellanox) MQM9790-NS2F Solusi Teknis Saklar InfiniBand

Solusi Teknis Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch – Optimasi Interkoneksi Latensi Rendah untuk Cluster RDMA/HPC/AI

Buku putih teknis ini menyajikan arsitektur solusi komprehensif yang berpusat padaMellanox (NVIDIA Mellanox) MQM9790-NS2FSakelar InfiniBand. Ditujukan untuk arsitek jaringan, insinyur pra-penjualan, dan pimpinan operasi, dokumen ini merinci bagaimanaMQM9790-NS2Fmenghadirkan latensi ultra-rendah yang deterministik, RDMA lossless, dan bandwidth yang dapat diskalakan untuk infrastruktur HPC dan AI generasi berikutnya. Kami membahas prinsip desain, topologi penerapan, praktik terbaik operasional, dan validasi kinerja.

1. Latar Belakang Proyek & Analisis Persyaratan

Pelatihan AI modern dan beban kerja simulasi ilmiah memerlukan struktur jaringan yang dapat mempertahankan pola komunikasi masif all-reduce, all-gather, dan point-to-point dengan jitter sub-mikrodetik. Solusi tradisional berbasis Ethernet, bahkan dengan RoCEv2, menimbulkan kompleksitas dalam manajemen kemacetan, penyetelan PFC, dan kontrol latensi ekor, yang sering kali menyebabkan pemanfaatan GPU tidak efisien dan waktu penyelesaian pekerjaan yang tidak dapat diprediksi.

Persyaratan utama yang diidentifikasi di seluruh proyek HPC/AI meliputi:

• Latensi end‑to‑end < 1 μs (beralih port‑to‑port) pada beban penuh
• Kain lossless tanpa paket jatuh karena kemacetan
• Skalabilitas dari 64 hingga lebih dari 2.000 node GPU tanpa perubahan arsitektur
• Pengoperasian yang disederhanakan dengan telemetri yang kaya dan pemulihan kesalahan otomatis

ItuNVIDIA Mellanox MQM9790-NS2Flangsung menjawab tuntutan ini dengan mengintegrasikan teknologi NDR 400 Gb/s, perutean adaptif, dan komputasi dalam jaringan ke dalam platform OSFP 1U dan 64 port.

2. Perancangan Arsitektur Jaringan/Sistem Secara Keseluruhan

Arsitektur yang direkomendasikan mengadopsi topologi tulang daun (atau pohon gemuk) dua tingkat untuk memberikan bandwidth dua bagian penuh dan ketahanan tinggi. Setiap blok daun terdiri dari beberapa rak, dengan masing-masing rak menampung duaSakelar InfiniBand MQM9790-NS2Funtuk redundansi. Lapisan tulang belakang mengumpulkan lalu lintas dari semua saklar daun, memastikan komunikasi tanpa pemblokiran antara dua titik akhir mana pun.

ItuMQM9790-NS2F 400 Gb/s NDR 64-port OSFPsaklar berfungsi sebagai daun dan tulang belakang, menawarkan perangkat keras yang seragam di seluruh kain – menyederhanakan penghematan dan perawatan. Untuk cluster 1.024 GPU, desain umumnya menggunakan 16 leaf switch (masing-masing menghubungkan 64 GPU) dan 8 spine switch, semuanya saling terhubung melalui kabel optik atau DAC 400G. Fabric ini mendukung topologi fat‑tree dan Dragonfly+, dengan perutean adaptif yang secara dinamis menyeimbangkan lalu lintas di berbagai jalur.

3. Peran & Fitur Utama dariMellanox (NVIDIA Mellanox) MQM9790-NS2Fdalam Solusi

ItuNVIDIA Mellanox MQM9790-NS2Fadalah landasan dari solusi ini, dengan menyediakan:

• 64 port OSFPmasing-masing beroperasi pada 400 Gb/s (NDR) – kapasitas peralihan agregat sebesar 25,6 Tb/s, dengan latensi cut‑through di bawah 600 ns.
• Perutean Adaptif– secara dinamis memilih jalur yang paling sedikit kemacetannya per paket, menghindari tautan hotspot dan mempertahankan latensi yang konsisten bahkan dalam pola lalu lintas asimetris.
• SHARPv3 (Protokol Agregasi dan Reduksi Hierarki yang Dapat Diskalakan)– membongkar komunikasi kolektif (pengurangan semua, siaran) dari CPU host, mengurangi obrolan jaringan, dan mempercepat pelatihan AI hingga 20–30%.
• Komputasi dalam jaringan– mendukung reduksi data, segmentasi, dan bahkan operasi MPI skala kecil langsung di switch, sehingga membebaskan sumber daya GPU yang berharga untuk komputasi.
• Telemetri & Manajemen Kemacetan– pemantauan lanjutan bawaan termasuk penghitung per-aliran, histogram okupansi buffer, dan metrik latensi tingkat jalur, semuanya dapat diekspor melalui UFM atau REST API.

Kemampuan ini memungkinkanSolusi sakelar InfiniBand MQM9790-NS2Funtuk memberikan kinerja deterministik dalam skala besar, sebagaimana divalidasi oleh tolok ukur internal dan penerapan pelanggan. ItuSpesifikasi MQM9790-NS2Fjuga mencakup dukungan untuk DAC tembaga pasif dan modul optik aktif, memberikan fleksibilitas untuk jarak hingga 100 m (dengan optik 400G SR4) dan seterusnya.

4. Rekomendasi Penerapan & Penskalaan (Topologi Khas)

Untuk penerapan greenfield, kami merekomendasikan pendekatan bertahap berikut:

• Fase 1 – Percontohan:Sebarkan 2 saklar daun (masing-masingMQM9790-NS2F) dan 2 saklar tulang belakang, menghubungkan 128 GPU. Validasi kinerja terhadapLembar data MQM9790-NS2Fparameter.
• Fase 2 – Peningkatan skala:Tambahkan saklar daun sebanyak 2 per rak, dan saklar tulang belakang sesuai kebutuhan untuk mempertahankan kelebihan permintaan ≤ 1:1. Kepadatan 64 port memungkinkan satu switch untuk menghosting rak penuh yang terdiri dari 64 node GPU (jika setiap node memiliki satu uplink 400G).
• Fase 3 – Multibidang:Untuk klaster yang melebihi 2.000 node, terapkan beberapa fabric independen (misalnya, bidang 2× atau 4×) dengan penyeimbangan beban berbasis rute, sehingga memanfaatkan dukungan sakelar untuk jalur virtual dan kunci partisi.

Pengkabelan umum menggunakan DAC OSFP‑ke‑OSFP untuk koneksi intra-rak (≤3 m) dan modul optik OSFP‑ke‑400G SR4 untuk jarak tulang belakang hingga 100 m. ItuKompatibel dengan MQM9790-NS2Ftransceiver divalidasi dengan ekosistem vendor optik NVIDIA, memastikan interoperabilitas yang lancar.

5. Pengoperasian, Pemantauan, Diagnosis & Optimasi Kesalahan

Operasi yang efektif sangat penting untuk menjaga latensi rendah dalam produksi. Solusinya terintegrasi denganNVIDIA UFM (Manajer Fabric Terpadu), yang menyediakan:

• Dasbor waktu nyata– bandwidth per port, penghitung kesalahan, dan peta panas kemacetan.
• Pengoptimalan ulang jalur otomatis– ketika tautan mengalami penurunan atau kegagalan, UFM menghitung ulang rute dan mengonfigurasi ulang tabel perutean adaptif tanpa campur tangan operator.
• Telemetri sejarah– menyimpan data latensi dan aliran untuk analisis postmortem dan perencanaan kapasitas.

Alur kerja pemecahan masalah yang disarankan:

1. Pantau frame jeda dan pembuangan per port – diharapkan tidak ada pembuangan; setiap pembuangan menunjukkan kesalahan konfigurasi atau optik yang rusak.
2. Validasi operasi SHARPv3 melalui statistik kolektif UFM – pastikan operasi pengurangan beban dilakukan.
3. Gunakan alat diagnostik bawaan (misalnya,ibdiagnet,status ib) untuk memeriksa integritas tautan dan integritas sinyal.

Untuk pengoptimalan, sesuaikan ambang batas algoritma perutean adaptif (misalnya, interval sensor beban) berdasarkan pola beban kerja –Sakelar InfiniBand MQM9790-NS2Fmemungkinkan penyempurnaan melalui antarmuka manajemen. Pembaruan firmware rutin (tersedia melalui portal dukungan NVIDIA) mencakup peningkatan kinerja dan patch keamanan.

6. Ringkasan & Penilaian Nilai

ItuMellanox (NVIDIA Mellanox) MQM9790-NS2Fmenawarkan landasan berkinerja tinggi dan tahan masa depan untuk klaster RDMA/HPC/AI. Dengan menggabungkan kecepatan NDR 400 Gb/s, kepadatan 64 port, dan komputasi dalam jaringan yang cerdas, solusi ini menghilangkan hambatan tradisional dan memberikan skalabilitas linier hingga kelas exascale. Solusi ini mengurangi total biaya kepemilikan melalui daya per port yang lebih rendah (≈1,5 W), perkabelan yang disederhanakan, dan pengurangan overhead CPU dari pembongkaran beban SHARP.

Untuk organisasi yang mengevaluasiHarga MQM9790-NS2F, investasi ini dibenarkan oleh peningkatan pemanfaatan GPU yang terukur (sering kali melebihi 90% dalam produksi) dan pengurangan waktu penyelesaian pekerjaan hingga 40% dibandingkan dengan fabric RoCEv2. ItuLembar data MQM9790-NS2FDanSpesifikasi MQM9790-NS2Fmemberikan rincian yang komprehensif, dan unit sudah tersedia (MQM9790-NS2F untuk dijualmelalui saluran resmi). Selain itu, kompatibilitas switch dengan adaptor NVIDIA yang ada memastikan jalur migrasi yang lancar bagi pengguna yang sudah berinvestasi di ekosistem Mellanox.

Singkatnya, solusi teknis ini didasarkan padaSakelar InfiniBand MQM9790-NS2Fmenghadirkan struktur yang kuat dan efisien secara operasional yang memenuhi persyaratan interkoneksi latensi rendah yang paling menuntut – landasan bagi superkomputer AI generasi berikutnya.