Solusi Teknis Switch InfiniBand NVIDIA Mellanox MQM9790-NS2F

Solusi Teknis Switch InfiniBand NVIDIA Mellanox MQM9790-NS2F | Optimalisasi Interkoneksi Latensi Rendah untuk Klaster RDMA, HPC, dan AI

Latar Belakang Proyek dan Analisis Kebutuhan

Pusat data modern yang mendukung pelatihan model besar AI, simulasi HPC, dan penyimpanan terdistribusi dengan cepat bermigrasi dari 200Gb/s HDR ke 400Gb/s NDR. Ketegangan inti bagi arsitek jaringan adalah kepadatan node GPU terus meningkat, sementara latensi dan jitter komunikasi antar-node menjadi faktor pembatas efisiensi klaster. Satu lompatan yang macet atau tingkatan fabric yang salah konfigurasi dapat mengurangi utilisasi GPU efektif di ratusan node.

Kebutuhan tipikal untuk proyek semacam ini meliputi latensi rendah yang deterministik untuk operasi kolektif, transportasi tanpa kehilangan untuk RDMA dan NVMe over Fabrics, radix tinggi untuk menjaga fabric tetap datar, dan jalur peningkatan yang jelas yang melindungi investasi yang ada. NVIDIA Mellanox MQM9790-NS2F diposisikan untuk memenuhi kebutuhan ini sebagai switch InfiniBand 400Gb/s NDR dalam keluarga Quantum-2.

Desain Arsitektur Jaringan dan Sistem Keseluruhan

Arsitektur yang direkomendasikan adalah fabric InfiniBand spine-leaf dua tingkat yang sepenuhnya dibangun di atas tautan NDR. Switch leaf menghubungkan server GPU, target penyimpanan, dan node manajemen, sementara switch spine menyediakan konektivitas antar-leaf dan keragaman jalur. Desain ini menjaga jumlah lompatan tetap rendah dan memastikan bandwidth non-blocking untuk lalu lintas timur-barat, yang mendominasi beban kerja AI dan HPC.

Pada lapisan endpoint, adapter saluran host beroperasi dalam mode RDMA, memungkinkan transfer memori-ke-memori tanpa intervensi CPU. Fabric itu sendiri menangani kontrol kongesti, perutean adaptif, dan akselerasi kolektif. Lalu lintas manajemen dan telemetri berbagi infrastruktur fisik yang sama tetapi diisolasi melalui kebijakan QoS, sehingga pemantauan tidak mengganggu beban kerja produksi.

Prinsip desain utama meliputi:

• Topologi datar untuk meminimalkan latensi dan menyederhanakan pemecahan masalah
• Tautan non-blocking atau oversubscription rendah antar tingkatan
• NDR yang konsisten dari ujung ke ujung untuk menghindari hambatan generasi campuran
• Jalur redundan untuk ketersediaan tinggi dan penyeimbangan beban
• Manajemen InfiniBand standar untuk konsistensi operasional

Peran dan Fitur Utama NVIDIA Mellanox MQM9790-NS2F

NVIDIA Mellanox MQM9790-NS2F berfungsi sebagai blok bangunan fabric ini. Sebagai switch OSFP MQM9790-NS2F 400Gb/s NDR 64-port, ia memberikan kepadatan port tinggi dalam satu unit, memungkinkan arsitek merancang jaringan yang lebih datar dengan lebih sedikit tingkatan. Setiap port OSFP dapat beroperasi pada kecepatan NDR, dan konfigurasi 64-port mendukung peran leaf dan spine dengan radix tinggi.

Bagi tim yang meninjau spesifikasi MQM9790-NS2F, platform ini mendukung NVIDIA SHARPv3 untuk akselerasi kolektif, kontrol kongesti canggih, dan perutean adaptif. Fitur-fitur ini secara langsung menargetkan latensi ekor dan masalah incast yang umum dalam pelatihan AI dan beban kerja MPI. Switch InfiniBand MQM9790-NS2F juga terintegrasi dengan alat manajemen InfiniBand standar, yang mengurangi kurva pembelajaran operasional.

Saat merencanakan solusi switch InfiniBand MQM9790-NS2F, arsitek harus mengonfirmasi komponen yang kompatibel dengan MQM9790-NS2F, termasuk kabel OSFP, adapter saluran host, dan versi firmware. Meninjau datasheet MQM9790-NS2F di awal fase desain membantu memvalidasi persyaratan daya, pendinginan, dan ruang rak sebelum pengadaan.

Rekomendasi Penerapan dan Penskalaan

Penerapan tipikal dimulai dengan pod percontohan yang terdiri dari 32 hingga 64 node GPU yang terhubung ke sepasang switch leaf MQM9790-NS2F. Konektivitas spine ditambahkan seiring pertumbuhan klaster, menggunakan unit MQM9790-NS2F tambahan untuk mempertahankan bandwidth non-blocking. Pendekatan inkremental ini memungkinkan validasi latensi dan throughput sebelum peluncuran skala penuh.

Untuk penskalaan, praktik yang direkomendasikan adalah menjaga fabric tetap simetris: tambahkan kapasitas leaf dan spine dalam peningkatan yang cocok sehingga rasio oversubscription tetap dapat diprediksi. Manajemen kabel dan pelabelan port harus distandarisasi sejak awal, karena penerapan OSFP berdensitas tinggi dapat menjadi sulit untuk dipelihara jika tata letak fisik tidak konsisten.

Tabel di bawah merangkum pertimbangan desain dua tingkat yang representatif:

Operasi, Pemantauan, Pemecahan Masalah, dan Optimalisasi

Keberhasilan operasional bergantung pada visibilitas. Fabric InfiniBand menyediakan penghitung untuk kesalahan tautan, peristiwa kongesti, dan utilisasi buffer. Ini harus dikumpulkan secara terus-menerus dan dikorelasikan dengan data penjadwal pekerjaan, sehingga regresi kinerja dapat dilacak ke segmen fabric tertentu daripada ditebak.

Skenario pemecahan masalah umum meliputi credit stall, QoS yang salah konfigurasi, dan ketidakcocokan firmware antara switch dan adapter. Daftar periksa terstruktur—verifikasi kecepatan tautan, periksa penghitung kesalahan, konfirmasi kebijakan perutean, periksa telemetri kongesti—dapat mengurangi waktu rata-rata untuk penyelesaian. Upaya optimalisasi harus fokus pada latensi ekor daripada throughput rata-rata, karena beban kerja AI dan HPC sensitif terhadap perilaku terburuk.

Untuk perencanaan pengadaan dan siklus hidup, tim sering membandingkan harga MQM9790-NS2F dan opsi MQM9790-NS2F untuk dijual di seluruh saluran resmi. Harga tergantung pada konfigurasi, tingkat dukungan, dan wilayah, sehingga keterlibatan awal dengan distributor dan perwakilan perusahaan NVIDIA direkomendasikan.

NVIDIA Mellanox MQM9790-NS2F menyediakan fondasi radix tinggi 400Gb/s NDR untuk interkoneksi klaster RDMA, HPC, dan AI. Dengan mengurangi tingkatan fabric, mendukung akselerasi kolektif, dan memungkinkan transportasi latensi rendah tanpa kehilangan, ia mengatasi hambatan kinerja yang membatasi efisiensi klaster dunia nyata. Bagi arsitek jaringan dan insinyur pra-penjualan, ini mewakili blok bangunan yang praktis dan dapat diskalakan untuk fabric InfiniBand generasi berikutnya.