NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Referensi Teknis

Buku putih teknis ini ditujukan untuk arsitek jaringan, teknisi pra-penjualan, dan pemimpin operasi. Berpusat padaNVIDIA Mellanox MQM8790-HS2FSwitch InfiniBand memberikan referensi mendetail untuk merancang, menerapkan, dan mengoperasikan fabric berperforma tinggi yang melayani pelatihan AI skala besar dan simulasi HPC — dengan fokus pada akselerasi RDMA dan komunikasi latensi rendah deterministik.

Beban kerja AI dan HPC modern mendorong cluster GPU menuju puluhan ribu node. Fabric Ethernet tradisional, bahkan dengan RoCE, menunjukkan inkonsistensi kinerja pada pola incast dan mengalami overhead CPU yang lebih tinggi. Persyaratan utama untuk interkoneksi cluster generasi berikutnya meliputi:

• Latensi titik-ke-titik sub‑mikrodetik untuk operasi kolektif yang tersinkronisasi
• Transportasi yang lossless dan bebas kemacetan untuk mencegah penumpang yang tersesat
• Pembongkaran penuh pemrosesan komunikasi dari inti CPU/GPU
• Topologi fat‑tree atau dragonfly+ yang dapat diskalakan dengan bandwidth non-pemblokiran
• Jalur migrasi hemat biaya dari optik 100G/200G yang ada

Untuk mengatasi tuntutan ini,Sakelar InfiniBand MQM8790-HS2Fmenghadirkan HDR 200 Gb/s per port, 40 port QSFP56 per unit, dan dukungan asli untuk RDMA dan komputasi dalam jaringan. Solusi ini dibuat khusus untuk lingkungan di mana efisiensi interkoneksi secara langsung berdampak pada waktu penyelesaian pekerjaan dan TCO.

Topologi fisik yang direkomendasikan untuk cluster AI/HPC menggunakanNVIDIA Mellanox MQM8790-HS2Fadalah pohon gemuk dua tingkat atau tiga tingkat (juga dikenal sebagai tulang daun). Setiap leaf switch terhubung ke server GPU melalui tautan HDR atau HDR100, sementara spine switch menyediakan konektivitas full-mesh antar dedaunan. Konfigurasi 800‑GPU pada umumnya menggunakan:

• 20 saklar daun: masing-masingMQM8790-HS2F 200 Gb/s HDR 40-port QSFP56melayani hingga 20 server (koneksi rel ganda)
• 4 saklar tulang belakang: saling terhubung sepenuhnya dengan daun menggunakan uplink 200 Gb/s
• Rasio non-pemblokiran 1:1 di setiap tingkat

Untuk cluster yang lebih besar (2.000+ GPU), arsitektur tiga tingkat menambahkan lapisan super-spine. Semua manajemen fabric ditangani oleh Subnet Manager (SM) — baik yang dijalankan pada pengontrol khusus atau tertanam dalam firmware switch untuk fabric yang lebih kecil.

Dalam arsitektur ini,MQM8790-HS2Fberfungsi sebagai elemen daun dan tulang belakang. Pembeda intinya meliputi:

• HDR 200 Gb/dtk per port:Throughput dua arah penuh dengan kapasitas peralihan non-pemblokiran agregat 16Tb/dtk
• Perutean adaptif (AR):Mendistribusikan lalu lintas secara dinamis ke berbagai jalur untuk menghindari hotspot, yang penting untuk efisiensi pohon gemuk
• SHARPv2 (Protokol Agregasi dan Reduksi Hierarki yang Dapat Diskalakan):Membongkar operasi kolektif (All‑Reduce, Reduce‑Scatter) langsung ke jaringan switch, sehingga mengurangi waktu idle GPU
• Pengendalian kemacetan:Kontrol aliran berbutir halus dengan mekanisme FECN/BECN memastikan kain tidak hilang
• Kepadatan port yang tinggi:40 port QSFP56 per sasis 1U, menyederhanakan tata letak rak dan mengurangi kerumitan pemasangan kabel antar rak

Insinyur dapat merujuk keLembar data MQM8790-HS2FDanSpesifikasi MQM8790-HS2Funtuk mengetahui angka daya, termal, dan latensi secara rinci. Platformnya jugaKompatibel dengan MQM8790-HS2Fdengan beragam optik HDR, HDR100, dan bahkan EDR, memungkinkan peningkatan bertahap.

Untuk cluster AI 1.000 GPU yang seimbang, urutan penerapan berikut direkomendasikan:

• Langkah 1 – Lapisan daun:Instal 25xMQM8790-HS2Funit sebagai saklar daun. Hubungkan setiap server GPU (8 GPU per server) melalui dua port HDR ke dua daun berbeda untuk redundansi dan bandwidth.
• Langkah 2 – Lapisan tulang belakang:Terapkan 8xNVIDIA Mellanox MQM8790-HS2Fsaat tulang belakang beralih. Hubungkan setiap daun ke setiap tulang belakang menggunakan tautan 200Gb/s (40 uplink per daun, namun biasanya subset cukup untuk mempertahankan rasio pemblokiran ≤1:1).
• Langkah 3 – Penempatan Subnet Manager:Jalankan instans SM redundan pada dua server ringan atau gunakan SM tertanam untuk klaster dengan jumlah port kurang dari 2.000.
• Langkah 4 – Mempartisi:Gunakan partisi InfiniBand untuk mengisolasi arus lalu lintas produksi, pengembangan, dan penyimpanan pada struktur fisik yang sama.

Untuk perluasan hingga 2.500+ GPU, tambahkan lapisan super‑spine menggunakan unit MQM8790-HS2F tambahan dan tingkatkan kepadatan uplink leaf‑to‑spine. ItuSolusi sakelar InfiniBand MQM8790-HS2Fberskala secara linear tanpa merancang ulang inti.

Pengoperasian sehari-hari dari kain yang dibangunMQM8790-HS2Fswitch dikelola melalui Fabric Manager NVIDIA dan MLNX‑OS. Praktik utama meliputi:

• Pemantauan:Gunakan `ibdiagnet` untuk validasi topologi, `perfquery` untuk penghitung port, dan dasbor Grafana dengan eksportir Prometheus untuk telemetri real-time (pemanfaatan tautan, kesalahan simbol, penanda kemacetan).
• Firmware & perangkat lunak:Pertahankan firmware yang konsisten di semua sakelar. Lihat catatan rilis terbaru diLembar data MQM8790-HS2Funtuk kompatibilitas versi.
• Pemecahan masalah:Masalah umum—link flapping, MTU yang tidak cocok, atau kesalahan konfigurasi partisi—dapat diisolasi dengan cepat menggunakan `ibstatus`, `smpquery`, dan switch syslog. Log perutean adaptif dapat menunjukkan dengan tepat sumber kemacetan.
• Pengoptimalan:Sesuaikan ambang batas perutean adaptif dan parameter kontrol kemacetan berdasarkan pembuatan profil beban kerja. Untuk pelatihan AI skala besar, aktifkan SHARP pada pustaka MPI yang berlaku (misalnya, NCCL dengan plugin SHARP).

Saat merencanakan anggaran atau perluasan, mintalahHarga MQM8790-HS2Fkutipan dari mitra resmi dan verifikasiMQM8790-HS2F untuk dijualtersedianya. Kompatibilitas platform dengan kabel QSFP56 yang ada mengurangi risiko pengadaan.

ItuMQM8790-HS2Fbukan sekadar saklar — ini adalah landasan dasar untuk fabric HPC dan AI yang deterministik dan berlatensi rendah. Kombinasi HDR 200 Gb/s, kepadatan 40 port, perutean adaptif, dan komputasi dalam jaringan SHARP secara langsung mengatasi permasalahan utama interkoneksi cluster modern. Dibandingkan dengan solusi Ethernet 200G alternatif, ekosistem InfiniBand menawarkan:

• Overhead CPU yang lebih rendah (RDMA sejati dengan pemindahan muatan perangkat keras)
• Latensi skala mikrodetik deterministik pada beban nyata
• Manajemen fabric yang disederhanakan dengan Subnet Manager terpusat
• Skalabilitas yang terbukti hingga puluhan ribu titik akhir

Untuk organisasi yang membangun atau memperluas cluster GPU, mengadopsiNVIDIA Mellanox MQM8790-HS2Fberarti mencapai FLOPS per dolar efektif yang lebih tinggi, mengurangi waktu penyelesaian pekerjaan, dan memastikan interkoneksi di masa depan untuk peningkatan HDR200 (400 Gb/s) generasi berikutnya. Referensi desainnya detail, termasuk lengkapSpesifikasi MQM8790-HS2Fdan matriks pengkabelan, tersedia melalui portal mitra NVIDIA.