Makalah Teknis Switch InfiniBand NVIDIA Mellanox MQM8790-HS2F

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Technical White Paper: Mengoptimalkan Interkoneksi Latensi Rendah untuk Kluster RDMA/HPC/AI

Buku putih teknis ini ditujukan untuk arsitek jaringan, insinyur pra-penjualan, dan manajer operasi.NVIDIA Mellanox MQM8790-HS2F200Gb/s HDR InfiniBand switch, menyediakan desain solusi yang komprehensif untuk optimasi interkoneksi latensi rendah dalam komputasi berkinerja tinggi (HPC) yang dipercepat RDMA,dan cluster kecerdasan buatan (AI)Dokumen ini mencakup desain arsitektur, teknologi kunci, strategi penyebaran dan skala, pemantauan operasi,dan penilaian nilai memberikan cetak biru yang dapat direproduksi untuk infrastruktur komputasi intensif data generasi berikutnya.

1. Analisis Latar Belakang Proyek dan Kebutuhan

Karena parameter model AI mencapai skala triliun besar dan simulasi HPC menuntut resolusi yang semakin halus,struktur jaringan yang mendasari telah berkembang dari komponen pendukung menjadi penentu kinerja utamaPekerjaan pelatihan terdistribusi, misalnya, dapat menghabiskan 40~60% dari waktu operasinya pada operasi komunikasi kolektif jika interkoneksi tidak memiliki karakteristik bandwidth dan latensi yang cukup.Untuk tim TI perusahaan, ini secara langsung diterjemahkan ke dalam waktu diperpanjang ke pasar untuk inisiatif AI dan investasi GPU yang kurang dimanfaatkan.

Persyaratan utama yang diidentifikasi melalui keterlibatan pelanggan yang luas meliputi:

• Latensi yang sangat rendah dan dapat diprediksi:Sub-200ns cut-through switching untuk MPI dan RDMA lalu lintas, dengan jitter minimal di bawah kontes.
• Kekuatan aliran yang tidak memblokir:Kinerja kecepatan jalur berkelanjutan di semua pelabuhan secara bersamaan, menghilangkan pembentukan hotspot dan degradasi latensi ekor.
• Perhitungan dalam jaringan:Akselerasi perangkat keras untuk operasi kolektif (all-reduce, broadcast, barrier) untuk mengurangi beban CPU host dan mengurangi pergerakan data.
• Dukungan topologi skalabel:Kemampuan untuk membangun topologi fat-tree, torus, atau dragonfly+ yang mencakup ratusan hingga ribuan node tanpa lapisan switch yang berlebihan.
• Pengelolaan yang disederhanakan:Pemantauan kain seragam, penemuan topologi otomatis, dan deteksi kesalahan proaktif untuk mengurangi overhead operasional.

PeraturanMQM8790-HS2Ftelah dipilih sebagai blok bangunan optimal untuk arsitektur solusi ini, dengan pendahulunyaLembar data MQM8790-HS2Fmengkonfirmasi 40 port 200Gb/s HDR, sub-130ns cut-through latency, dan dukungan untuk SHARP v3.0 in-network computing capabilities yang memetakan langsung ke persyaratan di atas.

2. Desain Arsitektur Jaringan / Sistem Secara Umum

Arsitektur yang diusulkan menggunakan topologi pohon lemak daun-tulang belakang dua tingkat untuk cluster hingga 1.200 node, dengan opsi untuk memperluas ke tiga tingkat untuk penyebaran yang lebih besar.Topologi ini menyeimbangkan kinerja, biaya, dan manajemen, menyediakan lebar band bisection penuh dan latensi deterministik di seluruh kain.

Setiap switch daun menghubungkan hingga 16 node komputasi melalui NVIDIA ConnectX-6 atau ConnectX-7 HDR host channel adaptor, menggunakanMQM8790-HS2F kompatibelSistem optik ̇ termasuk kabel optik aktif (AOC) dan DAC tembaga pasif, tergantung pada jarak link.MQM8790-HS2F 200Gb/s HDR 40-port QSFP56Desain memberikan kepadatan yang cukup untuk agregasi tingkat rak sambil mempertahankan faktor bentuk 1U untuk pemanfaatan ruang rak yang efisien.

Untuk cluster yang melebihi 1.200 node, topologi tiga tingkat dengan lapisan super-spine tambahan dianjurkan.MQM8790-HS2F Solusi saklar InfiniBandmempertahankan perannya di semua tingkatan, menyederhanakan pengelolaan penghematan dan konfigurasi.

3Peran dan Fitur Utama NVIDIA Mellanox MQM8790-HS2F

PeraturanNVIDIA Mellanox MQM8790-HS2Fberfungsi sebagai elemen switching mendasar dalam arsitektur ini, memberikan kemampuan diferensiasi berikut yang langsung mendorong optimasi interkoneksi latensi rendah:

• Kecepatan port HDR 200Gb/s:Menggandakan bandwidth EDR generasi sebelumnya (100Gb/s) sambil mempertahankan kompatibilitas mundur dengan HDR100 (100Gb/s) untuk lingkungan kecepatan campuran, melindungi investasi sebelumnya.
• Pemutus dengan latensi sub-130ns:Meminimalkan waktu paket menghabiskan di dalam switch, penting untuk operasi RDMA sensitif latensi dan pola komunikasi kolektif.
• SHARP v3.0 dalam komputasi jaringan:Memindahkan operasi pengurangan beban dari CPU host ke jaringan switch, mengurangi lalu lintas data hingga 30% dan mempercepat semua pengurangan kinerja untuk pelatihan AI hingga 2x.
• Routing adaptif dan kontrol kemacetan:Secara dinamis mendistribusikan lalu lintas di beberapa jalur untuk menghindari hotspot, dengan bendera kemacetan dan kontrol aliran berbasis kredit memastikan operasi tanpa kerugian.
• Telemetri dan diagnostik terintegrasi:Memberikan visibilitas granular ke per-port buffer pekerjaan, link kesalahan tingkat, dan pola lalu lintas, memungkinkan proaktif pengoptimalan dan isolasi kesalahan yang cepat.

Menurut rincianSpesifikasi MQM8790-HS2F, saklar mendukung varian aliran udara maju dan mundur, mengakomodasi berbagai desain pendinginan pusat data.Sumber daya listrik redundant ganda dan modul kipas panas yang dapat ditukarkan lebih lanjut meningkatkan keandalan dan serviceability.

4Rekomendasi penyebaran dan ekspansi (dengan topologi khas)

Untuk penyebaran awal yang seimbang dan hemat biaya, praktik terbaik berikut direkomendasikan:

• Konektivitas node-to-leaf:Gunakan kabel HDR 200Gb/s (DAC tembaga untuk ≤3m, AOC untuk ≤30m) denganMQM8790-HS2F kompatibelPastikan adaptor saluran host dikonfigurasi untuk kecepatan link dan pengaturan FEC yang sama dengan port switch.
• Konektivitas daun ke tulang belakang:Mengerahkan 200Gb/s AOC atau multimode fiber optic transceiver untuk jarak hingga 100m.MQM8790-HS2FMengobrol otomatis parameter link, menyederhanakan penyebaran.
• Perencanaan oversubscription:Untuk beban kerja AI / HPC tujuan umum, rasio oversubscription 2: 1 (dua node komputasi per uplink 200Gb / s) memberikan titik manis kinerja biaya.perhatikan 11 (penuh) oversubscription.
• Jalur ekspansi:Ketika menambahkan rak baru, cukup menyebarkan switch daun tambahan dan menghubungkan mereka ke switch tulang belakang yang ada.meningkatkan lapisan tulang belakang ke radix yang lebih tinggi atau menambahkan lapisan super-tulang belakang.

Dalam menilaiHarga MQM8790-HS2Fdan total biaya kepemilikan,menganggap bahwa arsitektur seragam “menggunakan jenis switch yang sama di semua lapisan kain “mengurangi kebutuhan persediaan suku cadang sekitar 70% dibandingkan dengan pendekatan multi-SKUPenyederhanaan ini mempercepat respon insiden dan meminimalkan waktu henti selama kegagalan perangkat keras.

5. Operasi Pemantauan, pemecahan masalah, dan Optimasi

Pengelolaan yang efektif dariMQM8790-HS2F InfiniBand switchlingkungan membutuhkan pendekatan sistematis untuk pemantauan, diagnostik, dan penyesuaian kinerja.

Memantau praktik terbaik:

• Mengerahkan NVIDIA Unified Fabric Manager (UFM) untuk visibilitas kain terpusat, termasuk peta topologi, per-link pemanfaatan heatmap, dan histogram latensi real-time.
• Memantau penghitung kesalahan per-port - khususnya kesalahan CRC, kesalahan simbol, dan peristiwa link-down - untuk mengidentifikasi optik atau kabel yang merusak lebih awal.Atur perangkap SNMP untuk ambang batas yang telah ditentukan untuk memungkinkan pemeliharaan proaktif.
• Melacak efisiensi operasi kolektif SHARP melalui penghitung kinerja terintegrasi switch, mengidentifikasi peluang untuk mengoptimalkan pola komunikasi kolektif di tingkat aplikasi.

Penyelesaian masalah umum:

• Link CRC error pada port tertentu:Periksa tempat duduk kabel dan kebersihan konektor optik.Lembar data MQM8790-HS2Fmemberikan ambang diagnostik terperinci per pelabuhan.
• Puncakan latensi tak terduga:Periksa titik panas kemacetan menggunakan analisis aliran lalu lintas UFM. Routing adaptif mungkin perlu dikonfigurasi ulang untuk pola lalu lintas tertentunon-minimal).
• Masalah partisi kain:Memastikan konfigurasi kunci partisi (PKey) dan subnet manager IPoIB yang tepat.namun penyesuaian manual mungkin diperlukan untuk lingkungan multi-penyewa.

Tips optimasi kinerja:

• Untuk beban kerja pelatihan AI, mengaktifkan SHARP v3.0 dan mengkonfigurasi perpustakaan komunikasi kolektif (NCCL, OpenMPI) untuk menggunakan kemampuan offload switch.Hal ini dapat mengurangi semua-mengurangi latensi hingga 2x untuk ukuran pesan besar.
• Untuk aplikasi HPC sensitif latensi, pertimbangkan untuk menonaktifkan routing adaptif untuk menegakkan pemilihan jalur deterministik, memperdagangkan beberapa keragaman jalur untuk latensi yang dapat diprediksi.
• Secara berkala meninjau dan memperbarui firmware switch, karena NVIDIA secara teratur merilis peningkatan kinerja dan patch keamanan.Lembar data MQM8790-HS2Funtuk matriks kompatibilitas versi.

6Ringkasan dan Penilaian Nilai

PeraturanNVIDIA Mellanox MQM8790-HS2Fmenawarkan proposisi nilai yang menarik bagi organisasi yang membangun atau meningkatkan kluster RDMA/HPC/AI. Dengan memberikan 200Gb/s per port, latensi sub-130ns,dan percepatan komputasi dalam jaringan dalam 1U, chassis 40-port, switch menjawab persyaratan interkoneksi yang paling ketat dari beban kerja data intensif modern.

Penggerak nilai utama termasuk:

• Skalabilitas kinerja:Arsitektur pohon lemak yang tidak menghalangi dibangun di sekitarMQM8790-HS2F 200Gb/s HDR 40-port QSFP56node skala dari 200 sampai 10.000+ node tanpa perubahan topologi mendasar.
• Efisiensi operasi:Jenis switch tunggal di semua lapisan kain mengurangi persediaan suku cadang, menyederhanakan pelatihan, dan mempercepat pemecahan masalah.
• Perlindungan investasi:Kompatibilitas mundur dengan HDR100 dan EDR memungkinkan peningkatan bertahap, sementara faktor bentuk dan kepadatan port switch selaras dengan peta jalan 400G (NDR) di masa depan.
• Ekosistem yang terbukti:Integrasi yang mendalam dengan adaptor ConnectX NVIDIA, BlueField DPU, dan platform manajemen UFM memastikan prediksi kinerja end-to-end.

Untuk organisasi yang siap untuk digunakan,MQM8790-HS2F untuk dijualmelalui jaringan global distributor resmi NVIDIA mencakup pilihan dukungan yang komprehensif, termasuk suku cadang di tempat, penggantian lanjutan, dan langganan pembaruan firmware.Spesifikasi MQM8790-HS2Fdan desain referensi tersedia melalui portal dokumentasi teknis NVIDIA, dan konsultasi topologi yang disesuaikan ditawarkan untuk penyebaran brownfield atau greenfield skala besar.