NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch dalam Praktek

July 10, 2026

berita perusahaan terbaru tentang NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch dalam Praktek

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch dalam prakteknya. Optimasi Interkoneksi Low-Latency untuk RDMA/HPC/AI Cluster

Latensi dan Tantangan: Botol Tekanan di AI dan HPC Cluster Berskala Besar

Saat kelompok pelatihan AI berskala menjadi ribuan GPU dan sistem HPC mendorong kinerja eksascale, jaringan jaringan yang menghubungkan node komputasi telah menjadi penentu kinerja yang penting.Di lingkungan ini, latensi bukan hanya sebuah metrik, tetapi secara langsung mempengaruhi kinerja aplikasi, waktu untuk solusi, dan efisiensi cluster secara keseluruhan.Untuk beban kerja yang sangat bergantung pada operasi kolektif MPI (Message Passing Interface) dan pola komunikasi semua-ke-semua, seperti pelatihan model bahasa besar dan dinamika fluida komputasi, bahkan peningkatan latensi tingkat mikrodetik dapat diterjemahkan ke dalam jam tambahan runtime.bahkan dengan RDMA over Converged Ethernet (RoCE), sering berjuang untuk memberikan latensi rendah deterministik yang dibutuhkan oleh aplikasi yang menuntut ini.

Tantangan ini baru-baru ini dihadapkan oleh laboratorium penelitian nasional yang menggunakan kluster HPC 2.000 node untuk pemodelan iklim dan penelitian AI.Cluster membutuhkan konektivitas 200Gb / s dengan latensi sub-100 nanodetik untuk mendukung beban kerja HPC berbasis MPI dan pelatihan AI terdistribusiTim rekayasa membutuhkan saklar yang dapat memberikan kinerja yang konsisten, latensi rendah pada skala,sementara mendukung fitur canggih seperti routing adaptif dan kontrol kemacetan untuk mempertahankan efisiensi kain di bawah kondisi beban yang bervariasi.NVIDIA Mellanox MQM8790-HS2Fmuncul sebagai solusi yang ideal, menawarkan 40 port 200Gb/s HDR InfiniBand dengan latensi sub-100 nanodetik dan kemampuan komputasi dalam jaringan canggih.

Solusi & Pengerahan: Membangun Low-Latency InfiniBand Fabric

Untuk mengatasi tantangan latensi dan skalabilitas, laboratorium menerapkanNVIDIA Mellanox MQM8790-HS2Fsebagai saklar inti dalam arsitektur kain tulang belakang.MQM8790-HS2F InfiniBand switchmenyediakan 40 port QSFP56, masing-masing beroperasi pada 200Gb/s HDR, memberikan total kapasitas switching 8Tb/s dengan sub-100 nanosecond port-to-port latency.Topologi 16-daun, menghubungkan 2.000 node komputasi masing-masing dilengkapi dengan adaptor ConnectX‐6 HDR.MQM8790-HS2F 200Gb/s HDR 40-port QSFP56konfigurasi memungkinkan tim untuk membangun non-menghalangi kain dengan full bisection bandwidth, memastikan bahwa setiap node dapat berkomunikasi dengan setiap node lain pada kecepatan kawat.

Penempatan dilakukan dalam tiga fase utama:

  • Desain Kain:MenggunakanMQM8790-HS2F Solusi saklar InfiniBand, tim merancang topologi tulang belakang-daun di mana masing-masing dari 16 switch daun terhubung ke 50 node komputasi (menggunakan kombinasi 200Gb / s koneksi langsung dan 100Gb / s HDR100 koneksi putus),sementara 4 switch tulang belakang menyediakan konektivitas antar daun.MQM8790-HS2Fswitch dikonfigurasi dengan adaptif routing diaktifkan, memungkinkan kain untuk secara dinamis mendistribusikan lalu lintas di seluruh jalur yang tersedia dan menghindari titik kemacetan.
  • Konfigurasi Fitur Lanjutan:Tim mengaktifkan SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) pada switch MQM8790-HS2F untuk melepaskan operasi kolektif MPI dari node komputasi.Kemampuan komputasi dalam jaringan ini memungkinkan switch untuk melakukan semua operasi pengurangan dan penyiaran secara langsung, mengurangi jumlah pelayaran jaringan dan mengurangi latensi keseluruhan untuk komunikasi kolektif.
  • Performance Tuning:Manajemen subnet dikonfigurasi menggunakan platform NVIDIA Unified Fabric Manager (UFM), yang memberikan visibilitas real-time ke kesehatan kain, metrik latensi, dan pola kemacetan.Tim menyesuaikan parameter kontrol kemacetan untuk mengoptimalkan kinerja untuk HPC campuran dan AI profil beban kerja.

KarenaNVIDIA Mellanox MQM8790-HS2FadalahMQM8790-HS2F kompatibeldengan ekosistem NVIDIA InfiniBand yang lebih luas, termasuk adaptor ConnectX‐6 dan BlueField‐2, penyebaran lancar, tidak memerlukan driver khusus atau patch firmware.Integrasi switch dengan platform UFM memungkinkan tim untuk memantau kinerja kain di skala, mengidentifikasi dan menyelesaikan kemacetan potensial sebelum mereka memengaruhi waktu pelaksanaan aplikasi.

Hasil & Manfaat: Peningkatan yang dapat diukur dalam latensi dan kinerja aplikasi

Perbandingan pasca-penerapan di seluruh cluster 2.000 node menunjukkan peningkatan kinerja yang signifikan.rata-rata port-to-port latency di seluruh kain diukur pada 85 nanodetik konsisten dengan sub-100 spesifikasi nanodetik didokumentasikan dalamLembar data MQM8790-HS2F. latensi rendah ini diterjemahkan langsung ke dalam keuntungan kinerja aplikasi: MPI semua-mengurangi operasi diselesaikan hingga 35% lebih cepat dibandingkan dengan laboratorium sebelumnya 100Gb / s InfiniBand kain,sementara pekerjaan pelatihan AI terdistribusi (menggunakan komunikasi berbasis NCCL) melihat waktu epoch end-to-end berkurang sekitar 28%.

Kedua, kemampuan komputasi dalam jaringan SHARP memberikan manfaat kinerja yang substansial.cluster mengurangi pemanfaatan CPU dan GPU untuk tugas komunikasi hingga 20%, membebaskan sumber daya komputasi untuk komputasi yang sebenarnya. hal ini sangat bermanfaat untuk pelatihan AI skala besar, di mana komunikasi kolektif dapat menyumbang 30-40% dari total waktu berjalan.

Ketiga, fitur routing adaptif terbukti penting dalam menjaga kinerja yang konsisten dalam kondisi beban yang bervariasi.,routing adaptif secara dinamis mendistribusikan lalu lintas di seluruh jalur yang tersedia, menjaga rata-rata latensi dalam 10% dari garis dasar dan mencegah degradasi kinerja yang disebabkan oleh kemacetan.Tim memantau kesehatan kain menggunakan platform UFM, yang menyediakan dashboard real-time untuk melacak latensi, throughput, dan pemanfaatan link di semua 20 switch.

Keempat, kepadatanMQM8790-HS2F 200Gb/s HDR 40-port QSFP56switch memungkinkan jejak kain yang kompak. Laboratorium mengurangi jumlah switch yang dibutuhkan sebesar 50% dibandingkan dengan infrastruktur InfiniBand 100Gb/s sebelumnya,mengurangi konsumsi ruang rak dan kebutuhan dayaSetiap MQM8790-HS2F mengkonsumsi kurang dari 230W daya khas, berkontribusi pada pengurangan 20% biaya pendinginan untuk infrastruktur jaringan.

Dari perspektif operasional, kemampuan manajemen switch menyederhanakan pemeliharaan yang sedang berlangsung.Tim jaringan laboratorium menggunakan antarmuka CLI dan Web UI untuk melakukan upgrade firmware dan perubahan konfigurasi tanpa mengganggu operasi kain, memanfaatkan dukungan switch untuk upgrade hitless.Spesifikasi MQM8790-HS2Fmencakup fitur manajemen yang komprehensif, termasuk pemantauan SNMP dan integrasi syslog,memungkinkan tim untuk mengintegrasikan jaringan ke dalam kerangka kerja pemantauan pusat operasi jaringan (NOC) yang ada.

Ringkasan & Prospek: Rancangan untuk Low-Latency InfiniBand Fabrics

Pengalaman penyebaran denganNVIDIA Mellanox MQM8790-HS2Fmelalui 2.000 node HPC dan AI cluster dengan jelas menunjukkan bahwa 40 port 200Gb/s HDR InfiniBand switch dapat memberikan latensi rendah, skalabilitas,dan fitur canggih yang diperlukan untuk menuntut penelitian dan beban kerja perusahaanDengan memanfaatkan latensi sub-100 nanodetik switch, routing adaptif, dan kemampuan komputasi SHARP dalam jaringan, organisasi dapat membangun kain yang mempercepat komunikasi MPI dan AI,Mengurangi waktu sampai larutan, dan meningkatkan efisiensi cluster secara keseluruhan.

Melihat ke depan, karena kluster pelatihan AI terus tumbuh menuju 10.000+ GPU dan sistem HPC skala ke exascale, permintaan untuk komuter InfiniBand dengan kepadatan tinggi dan latensi rendah hanya akan meningkat.MQM8790-HS2F diposisikan dengan baik untuk lintasan ini, karena kepadatan 40-port, kapasitas switching 8Tb / s, dan dukungan untuk kecepatan HDR200 dan HDR100 memastikan kompatibilitas dengan node komputasi generasi saat ini dan berikutnya.Untuk organisasi yang merencanakan penyebaran cluster HPC atau AI yang serupa, pendekatan bertingkat tulang belakang-daun yang divalidasi dalam penyebaran ini menawarkan peta jalan praktis: penyebaran switch daun MQM8790-HS2F untuk konektivitas akses,menggunakan switch tulang belakang dengan kepadatan port yang lebih tinggi (seperti seri QM9700 64-port) untuk kain yang lebih besar, dan mempertahankan kerangka manajemen yang seragam yang memanfaatkan UFM untuk optimasi kain proaktif.

Untuk template desain kain yang rinci, panduan penyesuaian kinerja, dan daftar periksa penyebaran, lihatLembar data MQM8790-HS2Fdan dokumentasi arsitektur NVIDIA Mellanox InfiniBand.