NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch dalam Produksi. Mengoptimalkan Low-Latency Interconnect untuk RDMA/HPC/AI

Karena pelatihan model bahasa besar dan simulasi HPC eksascale mendorong kluster GPU menuju puluhan ribu node, kain Ethernet tradisional berjuang dengan latensi ekor dan kemacetan incast.Sebuah pusat komputasi AI nasional baru-baru ini mengatasi tantangan ini dengan menerapkanNVIDIA Mellanox MQM8790-HS2FInfiniBand switches sebagai tulang punggung ekspansi GPU 800-node mereka.Artikel ini berjalan melalui perjalanan dunia nyata mereka dari kemacetan ke keuntungan terukur menggunakan RDMA dan komputasi dalam jaringan untuk mengoptimalkan kinerja interkoneksi cluster.

Latar Belakang & Tantangan: Ketika Jaringan Menjadi Botol AI

Cluster 400-node warisan pusat berjalan pada 100Gb / s RoCEv2 Ethernet.Selama operasi All-Reduce, waktu tunggu jaringan dikonsumsi lebih dari 40% dari total waktu iterasi Arsitek membutuhkan platform yang memberikan latensi sub-mikrosekund, kontrol aliran tanpa kerugian,dan dukungan RDMA asli semua sambil menggunakan kembali optik QSFP56 yang adaSetelah mengevaluasi beberapa alternatif,MQM8790-HS2F InfiniBand switchmenonjol dengan bandwidth HDR 200Gb / s dan desain kepadatan tinggi 40-port.

Solusi & Penerapan: HDR Fat-Tree Dibangun pada MQM8790-HS2F

Interkoneksi baru mengadopsi topologi fat-tree dua lapisan, menerapkan 24 unitNVIDIA Mellanox MQM8790-HS2FSetiap switch menyediakan 40 port QSFP56 yang berjalan pada 200Gb/s per arah, memberikan kapasitas switching non-blocking 16Tb/s.Lembar data MQM8790-HS2FdanSpesifikasi MQM8790-HS2Funtuk memungkinkan routing adaptif dan kontrol kemacetan lanjutan. Setiap node GPU terhubung melalui adaptor HDR ConnectX‐6,memanfaatkan RDMA InfiniBand native untuk transfer data tanpa salinan.

Pusat ini juga memesan beberapaMQM8790-HS2F 200Gb/s HDR 40-port QSFP56dengan SHARP (Scalable Hierarchical Aggregation and Reduction Protocol),operasi kolektif seperti All-Reduce di lepaskan dari server langsung ke jaringan switchDalam pelatihan 128‐GPU, ini mengurangi waktu komunikasi sebesar 32% tanpa perubahan kode pada kerangka kerja AI.

Hasil & Keuntungan: Latensi yang Lebih Rendah, Throughput yang Lebih Tinggi, TCO Terkontrol

Metrik pasca-penempatan menunjukkan peningkatan dramatis:

• Titik ke titik latensi:Uji pingpong MPI diukur ~ 0.9μs pada 200Gb / s HDR link 65% lebih rendah daripada pengaturan RoCE warisan.
• Efisiensi komunikasi kolektif:Pada skala 512-GPU, All-Reduce selesai hanya dalam 18,3ms, penurunan 52% dibandingkan dengan garis dasar sebelumnya.
• Penggunaan jaringan:Routing adaptif menjaga keseimbangan beban link di atas 92%, dengan hampir tidak ada titik panas kemacetan.
• Pengadaan & Operasi:PeraturanHarga MQM8790-HS2Fper port kurang lebih 12% lebih rendah daripada solusi 200G yang bersaing.MQM8790-HS2F kompatibelOptik adalah modul QSFP56 standar, yang memungkinkan penggunaan kembali kabel yang ada.

¢Setelah pindah keMQM8790-HS2F Solusi saklar InfiniBand, kami akhirnya mencapai skala hampir linier (0,9 efisiensi) pada pelatihan model parameter triliun", kata arsitek utama pusat. Jaringan tidak lagi menjadi hambatan  kita dapat fokus pada inovasi arsitektur model alih-alih penjadwalan komunikasi. "

Kesimpulan & Prospek: Blok Bangunan Inti untuk Interkoneksi Exascale

Kasus dunia nyata ini menunjukkan bahwaMQM8790-HS2Fdengan 200Gb/s HDR, RDMA asli, komputasi SHARP dalam jaringan, dan routing adaptif,Hal ini secara langsung mengatasi titik kesulitan interkoneksi latensi rendah di kluster AI/HPC saat iniApakah Anda berencana pusat supercomputing universitas atau meningkatkan awan AI perusahaan,NVIDIA Mellanox MQM8790-HS2Fmenawarkan jalur yang seimbang menggabungkan kinerja, kompatibilitas, dan prediksi biaya.Lembar data MQM8790-HS2FUntuk inventarisasi real-time atauMQM8790-HS2F untuk dijualpertanyaan, hubungi penyedia solusi yang berwenang untuk harga dan dukungan teknis.