Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch dalam Praktik

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch dalam Praktik | Optimalisasi Interkoneksi Latensi Rendah untuk Klaster RDMA/HPC/AI

Latar Belakang dan Tantangan: Ketika Klaster RDMA Menghantam Bottleneck Jaringan

Dalam lingkungan beban kerja HPC dan AI campuran yang khas, klaster komputasi sering menjalankan simulasi CFD, dinamika molekuler, dan pelatihan model besar terdistribusi secara berdampingan. Beban kerja ini sangat bergantung pada RDMA untuk komunikasi antar-node dan sangat sensitif terhadap bandwidth, latensi, dan kehilangan paket. Ketika klaster tumbuh dari puluhan node menjadi ratusan, interkoneksi asli dapat dengan cepat menjadi faktor pembatas.

Gejala umum termasuk latensi ekor yang panjang selama AllReduce, pemanfaatan tautan yang tidak merata di seluruh fabric, dan penurunan waktu penyelesaian pekerjaan segera setelah beberapa penyewa berbagi jaringan. Bagi insinyur dan arsitek jaringan, tantangannya bukan hanya menambah bandwidth, tetapi membangun fabric yang menjaga latensi tetap dapat diprediksi di bawah kemacetan.

Solusi dan Penerapan: Membangun Fabric di Sekitar MQM8790-HS2F

Untuk mengatasi masalah ini, fabric klaster dirancang ulang di sekitar Mellanox (NVIDIA Mellanox) MQM8790-HS2F, switch InfiniBand 200Gb/s HDR yang dirancang untuk lingkungan latensi rendah dengan kepadatan tinggi. Faktor bentuk MQM8790-HS2F 200Gb/s HDR 40-port QSFP56 memungkinkan 40 port dalam 1U, yang cocok secara alami ke dalam topologi fat-tree dua tingkat.

Penerapan mengikuti pendekatan berlapis:

• Lapisan Spine: Switch NVIDIA Mellanox MQM8790-HS2F diterapkan sebagai perangkat spine, menyediakan uplink 200Gb/s dan lalu lintas timur-barat non-blocking antar grup leaf.
• Lapisan Leaf: Switch leaf menghubungkan node komputasi yang dilengkapi dengan adapter ConnectX-6 atau ConnectX-7, membentuk jalur HDR ujung-ke-ujung yang kompatibel dengan MQM8790-HS2F.
• Komputasi dalam jaringan: Teknologi SHARP pada MQM8790-HS2F mengalihkan operasi kolektif seperti AllReduce ke switch, mengurangi overhead GPU dan CPU.
• Manajemen dan telemetri: MLNX-OS, UFM, dan NetQ digunakan untuk penyediaan fabric, pemantauan, dan visibilitas kemacetan.

Selama perencanaan, tim meninjau datasheet MQM8790-HS2F dan spesifikasi MQM8790-HS2F untuk memvalidasi anggaran daya, persyaratan pendinginan, dan opsi pemisahan port seperti breakout 2×100Gb/s. Pengkabelan dan optik distandarisasi ke QSFP56 untuk menyederhanakan suku cadang dan ekspansi di masa mendatang.

Hasil dan Manfaat: Apa yang Berubah Setelah Penerapan

Setelah migrasi ke solusi switch InfiniBand MQM8790-HS2F, klaster menunjukkan peningkatan yang terukur dalam efisiensi komunikasi dan stabilitas pekerjaan. Peningkatan yang paling nyata adalah:

Secara operasional, tim mendapatkan kontrol yang lebih baik atas perilaku fabric. Perutean adaptif dan SHARP mengurangi dampak hot spot, sementara telemetri memudahkan identifikasi node lambat dan tautan yang salah konfigurasi. Bagi arsitek yang mengevaluasi opsi harga MQM8790-HS2F atau MQM8790-HS2F untuk dijual, kesimpulan utamanya adalah bahwa switch memberikan pengembalian melalui utilisasi klaster yang lebih tinggi daripada sekadar jumlah port mentah.

Kesimpulan dan Prospek

MQM8790-HS2F menunjukkan bagaimana switch InfiniBand yang dibuat khusus dapat menghilangkan bottleneck interkoneksi dalam klaster RDMA, HPC, dan AI. Dengan menggabungkan port 200Gb/s HDR, komputasi dalam jaringan SHARP, dan tumpukan manajemen yang matang, NVIDIA Mellanox MQM8790-HS2F memberikan latensi rendah yang dapat diprediksi pada skala. Seiring klaster terus tumbuh dan beban kerja AI menjadi lebih intensif komunikasi, fabric yang dibangun di atas switch InfiniBand MQM8790-HS2F berada pada posisi yang baik untuk mendukung gelombang ekspansi berikutnya.