Mellanox (NVIDIA Mellanox) MQM8790-HS2F Solusi Teknis Switch InfiniBand

Mellanox (NVIDIA Mellanox) MQM8790-HS2F Solusi Teknis InfiniBand Switch. Optimasi Interkoneksi Latensi Rendah untuk Kluster RDMA/HPC/AI.

Analisis Latar Belakang Proyek dan Kebutuhan

Sebagai pelatihan AI model besar dan komputasi ilmiah HPC skala ke jejak yang lebih besar,tantangan utama untuk kluster komputasi telah bergeser dari daya komputasi node tunggal ke efisiensi komunikasi antar node. Jaringan RDMA berfungsi sebagai tulang punggung transportasi untuk operasi kolektif, akses penyimpanan, dan lalu lintas titik pemeriksaan, dan perilaku mereka secara langsung menentukan penggunaan cluster secara keseluruhan.

Persyaratan khas dalam proyek-proyek ini meliputi:

• Bandwidth tinggi per node:Server GPU semakin membutuhkan 200Gb / s atau lebih tinggi untuk mengikuti beban kerja pelatihan multi-GPU.
• Latensi rendah yang dapat diprediksi:AllReduce dan sinkronisasi parameter sensitif terhadap latensi ekor, bukan hanya rata-rata latensi.
• Skalabilitas:Fabrik harus tumbuh dari puluhan node ke ratusan atau ribuan tanpa mendesain ulang topologi.
• Kemampuan mengelola:Tim operasi membutuhkan telemetri dan visibilitas kemacetan untuk mengisolasi node lambat dan link yang salah dikonfigurasi.

MQM8790-HS2F diposisikan untuk memenuhi persyaratan ini sebagai platform switch HDR InfiniBand 200Gb/s.

Desain Arsitektur Jaringan dan Sistem Secara Umum

Arsitektur yang direkomendasikan adalah pohon lemak dua tingkat yang tidak memblokir, dengan lapisan tulang belakang yang dibangun dari switch MQM8790-HS2F dan lapisan daun yang menghubungkan node komputasi dan penyimpanan.Desain ini memberikan bandwidth timur-barat yang seragam dan keragaman jalur yang dapat diprediksi, yang penting untuk pola lalu lintas RDMA.

Keputusan arsitektur utama meliputi:

• HDR ujung ke ujung:Node komputasi yang dilengkapi dengan adaptor ConnectX-6 atau ConnectX-7 terhubung dengan kecepatan 200Gb/s ke switch daun, membentuk jalur end-to-end yang kompatibel dengan MQM8790-HS2F.
• Kapasitas tulang belakang:Setiap switch MQM8790-HS2F 200Gb/s HDR 40-port QSFP56 menyediakan 40 port pada 200Gb/s, memungkinkan alokasi uplink dan downlink yang fleksibel berdasarkan target oversubscription.
• Kain penyimpanan:Target penyimpanan paralel dan NVMe-over-Fabrics dapat ditempatkan pada kelompok daun khusus untuk mengisolasi lalu lintas penyimpanan dari lalu lintas pelatihan.
• Perencanaan manajemen:Pengelolaan dan pengumpulan telemetri di luar band dipisahkan dari data plane untuk menghindari gangguan.

Peran Mellanox (NVIDIA Mellanox) MQM8790-HS2F dan Fitur Utama

Dalam solusi ini, Mellanox (NVIDIA Mellanox) MQM8790-HS2F bertindak sebagai elemen pemutar tulang belakang, mengumpulkan lalu lintas halaman dan memungkinkan komputasi dalam jaringan.juga mengurangi biaya komunikasi kolektif dan meningkatkan efisiensi kain.

Karakteristik teknis utama meliputi:

• 40 × 200Gb/s port HDR:Hingga 16Tb / s agregat throughput dalam faktor bentuk 1U, dengan dukungan adaptif untuk HDR, EDR, dan kecepatan FDR.
• SHARP dalam komputasi jaringan:Offloads AllReduce dan operasi kolektif terkait ke switch, mengurangi partisipasi GPU dan CPU.
• Routing adaptif:Mengurangi titik panas dan meningkatkan keseimbangan beban di berbagai jalur.
• Kontrol kemacetan:Mendukung DCQCN dan mekanisme terkait untuk menjaga latensi stabil di bawah beban.
• Ekosistem perangkat lunak:Dikelola oleh MLNX-OS dan dipantau melalui UFM dan NetQ.

Arsitek harus meninjau lembar data MQM8790-HS2F dan spesifikasi MQM8790-HS2F untuk detail daya, pendinginan, dan port-split sebelum menyelesaikan tata letak rak.Harga MQM8790-HS2F dan opsi penjualan MQM8790-HS2F harus divalidasi dengan saluran pengadaan, karena harga bervariasi berdasarkan skala dan konfigurasi.

Rekomendasi Pengerahan dan Ekspansi

Untuk penyebaran awal, switch InfiniBand MQM8790-HS2F tunggal dapat berfungsi sebagai tulang punggung dan inti dalam cluster kecil, menghubungkan hingga 40 node dengan kecepatan 200Gb / s.penyambung tulang belakang tambahan ditambahkan, dan kain transisi ke desain dua tingkat penuh dengan pemisahan daun-tulang belakang.

Panduan ekspansi:

• Disiplin kabel:Standarisasi pada optik QSFP56 dan jenis DAC/AOC untuk menyederhanakan hemat dan mengurangi risiko kompatibilitas.
• Pembagian pelabuhan:Gunakan 2×100Gb/s breakout dimana 200Gb/s per node tidak diperlukan, meningkatkan efisiensi port.
• Tujuan oversubscription:Rencanakan rasio tulang belakang-ke-daun berdasarkan pola burst beban kerja daripada puncak bandwidth teoritis saja.
• Daya dan pendinginan:Memvalidasi per-rack headroom daya terhadap penarik switch before scaling out.

Pemantauan Operasi, Pemecahan Masalah, dan Optimasi

Visibilitas operasional sangat penting untuk menjaga latensi rendah pada skala.Solusi switch MQM8790-HS2F InfiniBand harus diintegrasikan dengan UFM untuk pemantauan seluruh kain dan NetQ untuk telemetri dan validasi.

Praktik yang direkomendasikan meliputi:

• Memantau per-port counter untuk kesalahan, pembuangan, dan kemacetan kejadian.
• Lacak kandidat node lambat menggunakan telemetri daripada hanya mengandalkan kegagalan tingkat pekerjaan.
• Memvalidasi konsistensi firmware di semua switch dan adaptor untuk menghindari masalah kompatibilitas.
• Periksa konfigurasi SHARP secara berkala, karena pohon agregasi yang tidak benar dapat mengurangi kinerja daripada meningkatkannya.

Ringkasan dan Penilaian Nilai

MQM8790-HS2F menyediakan dasar praktis untuk cluster RDMA, HPC, dan AI yang membutuhkan latensi rendah yang dapat diprediksi dan bandwidth tinggi.SHARP dalam komputasi jaringan, dan ekosistem manajemen yang matang, NVIDIA Mellanox MQM8790-HS2F membantu arsitek merancang kain yang dapat diskalakan tanpa mengorbankan efisiensi.

Dari perspektif nilai, kontribusi switch harus dinilai terhadap pemanfaatan cluster, waktu penyelesaian pekerjaan, dan overhead operasional daripada hanya jumlah port.