Solusi Teknis Sakelar InfiniBand NVIDIA Mellanox MQM8790-HS2F

NVIDIA Mellanox MQM8790-HS2F Solusi Teknis InfiniBand Switch. Optimasi Interkoneksi Latensi Rendah untuk Kluster RDMA/HPC/AI.

1. Latar Belakang Proyek & Analisis Kebutuhan

Sebagai kelompok pelatihan kecerdasan buatan (AI) skala ke ribuan GPU dan sistem komputasi berkinerja tinggi (HPC) mendorong kinerja eksascale,jaringan jaringan yang menghubungkan node komputasi telah menjadi penentu kinerja kritisDalam lingkungan ini, latensi bukan hanya sebuah metrik, tetapi secara langsung mempengaruhi kinerja aplikasi, waktu penyelesaian, dan efisiensi cluster secara keseluruhan.Untuk beban kerja yang sangat bergantung pada operasi kolektif MPI (Message Passing Interface) dan pola komunikasi semua-ke-semua, dinamika fluida komputasi, dan simulasi kimia kuantum bahkan peningkatan latensi tingkat mikrodetik dapat diterjemahkan ke dalam jam waktu berjalan tambahan.bahkan dengan RDMA over Converged Ethernet (RoCE), sering berjuang untuk memberikan latensi rendah deterministik dan operasi bebas kemacetan yang dibutuhkan oleh aplikasi yang menuntut ini.

Tantangan ini diperkuat oleh tiga tren bersamaan. Pertama, skala yang berkembang dari model AI (sekarang melebihi triliunan parameter) menuntut paralelisme besar di ribuan GPU,membutuhkan kain yang dapat mempertahankan throughput tinggi dengan varian latensi minimalKedua, konvergensi beban kerja HPC dan AI berarti bahwa satu jaringan harus secara efisien mendukung pola komunikasi berbasis MPI dan operasi kolektif GPU berbasis NCCL.Efisiensi operasional membutuhkan agar kain dapat dikelola dalam skala besar, dengan kemampuan pemantauan dan optimasi otomatis yang komprehensif.Solusi teknis terstruktur diperlukan satu yang memanfaatkan switch InfiniBand berkinerja tinggi dengan penyampaian latensi rendah, manajemen kemacetan lanjutan, dan akselerasi komputasi dalam jaringan untuk memberikan kinerja yang dapat diprediksi dalam skala besar.

2. Desain Arsitektur Jaringan / Sistem Secara Umum

Arsitektur yang diusulkan mengadopsi topologi tulang belakang menggunakanNVIDIA Mellanox MQM8790-HS2Fswitch sebagai lapisan daun, terhubung ke switch tulang belakang dengan kepadatan port yang lebih tinggi (seperti seri QM9700 dengan 64 port dengan NDR 400Gb/s) untuk kain berskala besar.Arsitektur ini dirancang untuk mendukung komunikasi non-menghalangi dengan lebar band bisection penuh, memastikan bahwa setiap node komputasi dapat berkomunikasi dengan node lain pada kecepatan kawat tanpa perselisihan.

Dalam penyebaran khas untuk cluster 2.000 node, arsitektur terdiri dari:

• Daun:20MQM8790-HS2F InfiniBand switchUnit, masing-masing dengan 40 port QSFP56 yang beroperasi pada HDR 200Gb/s.Setiap switch daun terhubung ke 50 node komputasi (menggunakan campuran 200Gb / s koneksi langsung dan 100Gb / s HDR100 breakout melalui QSFP56 ke 2 × QSFP56 kabel).
• Tingkat tulang belakang:4 switch QM9700 (atau switch kepadatan tinggi setara), masing-masing dengan 64 port 400Gb/s NDR, menyediakan konektivitas antar-daun.
• Node Perhitungan:Setiap node dilengkapi dengan satu atau lebih adaptor ConnectX-6 HDR atau ConnectX-7 NDR, yang terhubung ke switch daun melalui kabel tembaga pasif atau kabel optik aktif.
• Jaringan Manajemen:Sebuah jaringan Ethernet out-of-band terpisah untuk manajemen switch, terintegrasi dengan platform NVIDIA Unified Fabric Manager (UFM) untuk pemantauan dan optimasi kain terpusat.

Arsitektur memanfaatkanMQM8790-HS2F 200Gb/s HDR 40-port QSFP56Konfigurasi untuk memberikan total kapasitas switching daun 8Tb/s per switch. Penggunaan HDR100 breakout memungkinkan pilihan konektivitas yang fleksibel:setiap port 200Gb/s dapat mendukung satu titik akhir 200Gb/s atau dua titik akhir 100Gb/s, menampung node komputasi heterogen dengan kecepatan antarmuka yang berbeda.

3. Peran & Fitur Utama dari NVIDIA Mellanox MQM8790-HS2F dalam Solusi

Dalam arsitektur ini,MQM8790-HS2Fberfungsi sebagai switch dasar, menyediakan low-latency, koneksi bandwidth tinggi ke node komputasi sambil mendukung fitur canggih yang penting untuk beban kerja HPC dan AI.Fitur teknis utamanya sangat penting untuk keberhasilan solusi keseluruhan:

• Sub-100 nanosecond port-to-port latency:Memberikan latensi rendah deterministik penting untuk kolektif MPI sensitif latensi dan operasi semua-mengurangi.
• 40 port 200Gb/s HDR InfiniBand:Memberikan kapasitas switching total 8Tb / s dalam faktor bentuk 1U yang kompak, memaksimalkan kepadatan port dan mengurangi konsumsi ruang rak.
• Dukungan SHARP (Scalable Hierarchical Aggregation and Reduction Protocol):Memungkinkan akselerasi komputasi dalam jaringan untuk operasi kolektif MPI, melepaskan hingga 20% beban kerja komunikasi dari CPU / GPU.
• Routing adaptif:Secara dinamis mendistribusikan lalu lintas di seluruh jalur kain yang tersedia berdasarkan metrik kemacetan real-time, mengoptimalkan throughput dan meminimalkan varian latensi.
• Kontrol kemacetan:Mengimplementasikan mekanisme manajemen kemacetan canggih (termasuk kontrol aliran tingkat paket dan pemberitahuan kemacetan) untuk mencegah hotspot jaringan dari degradasi kinerja.
• Dukungan HDR100:Memungkinkan setiap port 200Gb/s untuk dikonfigurasi sebagai dua port 100Gb/s independen, memberikan fleksibilitas penyebaran untuk lingkungan kecepatan campuran.
• Antarmuka manajemen yang komprehensif:Mendukung IBTA-compliant Subnet Management (SM), SNMP, CLI, Web UI, dan integrasi dengan UFM untuk manajemen kain terpusat.
• Efisiensi energi:Konsumsi daya khas di bawah 230W, berkontribusi pada kebutuhan pendinginan yang lebih rendah dan peningkatan PUE.

Fitur ini didokumentasikan secara komprehensif dalamLembar data MQM8790-HS2F, yang mencakup kurva kinerja rinci, spesifikasi termal, dan gambar mekanis untuk integrasi ke dalam alat tata letak rak.

4Rekomendasi penyebaran dan skala (dengan deskripsi topologi khas)

Untuk penyebaran awal, kami merekomendasikan strategi ekspansi modular berdasarkan arsitektur tingkat pod.mendukung sekitar 400 node komputasi dengan bandwidth bisection penuh.MQM8790-HS2F Solusi saklar InfiniBandmemungkinkan skala incremental dengan menambahkan pods sebagai kapasitas komputasi tumbuh, dengan lapisan tulang belakang menyediakan konektivitas antara pods untuk kain yang terpadu.

Topologi khas untuk pod tunggal (400 node komputasi):

• Leaf Switch:4 × MQM8790-HS2F, masing-masing dengan 40 port pada 200Gb/s. 36 port per lembar digunakan untuk konektivitas node komputasi (mendukung hingga 72 node per lembar menggunakan HDR100 breakout),sementara 4 port per daun digunakan untuk tulang belakang uplinks.
• Spine Switches:2 × QM9700 (atau setara 64-port NDR switch), masing-masing terhubung ke semua 4 switch daun melalui 400Gb / s uplink (menggunakan 4 × 200Gb / s QSFP56 ke QSFP-DD kabel).
• Node Perhitungan:400 node, masing-masing terhubung ke switch daun melalui koneksi HDR100 tunggal 200Gb/s atau ganda 100Gb/s.

Meningkatkan skala di luar satu kapsul:

• Tambahkan pod tambahan (masing-masing dengan 4 switch MQM8790-HS2F) sesuai kebutuhan kapasitas komputasi.
• Hubungkan pod melalui lapisan tulang belakang tingkat atas (superspin) menggunakan tambahan QM9700 atau saklar NDR.
• Menjaga konsistensi kain dengan menggunakanMQM8790-HS2Fdi semua posisi daun, memastikan latensi dan manajemen yang seragam di seluruh kain.

Ketika menggunakanMQM8790-HS2Fdalam mode HDR100 breakout, pedoman kabel berikut berlaku:

Untuk kain berskala besar yang melebihi 2.000 node, kami merekomendasikan menggunakan kemampuan simulasi kain UFM untuk memvalidasi desain topologi dan perilaku kemacetan sebelum penerapan.

5Operasi & Pemeliharaan: Pemantauan, Penanganan Masalah, dan Optimasi

Siklus hidup operasional dari kain InfiniBand berbasis MQM8790-HS2F membutuhkan pendekatan sistematis untuk pemantauan, pemecahan masalah, dan pengoptimalan.Kami merekomendasikan penyebaran platform NVIDIA UFM sebagai alat manajemen dan pemantauan pusat, memberikan visibilitas real-time terhadap kinerja kain, metrik latensi, dan pola kemacetan.

Metrik pemantauan utama untuk dilacak:

• Latensi tingkat port:Latensi ujung ke ujung di seluruh jaringan, dengan peringatan untuk port melebihi ambang latensi.
• Produksi dan pemanfaatan:Perhitungan agregat dan per port, mengidentifikasi tautan yang kurang digunakan atau terlalu banyak digunakan.
• Indikator kemacetanPacket drop, pause frame, dan event pemberitahuan kemacetan.
• Kesehatan kain:Status link, penghitung kesalahan, dan telemetri suhu / daya.

Protokol pemecahan masalah untuk masalah umum:

1. Pengurangan latensi:Gunakan alat analisis latensi UFM untuk mengidentifikasi jalur atau port tertentu yang mengalami peningkatan latensi; periksa kemacetan atau konfigurasi yang salah dari routing adaptif.
2. Kesalahan atau penurunan tautan:Periksa konektivitas fisik (kabel, optik) dan penghitung kesalahan port;MQM8790-HS2F kompatibelKabel dan optik digunakan untukSpesifikasi MQM8790-HS2F.
3. Masalah manajemen subnet:Memverifikasi bahwa Subnet Manager (SM) sedang berjalan dan bahwa topologi kain ditemukan dengan benar; periksa kejadian failover SM.

Rekomendasi optimasi:

• Adaptive routing tuning:Sesuaikan parameter algoritma routing berdasarkan pola lalu lintas yang diamati ¢ gunakan UFM untuk mensimulasikan kebijakan routing yang berbeda sebelum menerapkannya pada kain produksi.
• Konfigurasi kontrol kemacetan:Enable and tune congestion control mechanisms (such as packet pacing and priority flow control) based on workload characteristics — AI training benefits from more aggressive congestion control compared to HPC workloads.
• Pembaruan firmware dan perangkat lunak:Perbarui firmware switch dan perangkat lunak UFM secara teratur untuk mengakses peningkatan kinerja dan fitur baru.
• Audit periodik kain:Melakukan audit reguler kabel, daya, dan pendinginan untuk memastikan keandalan operasi dalam skala besar.

6. Ringkasan & Penilaian Nilai

PeraturanNVIDIA Mellanox MQM8790-HS2FSolusi teknis berbasis RDMA menyediakan metodologi yang komprehensif dan validasi lapangan untuk mengoptimalkan interkoneksi latensi rendah di kluster RDMA/HPC/AI.Dengan memanfaatkan 40 port switch dari 200Gb / s HDR InfiniBand, latensi sub-100 nanodetik, komputasi SHARP dalam jaringan, dan kemampuan routing adaptif,organisasi dapat membangun kain yang memberikan kinerja yang dapat diprediksi pada skala sementara menyederhanakan manajemen dan mengurangi overhead operasional.

Metrik nilai utama dari penyebaran yang sebanding meliputi:

• Pengurangan latensi:Latensi port-to-port sub-100 nanodetik mengurangi waktu penyelesaian kolektif MPI hingga 35% dibandingkan dengan kain generasi sebelumnya.
• Percepatan aplikasi:SHARP in-network compute offload mengurangi overhead komunikasi CPU/GPU hingga 20%, mempercepat waktu epoch pelatihan AI sebesar 25-30%.
• Efisiensi kain:Routing adaptif dan kontrol kemacetan mempertahankan kinerja yang konsisten di bawah beban yang bervariasi, mengurangi variabilitas kinerja hingga 60%.
• Penyederhanaan operasional:Integrasi UFM memberikan visibilitas dan otomatisasi yang komprehensif, mengurangi MTTR untuk insiden kain hingga 50%.
• Efisiensi biaya:PeraturanHarga MQM8790-HS2Fdikombinasikan dengan kepadatan port yang tinggi memberikan biaya per port yang lebih rendah dibandingkan dengan solusi InfiniBand alternatif, sementara mengurangi ruang rak dan kebutuhan daya.

Untuk arsitek jaringan dan pemimpin rekayasa, MQM8790-HS2F menawarkan dasar yang dapat diskalakan dan berkinerja tinggi untuk kluster HPC dan AI generasi berikutnya.Solusi ini sangat direkomendasikan untuk organisasi yang menggunakan lingkungan GPU-akselerasi skala besar, serta pusat HPC tradisional yang ditingkatkan dari 100Gb/s ke 200Gb/s. Karena InfiniBand terus berkembang menuju NDR (400Gb/s) dan XDR (800Gb/s),dukungan MQM8790-HS2F untuk HDR100 breakout memastikan kompatibilitas dengan infrastruktur yang ada sambil menyediakan jalur migrasi yang jelas ke kecepatan masa depan.

Untuk template desain kain yang rinci, panduan penyesuaian kinerja, dan daftar periksa penyebaran, lihatLembar data MQM8790-HS2Fdan dokumentasi arsitektur NVIDIA Mellanox InfiniBand.