Mellanox 920-9B210-00FN-0D0 InfiniBand Switch. Solusi teknis untuk RDMA, HPC dan AI Cluster Low-Latency

Sakelar InfiniBand Mellanox 920-9B210-00FN-0D0 | Solusi Teknis untuk Optimasi Interkoneksi Latensi Rendah RDMA, HPC, dan AI Cluster

Arsitektur teknis komprehensif dan panduan penerapan yang mencakup jaringan NVIDIA Quantum-2 NDR InfiniBand, akselerasi RDMA, interkoneksi cluster GPU yang dapat diskalakan, manajemen fabric, dan optimalisasi kinerja.

Produk:NVIDIA QM9790 / MQM9790-NS2F |SKU:920-9B210-00FN-0D0 |Teknologi:InfiniBand NDR 400 Gb/dtk

Kecerdasan buatan, komputasi kinerja tinggi (HPC), dan beban kerja GPU terdistribusi memberikan tuntutan yang belum pernah terjadi sebelumnya pada infrastruktur jaringan pusat data. Seiring dengan pertumbuhan klaster komputasi, efisiensi komunikasi jaringan semakin menentukan apakah sumber daya GPU yang mahal dapat beroperasi secara maksimal. ItuNVIDIA Mellanox 920-9B210-00FN-0D0Switch InfiniBand menyediakan platform switching dengan bandwidth tinggi dan latensi rendah untuk membangun jaringan komputasi terakselerasi yang dapat diskalakan.

Didukung oleh teknologi NVIDIA Quantum-2, QM9790 mendukung 64 port NDR InfiniBand non-blocking 400Gb/s melalui 32 konektor OSFP, dengan throughput peralihan dua arah agregat hingga 51,2Tb/s. Buku putih teknis ini menjelaskan cara mengintegrasikan peralihan ke arsitektur jaringan berkemampuan RDMA, mengoptimalkan komunikasi AI terdistribusi, merancang struktur HPC yang tangguh, dan menetapkan praktik penerapan dan operasional yang efektif.

01. Latar Belakang Proyek dan Analisis Persyaratan

Platform pelatihan AI modern biasanya menghubungkan beberapa server GPU ke dalam cluster komputasi terdistribusi. Selama pelatihan model, GPU sering bertukar gradien, parameter, dan hasil antara menggunakan perpustakaan komunikasi seperti NVIDIA NCCL. Aplikasi HPC juga bergantung pada pesan latensi rendah yang melewati MPI dan kerangka komputasi paralel lainnya.

Ketika jumlah node komputasi bertambah, lalu lintas komunikasi menjadi lebih kompleks. Aplikasi mungkin mengalami saturasi bandwidth, hotspot kemacetan, penundaan komunikasi kolektif, dan kinerja tidak konsisten yang disebabkan oleh perselisihan jaringan.

Solusi InfiniBand berkinerja tinggi harus memenuhi persyaratan teknis berikut:

• Bandwidth Tinggi:Menyediakan kapasitas interkoneksi yang memadai untuk pergerakan data skala besar antara server GPU dan node komputasi.
• Latensi Komunikasi Rendah:Minimalkan penundaan yang terkait dengan sinkronisasi yang sering dan pertukaran pesan kecil.
• Dukungan RDMA:Aktifkan komunikasi memori-ke-memori yang efisien dengan pengurangan keterlibatan CPU.
• Skalabilitas Jaringan:Mendukung perluasan dari rak server individual ke AI multi-rak dan struktur HPC.
• Optimasi Lalu Lintas:Meningkatkan pemanfaatan jaringan melalui perutean adaptif dan manajemen kemacetan.
• Keandalan Operasional:Tetapkan prosedur pemantauan, isolasi kesalahan, dan validasi kinerja.

Tujuan Desain:Bangun struktur InfiniBand dengan bandwidth tinggi dan terukur yang meminimalkan kemacetan terkait jaringan dan mendukung kinerja RDMA yang dapat diprediksi untuk pelatihan AI terdistribusi, komputasi ilmiah, dan aplikasi HPC intensif data.

02. Arsitektur Jaringan dan Sistem Secara Keseluruhan

Arsitektur yang diusulkan menggunakan920-9B210-00FN-0D0 Sakelar InfiniBand OPNsebagai blok bangunan inti dalam struktur NDR berkecepatan tinggi. Tergantung pada skala penyebaran, switch dapat beroperasi dalam desain single-tier atau topologi leaf-spine multi-tier.

Untuk cluster GPU multi-rak, arsitektur Fat Tree dua tingkat adalah titik awal yang praktis. Sakelar daun menghubungkan server komputasi, sedangkan sakelar tulang belakang menyediakan komunikasi bandwidth tinggi antar rak. Alokasi uplink harus dihitung berdasarkan pola lalu lintas yang diharapkan, bandwidth pembagian yang diperlukan, dan kelebihan permintaan yang dapat diterima.

Topologi Jaringan Referensi

Pelatihan AI / Aplikasi HPC
NCCL/MPI/UCX/RDMA
↓
Server GPU dan Node Komputasi
Adaptor NVIDIA ConnectX InfiniBand
↓
Lapisan Daun
Sakelar NDR NVIDIA Quantum-2 QM9790
↓
Lapisan Tulang Belakang
Sakelar NDR NVIDIA Quantum-2 QM9790
↓
Rak GPU / Node Komputasi HPC Lainnya
Manajer Subnet Eksternal / Manajemen Fabric NVIDIA UFM

Dalam arsitektur ini, node komputasi menggunakan adaptor jaringan berkemampuan RDMA untuk mengakses fabric InfiniBand. Lapisan daun menyediakan konektivitas yang menghadap server, sedangkan lapisan tulang belakang mendukung komunikasi antar segmen jaringan yang berbeda. Desain non-pemblokiran memerlukan bandwidth uplink yang memadai dibandingkan dengan downlink yang terhubung.

Penerapan AI dalam jumlah besar juga dapat mendistribusikan komunikasi ke beberapa jalur jaringan independen untuk meningkatkan isolasi kesalahan dan pemanfaatan bandwidth. Penyelarasan rel, penempatan adaptor, afinitas NUMA, dan topologi GPU harus dipertimbangkan bersama untuk mencegah keterbatasan sisi host mengurangi manfaat peralihan kecepatan tinggi.

03. Peran dan Fitur Utama NVIDIA Mellanox 920-9B210-00FN-0D0

Itu920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/dtk NDRsaklar milik keluarga NVIDIA Quantum-2 QM9790. Ini adalah sistem switching InfiniBand yang tidak dikelola yang dirancang untuk jaringan yang dikelola secara eksternal, mendukung konektivitas padat dan komunikasi berkecepatan tinggi antara node komputasi yang dipercepat.

Berikut iniSpesifikasi 920-9B210-00FN-0D0merangkum karakteristik produk yang relevan dengan arsitektur jaringan dan pemilihan perangkat keras.

Optimasi Komunikasi Berbasis RDMA

Akses Memori Langsung Jarak Jauh memungkinkan sistem yang berpartisipasi untuk mentransfer data antar wilayah memori terdaftar sekaligus mengurangi overhead pemrosesan CPU. Dalam lingkungan AI dan HPC, kemampuan ini mendukung komunikasi antar-node yang efisien dan dapat mengurangi biaya transfer data terkait perangkat lunak.

Dengan adaptor NVIDIA ConnectX yang kompatibel dan tumpukan perangkat lunak yang dikonfigurasi dengan tepat, aplikasi dapat memanfaatkan transportasi RDMA melalui kerangka kerja seperti UCX, MPI, dan NCCL. GPU Direct RDMA selanjutnya dapat mengoptimalkan pergerakan data jika platform perangkat keras, driver, dan konfigurasi aplikasi mendukungnya.

Perutean Adaptif dan Manajemen Kemacetan

NVIDIA Quantum-2 mendukung mekanisme perutean adaptif yang dapat mendistribusikan lalu lintas melintasi jalur jaringan yang tersedia. Dikombinasikan dengan pengendalian kemacetan InfiniBand, kemampuan kualitas layanan, dan manajemen jalur virtual, teknologi ini membantu mengatasi hotspot lalu lintas dan meningkatkan stabilitas komunikasi.

Manfaat sebenarnya bergantung pada topologi fabric, kebijakan perutean, kemampuan firmware, dan konfigurasi manajemen subnet. Arsitek jaringan harus memvalidasi pengaturan ini berdasarkan lalu lintas aplikasi yang representatif daripada hanya mengandalkan kapasitas peralihan teoretis.

Komputasi Dalam Jaringan NVIDIA SHARP

NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) memungkinkan operasi kolektif yang didukung untuk diproses dalam struktur jaringan. Dengan mengurangi volume pertukaran data selama operasi pengurangan yang didukung, SHARP dapat meningkatkan efisiensi komunikasi untuk beban kerja AI dan HPC tertentu. Penerapan memerlukan firmware yang kompatibel, komponen manajemen, dan dukungan perangkat lunak aplikasi.

04. Strategi Penerapan dan Perluasan Jaringan

Penerapan920-9B210-00FN-0D0 solusi OPN sakelar InfiniBandharus mengikuti proses implementasi terstruktur yang mencakup kompatibilitas perangkat keras, perencanaan fabric, validasi jaringan, dan kebutuhan kapasitas di masa depan. Pendekatan bertahap mengurangi risiko konfigurasi dan membuat masalah kinerja lebih mudah diidentifikasi.

Fase 1: Perangkat Keras dan Infrastruktur Fisik

• Konfirmasikan SKU sakelar, OPN lama, dimensi rak, persyaratan catu daya, dan arah aliran udara P2C.
• Pilih adaptor ConnectX yang kompatibel, modul optik OSFP, kabel DAC, atau kabel optik aktif berdasarkan kecepatan dan jarak tautan.
• Rencanakan perutean kabel, pendinginan rak, redundansi daya, dan alokasi port fisik.
• Verifikasi versi firmware yang didukung dan interoperabilitas perangkat keras sebelum penerapan produksi.

Fase 2: Konfigurasi dan Validasi Fabric

Karena QM9790 adalah sakelar yang tidak dikelola, Manajer Subnet InfiniBand eksternal diperlukan untuk inisialisasi fabric dan konfigurasi jalur. NVIDIA UFM dapat memberikan kemampuan manajemen, pemantauan, dan operasional fabric tambahan saat diterapkan dengan komponen yang didukung.

Administrator jaringan harus memverifikasi status tautan port, kecepatan negosiasi, penemuan subnet, konfigurasi perutean, dan konektivitas RDMA ujung ke ujung. Jika relevan, konfigurasikan partisi, tingkat layanan, jalur virtual, kontrol kemacetan, dan perutean adaptif sesuai dengan kebutuhan aplikasi.

Fase 3: Penskalaan dan Perencanaan Kapasitas

Perluasan klaster harus mempertimbangkan radix saklar, kapasitas uplink yang tersedia, distribusi lalu lintas, dan jumlah tingkatan jaringan. Meskipun QM9790 menyediakan 64 port NDR logis, pengaturan antarmuka fisik dan konfigurasi breakout kabel yang didukung harus tercermin secara akurat dalam rencana alokasi port.

Untuk penerapan yang lebih besar, switch daun dan tulang belakang tambahan dapat diperkenalkan untuk mengakomodasi rak server baru. Rencana perluasan harus memperhitungkan redundansi, pemisahan rel jaringan, jarak pemasangan kabel, dan pemeliharaan bandwidth yang diperlukan antar grup komputasi.

05. Pengoperasian, Pemantauan dan Pemecahan Masalah

Pengoperasian InfiniBand yang andal memerlukan visibilitas berkelanjutan terhadap status tautan, kesehatan fabric, perilaku kemacetan, dan kinerja beban kerja. NVIDIA UFM dan alat diagnostik InfiniBand yang kompatibel dapat digunakan untuk memantau kondisi jaringan dan mengidentifikasi pola komunikasi yang tidak normal.

Pemantauan operasional yang direkomendasikan meliputi:

• Tautan Kesehatan:Pantau kecepatan negosiasi, kesalahan fisik, penutup tautan, dan peristiwa port-down.
• Pemanfaatan Bandwidth:Lacak lalu lintas yang dikirim dan diterima untuk mengidentifikasi tautan yang kelebihan permintaan.
• Indikator Kemacetan:Periksa konter transmisi-tunggu, aktivitas kontrol aliran, dan hotspot lalu lintas.
• Manajemen Kain:Periksa ketersediaan Subnet Manager, konsistensi perutean, perubahan topologi, dan perangkat yang ditemukan.
• Kinerja Aplikasi:Hubungkan pengukuran jaringan dengan NCCL, MPI, dan metrik beban kerja produksi.

Untuk pengujian kinerja tingkat jaringan, teknisi dapat menggunakan utilitas InfiniBand sepertiibstat,ibdiagnet,perfquery, dan alat kinerja RDMA sepertiib_write_bwDanib_send_lat. Tes NVIDIA NCCL dan tolok ukur MPI dapat memberikan wawasan tambahan mengenai kinerja komunikasi tingkat aplikasi.

Saat memecahkan masalah penurunan kinerja, verifikasi konektivitas fisik terlebih dahulu, diikuti dengan kecepatan port, penghitung kesalahan, perutean fabric, dan indikator kemacetan. Jika metrik jaringan tetap sehat, selidiki bandwidth PCIe sisi host, penempatan NUMA, afinitas GPU, versi driver, dan pengaturan komunikasi aplikasi.

Penerimaan kinerja harus mencakup bandwidth efektif, latensi komunikasi, hasil operasi kolektif, dan waktu penyelesaian beban kerja. Pengukuran latensi P50, P95, dan P99 dapat membantu mengungkapkan variabilitas kinerja dalam lalu lintas yang berkelanjutan atau padat. Ambang batas penerimaan harus ditentukan dengan menggunakan tujuan layanan spesifik proyek dan data dasar yang terukur.

06. Nilai Solusi dan Penilaian Kinerja

Itu920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/dtk NDRplatform switching menyediakan kapasitas jaringan dan arsitektur yang diperlukan untuk menuntut lingkungan komputasi terdistribusi. Nilai utamanya terletak pada kemampuan komunikasi berkecepatan tinggi, desain fabric yang dapat diskalakan, dan integrasi yang efisien dengan sistem komputasi berkemampuan RDMA.

Dari perspektif infrastruktur, konektivitas NDR 400 Gb/s dan kepadatan port yang tinggi dapat mengurangi kendala jaringan seiring dengan meningkatnya ukuran cluster GPU. Kemampuan InfiniBand yang canggih mendukung distribusi lalu lintas yang lebih efisien, sementara manajemen fabric eksternal meningkatkan visibilitas operasional dan pemecahan masalah.

Penilaian nilai yang lengkap harus membandingkan biaya penerapan dengan peningkatan terukur dalam throughput aplikasi, pemanfaatan GPU, stabilitas jaringan, dan efisiensi operasional. Evaluasi timHarga 920-9B210-00FN-0D0juga harus mempertimbangkan adaptor, optik, kabel, perangkat lunak manajemen, daya, dan persyaratan dukungan yang kompatibel.

Prinsip Evaluasi Teknis:Keberhasilan peningkatan jaringan InfiniBand harus ditentukan melalui benchmarking yang dapat direproduksi dan validasi beban kerja produksi. Peralihan bandwidth saja tidak menjamin pengurangan waktu pelatihan atau latensi aplikasi secara tetap.

07. Kesimpulan dan Perkembangan Masa Depan

ItuNVIDIA Mellanox 920-9B210-00FN-0D0Switch InfiniBand adalah solusi jaringan kepadatan tinggi yang dirancang untuk pelatihan AI, aplikasi HPC, dan lingkungan pusat data yang dipercepat. Dengan teknologi NVIDIA Quantum-2, 64 port NDR, dan throughput dua arah agregat hingga 51,2 Tb/s, teknologi ini menawarkan landasan untuk membangun struktur komputasi latensi rendah dan skalabel.

Penerapan yang berhasil memerlukan lebih dari sekadar instalasi perangkat keras. Solusi yang dirancang dengan baik harus mengoordinasikan topologi jaringan, adaptor berkemampuan RDMA, interkoneksi optik, konfigurasi Subnet Manager, penyesuaian beban kerja, dan pemantauan operasional.

Ketika cluster GPU berkembang dan beban kerja yang didistribusikan menjadi semakin intensif dalam komunikasi, fabric InfiniBand berperforma tinggi akan tetap menjadi komponen penting dalam infrastruktur komputasi modern yang dipercepat. QM9790 memberikan pilihan praktis bagi organisasi yang mencari konektivitas NDR yang andal dan jalur yang jelas menuju arsitektur jaringan multi-rak yang lebih besar.

Referensi Teknis:Panduan Pengguna Sistem InfiniBand Switch NVIDIA QM97XX 1U NDR 400Gbps. Spesifikasi penerapan akhir, fitur yang didukung, kompatibilitas firmware, dan konfigurasi fisik harus diperiksa berdasarkan dokumentasi untuk SKU produk yang sebenarnya.

Solusi Jaringan NVIDIA Mellanox InfiniBand

Beijing Zhongke Xinyuan Technology Co., Ltd. menyediakan perangkat keras jaringan NVIDIA Mellanox dan dukungan solusi untuk pusat data AI, cluster GPU, sistem HPC, dan infrastruktur perusahaan. Portofolio produk kami meliputi sakelar NVIDIA Quantum InfiniBand, adaptor jaringan ConnectX, transceiver optik, dan kabel DAC/AOC berkecepatan tinggi.

Untuk pelanggan yang mencariKompatibel dengan 920-9B210-00FN-0D0komponen jaringan, dukungan pemilihan produk, informasi ketersediaan, atau penawaran proyek, tim kami dapat membantu dengan identifikasi model, pencocokan konfigurasi, dan perencanaan pengadaan.